Предположим, что произведено разбиение на сцены. Будем считать динамику изменения внутри сцены почти непрерывной и рассмотрим принцип получения информации с помощью подхода Лагранжа. В этом случае на первом этапе применяют различные методы анализа статических изображений. В качестве примера рассмотрим регулярную сегментацию изображений (каждого кадра) на области с яркостями, попадающими в некоторый диапазон, т.е. разделим интервал яркостей на n одинаковых подынтервалов и всем пикселям, попадающим в один и тот же подынтервал, присвоим одинаковое значение яркости. Очевидно, что такой способ отображения мало эффективен и его можно значительно улучшить. В результате для видео, показанного на рис. 106а, получим его гомоморфное отображение, показанное на рис. 106б. Отметим, что на прообразе (рис. 87а) можно ввести группу с соответствующей операцией над ее элементами и построить гомоморфизм.
Подход Лагранжа подразумевает слежение за каждой точкой, но точек с одинаковой яркостью на одном кадре, как правило, несколько (десятки), а также существуют погрешности, и точки могут исчезать при переходе от кадра к кадру. Таким образом, определить, куда перешла данная точка на следующем кадре, не представляется возможным, т.е. сделанное предположение о непрерывности сцены для точек (пикселей) несправедливо. Использование отображения (рис. 87б) позволяет следить не за точками, а за объектами (локализованными областями с одинаковой яркостью). Очевидно, что у таких объектов может меняться общее количество пикселей (их масса), но это изменение можно считать почти непрерывным. Полученный образ обладает заведомо меньшей информацией, чем его прообраз, что упрощает задачу слежения за объектами. Вместо локализованных областей можно использовать другие особенности (так называемые фичи [1]), принцип слежения за которыми также основан на подходе Лагранжа.
Итак, с помощью подхода Лагранжа можно с достаточной точностью следить за перемещением фичей (например, локализованных областей, распознаваемых объектов, особенностей с большими градиентами и т.д.). Однако реализация подхода Лагранжа, как правило, является достаточно трудоемкой и требует больших вычислительных ресурсов. Вычисление каждой фичи можно представить в виде функции и множество таких функций реализовано в MATLAB. Например, для сегментации изображений:
Это значительно упрощает процесс извлечения информации из видео.
Для использования подхода Эйлера динамика изменения внутри сцены, так же как и в случае подхода Лагранжа, должна быть почти непрерывной. Из того, что в подходе Эйлера необходимо следить за каждой точкой пространства, в котором движется сплошная среда, т.е. в случае видеопотока, нужно следить за изменениями яркости в каждом пикселе экрана, а не кадра, для получения информации о движении достаточно преобразовать исходное видео, основываясь на вычитании соседних кадров друг из друга. В результате такой операции из двух соседних кадров получается один, в котором ненулевыми будут только точки, характеризующие движение границ объектов. Чтобы выделить область пространства с движущимися объектами, можно воспользоваться вычитанием нескольких подряд идущих кадров, т.е. применить процедуру, позволяющую выделять фон (данная процедура описана и реализована, например, в [3]), причем в этом случае возможно нахождение движущихся объектов в реальном времени с минимальными вычислительными затратами. Алгоритмы, позволяющие это сделать, основаны на вероятностных моделях, также они позволяют проводить обнаружение теней. Пример работы простейшего алгоритма по обнаружению движущихся объектов показан на рис. 107.
Отметим, что при таких алгоритмах для обнаружения движения не обязательно пользоваться feature вектором, хотя для получения более подробной информации это приходится делать.
Для каждого из подходов можно построить feature вектор, характеризующий процесс, причем результат будет зависеть как от выбора компонент этого вектора, так и от их анализа. Для распознавания объектов на кадре нужны две базы данных. Одна для подхода Лагранжа, вторая для подхода Эйлера, а методы и алгоритмы обработки информации могут использовать как отдельные элементы этих баз данных, так и их комбинации. Отметим, что неэквивалентность подходов Эйлера и Лагранжа при нахождении движущихся объектов в видео связана с большим числом параметров задачи, которые дают разные вклады в эти подходы, а вкладом от многих параметров можно пренебречь для подхода Лагранжа, но нельзя для подхода Эйлера и наоборот. Таким образом, при получении информации из видеопотока рассматриваемые здесь подходы являются, скорее, дополняющими друг друга, чем эквивалентными.