Глубина и сегментация

CV05 · stereo matching · MVS · маска 2D

После редкого облака

SfM даёт редкие XYZ. Плотность: поиск соответствий вдоль эпиполяры (блок-матчинг, SGBM) или photo-consistency по многим видам (MVS, COLMAP/OpenMVS).

Z = f B / d

Класс каждому пикселю (FCN, Long et al. CVPR 2015). На орто учебного участка: крыша / земля / растительность. Готовая сеть, не ImageNet с нуля.

Тень ломает маску — сравнить с ребром ЦММ.

Без горизонтальных эпиполяр поиск 2D — медленный и врёт. Сначала F, потом warp, потом d.

То, что видно слева, не видно справа — дыра диспаратности. На АФС то же: щит, дерево, карниз. Не лечить «дырку» интерполяцией и выдавать за ЦММ.

Много видов: выбрать лучшие (Pixelwise View Selection). Устойчивее к блику, чем два кадра. OpenMVS — плотная сетка после COLMAP.

Семантика орто путает тень с водой. ЦММ путает куст с рельефом. Смотреть оба слоя. А07 — чтение сюжета глазом.