Праћење камере са центиметарском прецизношћу за 3Д снимање великих размера (Гаусов сплатинг)

преглед

Овај пројекат клијента долази од Арјоникс, коју је основао Александре Кавалери. Aryonix развија механизам за рендеровање у реалном времену способан да креира кинематографска, фотореалистична и импресивна 3D окружења од фотографија. Aryonix је сарађивао са Даунхил Вингс, пројекат посвећен истраживању, мапирању и снимању спустастих рута за ролере, лонгбордове и друге гравитационе спортове. Пројекат користи технику која се зове Гаусов сплетинг.

Шта је Гаусовско распршивање? Једноставно речено, Гаусов сплатинг претвара стотине или хиљаде фотографија у детаљан, интерактиван 3Д модел сцене из стварног света. За разлику од традиционалног 3Д приказа изграђеног од полигона или мрежа, он представља сцену као милионе ситних обојених 3Д тачака („Гаусових“), омогућавајући веома реалистично рендеровање из скоро сваке тачке гледишта.

За спуст спортове, важно је да дигитална реконструкција одговара стварном свету. Рута мора имати исправан положај, размеру и нагиб како би возачи могли прецизно да процене њену тежину, безбедност и целокупно искуство вожње.

Главни изазов код реконструкције тако дугих рута на отвореном је израчунавање положаја камере: алати попут COLMAP-а померају се и акумулирају грешке током времена, боре се са природним понављајућим обрасцима и безличним приказима (редови винове лозе, површина пута, небо), а без претходног GPS-а резултат није везан за координате, размеру или нагиб стварног света.

Да би превазишао ова ограничења, Арионикс је користио ГНСС компас – РТК почетни комплет како би се обезбедили центиметарски тачни положаји камере и смер током снимања.

Опрема

Да бисмо решили овај проблем, користили смо ГНСС компас за почетнике како бисмо обезбедили центиметарски тачне позиције камере и смер кретања као претходнике камера за COLMAP.

ГНСС компас – РТК почетни комплет: ГНСС/РТК комплет са плочом базираном на УМ982 и две висококвалитетне спиралне антене
Blackmagic URSA Mini Pro 4.6K G2 филмска камера, снимање у RAW формату
Хоса МИТ-129 XLR адаптер, конвертује PPS сигнал плоче у аудио нивое компатибилне са камером и штити плочу од фантомског напајања камере.
Телефон са покренутим SW мапама, RTK логовањем + напајањем плоче

Синхронизација видеа са RTK-ом

Познавање положаја камере је корисно само ако се сваки видео кадар може упарити са исправним RTK мерењем.

ГНСС пријемник емитује ППС (импулс у секунди) сигнал. То је веома прецизан електрични импулс генерисан тачно једном сваке ГПС секунде. Уместо ослањања на интерни сат камере, овај ППС сигнал је снимљен директно у један аудио канал камере преко њеног XLR улаза.

Пошто се звук семплује на 48 kHz, сваки PPS импулс може се детектовати са тачношћу испод милисекунде. Поређења ради, један видео кадар снимљен са 24 fps траје око 42 милисекунде. Ово омогућава да се сваки кадар временски означи много прецизније него коришћењем сопствених информација о времену камере.

Снимање PPS импулса сваке секунде такође омогућава детекцију и континуирано исправљање било каквог померања сата у камери током целог снимања. PPS сигнал означава почетак сваке GPS секунде, док RTK дневник који снима телефон пружа одговарајуће GNSS временске ознаке. Покретање оба снимања приближно у исто време је довољно да се PPS импулси аутоматски упаре са RTK подацима.

Ако вам ово звучи компликовано, погледајте наш пост Разумевање ГПС-а Timepulse или ППС.

Снимање сцене

Тим је препешачио руту од 800 метара кроз винограде Лаво у Швајцарској, непрекидно снимајући видео.

Уместо једноставног ходања у правој линији, камера је кретана спирално како би се сцена посматрала из више углова гледања. Ово побољшава квалитет 3Д реконструкције, а истовремено избегава сенке које баца оператер.

Повремено су снимљене кратке споредне стазе пре повратка на главну руту, додајући додатне видиковце који побољшавају тачност реконструкције.

Покретни објекти попут пешака и возила обрађени су директно током снимања кратким усмеравањем камере у страну, смањујући количину чишћења потребног касније.

Резултати

Након синхронизације RTK мерења са видео кадровима, позиције камера су достављене у цевовод реконструкције као претходни положаји камера. Уместо процене сваке позиције камере само на основу слика, софтвер почиње од RTK мерења тачних до центиметра.

Добијени 3Д приказ се приказује у реалном времену помоћу Aryonix Engine-а, уз очување исправне позиције, оријентације, размере и нагиба руте у реалном свету.

Иако је овде демонстрирано помоћу Гаусовог сплатинга, исти ток рада се примењује на било коју методу реконструкције која се ослања на 2Д слике и положаје камере: синхронизовани претходни подаци камере могу се унети у алате попут COLMAP-а за тренирање Гаусовог сплатинга, NeRF-ова или традиционалних фотограметријских реконструкција.

Обезбеђивањем прецизних позиција камере током снимања, RTK GNSS трансформише ток рада који би нормално патио од акумулираног померања у поуздан метод за реконструкцију дугих спољашњих окружења. Резултат је фотореалистична 3D сцена која се такође може користити за прецизна мерења руте, укључујући нагибе који су често детаљнији од оних доступних из постојећих дигиталних модела елевације.