headerphoto

Cvičení 4 - Zpracování RGB snímků, část 1.: předzpracování, odvození řídkého mračna 3d bodů, georeferencování pomocí vlícovacích bodů

Cílem tohoto a následujících tří cvičení je poskytnout studentům znalosti o zpracování RGB snímků pořízených bezpilotním leteckým prostředkem s cílem odvodit (a dále zpracovávat) hustého mračno 3d bodů a ortofotomapu. Zpracování je založeno na technice Structure from Motion (SfM) a návazných technikách.

Cíle cvičení

  • prakticky se seznámit s technikou Structure from Motion (SfM)
  • seznámit se s prostředím software Agisoft Metashape Professional
  • odvodit řídké mračno 3d bodů z překrývajících se RGB snímků
  • georeferencovat řídké mračno 3d bodů s využitím pozemních vlícovacích bodů

Úkoly

Pro zadanou sadu RGB snímků realizujte v prostředí SW Agisoft Metashape odvození řídkého mračna 3d bodů, které georeferencujte do souřadnicového systému S-JTSK a výškového systému Bpv s využitím zadané sady pozemních vlícovacích bodů.

Snímky byly pořízeny bezpilotním leteckým prostředkem DJI Phantom 3 Advanced v lokalitě sesuvu na Gírové nedaleko Jablunkova s následujícími parametry letu: polo-autonomní let, výška letu přibližně 80 m, formát ukládání dat JPEG, podélný a příčný překryv snímků 80 %. Snímky s kolmou osou záběru jsou doplněny o deset snímků se šikmou osou záběru ve formátu RAW (DNG) pořízené z nižší letové výšky.

Celkem 10 pozemních vlícovacích bodů bylo signalizováno terči 20x20 cm a jejich poloha zaměřena GNSS přijímačem technikou RTK. Přesnost 3D souřadnic vlícovacích bodů by se měla pohybovat na úrovni 5 až 10 cm.

Soubory pro cvičení

Veškerá potřebná data naleznete na síťovém uložišti \\adelka-nas.vsb.cz\Public v adresáři UAV_GIS\Cviceni04.

Obsah cvičení

Předzpracování snímků

Před samotným započetím zpracování snímků je velmi vhodné si je jeden po druhém zobrazit a vymazat ty, které a, vykazují neostrost (rozmazání) či jinak sníženou kvalitu (přesvětlené x příliš tmavé snímky, apod.); b, zachycují část konstrukce UAV (např. části podvozku); c, zabírají prakticky identický pohled jako jiný snímek (časté např. při manuálním pořizování snímků).

Agisoft Metashape

Pro zpracování snímků z UAV je možné využít několik software s různorodou funkcionalitou a licenční politikou. Jedním z nejrozšířenějších je software Agisoft Metashape (dříve Photoscan) vyvíjený ruskou společností Agisoft LLC, oficiální web zde. Jeho základní funkcionalitu tvoří:

  • triangulace leteckých či pozemních snímků (kolmé, šikmé snímky), podpora snímků z více kamer v jednom projektu
  • využití SfM a návazných algoritmů pro odvození mračna 3d bodů, základní nástroje pro klasifikace a filtrace bodů mračna
  • odvození 3D modelu objektu včetně textury či digitálního modelu povrchu v podobě TINu či rastru
  • vytvoření ortofotomapy
  • podpora široké škály souřadnicových systémů, přesné georeferencování pomocí pozemních vlícovacích bodů
  • podpora zpracování RGB, multispektrálních a termálních snímků
  • automatizace zpracování pomocí dávkových zpracování či vlastních Python skriptů
  • podpora distribuovaného síťového zpracování
  • nástroje pro měření vzdáleností, obsahu, objemové výpočty nad vytvořenými výstupy, jednoduché filtrace a klasifikace mračen bodů

Mezi další rozšířené software pro zpracování dat z UAV patří:

Odvození řídkého mračna 3d bodů

Prvním krokem ve zpracování snímků z UAV je jejich nahrání do software Agisoft Metashape. K tomu slouží funkce Add Photo, která se nachází v horní liště v záložce Workflow.

Po načtení všech snímků je potřebné zkontrolovat, zda software korektně nahrál i EXIF jednotlivých snímků. EXIF soubor obsahuje kromě souřadnic místa pořízení fotografie (pokud je UAV vybaveno GNSS přijímačem) i další parametry, které jsou nápomocné při rekonstrukci řídkého bodového mračna, hlavně pro správnou kalibraci kamery (určení prvků vnitřní orientace). Korektní nahrání EXIFu je možné zkontrolovat v záložce Reference. V případě, že nebyl EXIF nahrán (nejsou vyplněny pole se souřadnicemi, výškou apod.), je nutné jej manuálně importovat. Import se provádí v záložce Reference tlačítkem Import EXIF.

Software můžeme také nechat zkontrolovat kvalitu snímků pro následná zpracování pomocí nástroje Estimate Image Quality dostupného přes pravé tlačítko myši po kliknutí na některý ze snímků v okně Photos. Výsledky kontroly je možno si zobrazit v okně Photos při zobrazení všech informací o fotografiích (Show Details). Fotografie s hodnotou parametru Quality nižší než 0.5 by měly být ze zpracování vyloučeny.

Po přidání všech snímků a zkontrolování EXIFu je možné přistoupit k tvorbě řídkého bodového mračna. Během výpočtu řídkého bodového mračna jsou určovány jednotlivé tzv. klíčové body (tie points). Jedná se o body, které jsou společné pro dva a více snímků. Nástroj pro tvorbu řídkého bodového mračna nalezneme v záložce Workflow pod názvem Align Photos a nabízí následující vstupní parametry:

  • Accuracy – určuje, zdali jsou pro výpočet řídkého bodového mračna využívány snímky v originálním plném rozlišení (Highest) či se sníženým rozlišením => ovlivňuje množství bodů v řídkém bodovém mračnu, jejich kvalitu a dobu trvání odvození řídkého mračna bodů
  • Preselection – aktivace umožňuje urychlit nalézání klíčových bodů na jednotlivých snímcích, zejména pokud projekt obsahuje větší počet snímků. Volba Generic Preselection vede k hledání překrývajících se snímků nejprve s využitím nastavení nižší kvality. Volba Reference Preselection určuje, zdali budou při hledání překrývajících se snímků použity informace o poloze snímků z GNSS přijímače kamery. Pokud jsou tyto údaje k dispozici, je vhodné volbu aktivovat.
  • Key point limit – horní limit pro počet zájmových bodů na jednom snímku (doporučuje se 40 000 až 60 000); pokud je nastavena 0, je nalezeno maximum možných bodů, což může vést k velkému množství bodů s nízkou kvalitou (velká chyba výpočtu polohy bodu, vysoký šum)
  • Tie point limit - horní limit pro počet klíčových bodů nalezených na dvou a více snímcích; doporučuje se 4 000. Navyšovat tuto hodnotu je doporučováno v případech, kdy je požadavek na rekonstrukci velmi jemných detailů (např. fasáda domu), nebo se nedaří některé snímky zařadit do zpracování (v těchto situacích může pomoci navýšení až na hodnotu 8 až 10 tisíc bodů či případně deaktivace volby Generic Preselection)
  • Adaptive camera model fitting – umožňuje výpočet adaptabilních parametrů zkreslení objektivu, doporučuji aktivovat při problémech se zařazením některých snímků do zpracování

Okno nástroje Align Photos pro odvození řídkého mračna 3d bodů

Obr. 1: Okno nástroje Align Photos pro odvození řídkého mračna 3d bodů

Po vytvoření řídkého bodového mračna je velmi vhodné přistoupit k hodnocení jeho kvality. Základní statistické údaje je možné získat ze zprávy (report) o zpracování, kterou umí software Agisoft Metashape vytvořit (nástroj Generate Report v záložce File/Export). Nejdůležitější jsou informace týkající se tzv. chyby reprojekce (reprojection error), která je u jednotlivých klíčových bodů dána rozdílností jejich polohy na jednotlivých snímcích, kde byl klíčový bod identifikován, vůči očekávané poloze. Cílem je obecně dosáhnout co nejnižších hodnot (průměrných) chyb reprojekce, k čemuž může napomoci uživatelem vyvolaná eliminace bodů s nejvyššími hodnotami chyby reprojekce dostupná v nástroji Gradual Selection v záložce Model. Jelikož hodnoty chyb reprojekce jsou značně závislé na kvalitě pořizených snímků a mohou se významně lišit mezi jednotlivými realizovanými projekty, není možné dát doporučení ohledně jejich ideálních hodnot. Obecně je však možno doporučit odfiltrování cca 5 až 20 % bodů řídkého bodového mračna vykazujících nejvyšší hodnoty chyby reprojekce před přistoupením k odvození hustého bodového mračna.

Georeferencování s využitím pozemních vlícovacích bodů

Body řídkého bodového mračna mohou být po svém výpočtu určeny typicky buďto v souřadnicovém systému WGS-84 (pokud vstupní snímky obsahují informace o své poloze a tyto informace jsou využity při zpracování) či v lokálním souřadnicovém systému definovaném softwarem Agisoft Metashape (typicky pokud UAV není vybaveno GNSS přijímačem).

V případě, kdy je nutné dodat výstupy zpracování dat z UAV v určitém existujícím souřadnicovém systému (na území České republiky například v závazném systému S-JTSK a výškovém systému Bpv) či dosáhnout vyšší přesnosti určení polohy výstupů zpracování než jaké umožňuje použití polohy snímků z palubního GNSS přijímače UAV, je nutné provést georeferencování řídkého bodového mračna. To je standardně prováděno nad sadou vlícovacích bodů o známých souřadnicích v požadovaném výsledném souřadnicovém systému, kterými mohou být jak trvalé objekty ve snímkované lokalitě, tak dočasně signalizované objekty například v podobě fotogrammetrických terčů.

Poznámka: georeferencování s využitím vlícovacích bodů není povinným krokem zpracování. Například pokud jsou zpracovávány snímky s informací o své poloze získané z palubního GNSS přijímače UAV, mohou být výstupy zpracování v Agisoftu Metashape exportovány do libovolného podporovaného souřadnicového systému (včetně českého S-JTSK). Přesnost transformace mezi souřadnicovým systémem snímků na vstupu (typicky WGS-84) a výsledným požadovaným souřadnicovým systémem je v takovém případě dána vlastnostmi použitého transformačního klíče implementovaného v software.

Poznámka: georeferencování je prováděno nad řídkým bodovým mračnem a je nutné jej proto realizovat před jakýmkoliv dalším zpracováním! Pokud je tedy například uživatelem nejprve odvozeno husté bodové mračno a až následně přistoupeno ke georeferencování, musí se odvození hustého bodového mračna opakovat.

Postup georeferencování:

Celý proces georeferencování se provádí na záložce Reference, kterou najdeme v levém dolním rohu pracovního okna software. Před jeho realizací doporučuji řídké mračno bodů transformovat do souřadnicového systému, ve kterém máme k dispozici souřadnice vlícovacích bodů. V českém prostředí se bude typicky jednat o transformaci do souřadnicového systému S-JTSK Krovak East North (EPGS:5514), kterou můžeme provést prostřednictvím funkce Convert na záložce Reference. Po kliknutí na tlačítko Datum Transformation Parameters v okně této funkce je potřeba zvolit korektní transformační klíč - v případě České republiky se jedná o položku S-JTSK to WGS-84 (1) (EPSG::1623).

Prvním krokem georeferencování je vytvoření nového vlícovacího bodu (tzv. Marker). Toto je možné realizovat například:

  • vytvořením nového Markeru v okně Markers kliknutím pravým tlačítkem a zvolením funkce Add Marker. Marker je nutné následně umístit na příslušné místo na odpovídajícím snímku z UAV
  • vytvořením nového Markeru na snímku z UAV či v řídkém bodovém mračnu. Uživatel musí na příslušném místě kliknout pravým tlačítkem myši a zvolit Add Marker

Doporučuji však všechny vlícovací body (Markery) načíst najednou ze souboru podporovaného Agisoft Metashape (csv, txt apod.) pomocí funkce Import Reference na záložce Reference. Dojde tím k automatickému vytvoření všech Markerů, které uživatel musí následně manuálně umístit na středy vlícovacích bodů na jednotlivých snímcích. Ve zobrazeném okně je potřeba vyplnit několik parametrů:

  • zvolit příslušný souřadnicový systém, ve kterém jsou uloženy načítané souřadnice vlícovacích bodů
  • zvolit správný oddělovač záznamů na řádku (typicky čárka, středník, apod.)
  • zkontrolovat správnost pořadí sloupců (jmenovitě u souř. s. S-JTSK je potřeba korektně nastavit osy x a y, aby směřovaly tam, kam mají)

Import souřadnic vlícovací bodů ze souboru

Obr. 2: Import souřadnic vlícovací bodů ze souboru

Poté, co kurzorem myši přesně umístíme Marker na střed vlícovacího bodu na jednom snímku (dvou snímcích), je možno automatizovaně nechat vyfiltrovat všechny snímky v projektu, na kterých by se měl nacházet, a to zvolením funkce Filter Photos by Markers dostupné pod pravým tlačíkem myši po kliknutí na daný Marker - filtrované snímky jsou dostupné v okně Photos (to je možné nechat zobrazit či skrýt pomocí nabídky View/Photos dostupné v hlavní záložce Agisoft Metashape). Nyní je nutné otevřít si každý vyfiltrovaný snímek a vždy posunout Marker na střed vlícovacího bodu. Pokud si u některého snímku nemůžeme být jisti správným umístěním Markeru na střed vlícovacího bodu, raději z něj Marker sejmeme (volba Remove marker dostupná opět pod pravým tlačítkem myši, pokud máme otevřeno okno s daným snímkem). Funkci Filter Photos by Markers je vhodné volat opakovaně pro nalezení všech snímků, kde se vlícovací bod nachází.

Filtrování snímků obsahujících vybraný vlícovací bod

Obr. 3: Filtrování snímků obsahujících vybraný vlícovací bod

V dalším kroku je potřeba v části Settings (tlačítko v horní části okna s markery) nastavit:

  • Coordinate System: cílový souřadnicový systém georeferencování (až na výjimky totožný se souřadnicovým systémem, ve kterém jsou určeny souřadnice vlícovacích bodů)
  • Camera Reference: souřadnicový systém, ve kterém jsou uvedeny souřadnice uložené v EXIF souborech snímků (typicky souřadnice z interního GNSS přijímače UAV ve WGS-84)
  • Marker Reference: souřadnicový systém, ve kterém jsou určeny souřadnice vlícovacích bodů
  • Measurement Accuracy: přesnost souřadnic vlícovacích bodů určených jak z GNSS přijímače UAV, tak importovaných souřadnic v cílovém souřadnicovém systému. Doporučuji ponechat přednastavené hodnoty používané Agisoft Metashape.
  • Image Coordinates Accuracy: přesnost určení polohy Markeru na snímku (Marker Accuracy)

Nastavení souřadnicových systémů a přesnosti souřadnic vlícovacích bodů

Obr. 4: Nastavení souřadnicových systémů a přesnosti souřadnic vlícovacích bodů

Před realizací samotného georeferencování je NUTNÉ odznačit všechny snímky a naopak označit všechny Markery! Tedy v okně Cameras nemít vybrán ani jeden snímek, a v okně Markers mít naopak vybrány všechny markery. K označení/odznačení slouží zaškrtávací políčko na začátku každého řádku.

Georeferencování pomocí vložených vlícovacích bodů zahájíme tlačítkem Optimize cameras na záložce Reference. Jelikož georeferencování s využitím vložených vlícovacích bodů zahrnuje také optimalizaci výpočtu polohy kamery v době pořízení snímku a optimalizaci výpočtu prvků vnitřní orientace kamery (oboje je primárně realizováno při odvozování řídkého mračna bodů), uživatel je vyzván, aby nastavil, které prvky vnitřní orientace budou opětovně vypočteny. Ve vyvolaném dialogovém okně je možné zaškrtnout následující parametry:

  • f – ohnisková vzdálenost objektivu
  • cx, cy – poloha hlavního bodu snímku
  • k1, k2, k3, k4 – koeficienty radiálního zkreslení
  • b1, b2 – koeficienty afinity a zešikmení
  • p1, p2, p3, p4 – koeficienty tangenciálního zkreslení

Nastavení optimalizace výpočtu prvků vnitřní orientace kamery

Obr. 5: Nastavení optimalizace výpočtu prvků vnitřní orientace kamery

Po dokončení georeferencování v okně Markers získáváme pro jednotlivé vlícovací body hodnoty přesnosti v horizontálním směru i výškově. Pokud některý z vlícovacích bodů vykazuje výrazně horší hodnoty přesnosti než body ostatní, je na zvážení, zdali jej z georeferencování nevyloučit. Pokud se tak rozhodneme, je potřeba následně georeferencování aktualizovat pomocí tlačítka Update na záložce Reference. Obecně při použití vlícovacích terčů zaměřených GNSS přijímačem technikou RTK a dobré kvalitě snímků z UAV lze očekávat celkovou průměrnou chybu georeferencování na úrovni prvních cm.

V situacích, kdy je k dispozici větší množství vlícovacích bodů, mohou být pro georeferencování použity pouze některé z nich. Ty ostatní pak slouží jako kontrolní body umožňující nezávislé zhodnocení přesnosti realizovaného georeferencování. Je vhodné vždy vymezit alespoň jeden vlícovací bod jako kontrolní, jelikož jedině pro něj získáme nezávislou hodnotu přesnosti georeferencování.

Publikace a jiné informační zdroje