Hyperspectral Data Fusion for Classification and Visualization in Remote Sensing

Datum: 2 december 2013

Locatie: Universiteit Antwerpen - Campus Drie Eiken - Promotiezaal Q0.02 - Universiteitsplein 1 - 2610 Wilrijk

Tijdstip: 16 uur

Organisatie / co-organisatie: Departement Fysica

Promovendus: Zahid Mahmood

Promotor: Prof. dr. Paul Scheunders

Korte beschrijving: Doctoraatsverdediging Zahid Mahmood - Departement Fysica



Abstract

Het belangrijkste doel van dit proefschrift is de ontwikkeling van een multi-source en multi-resolutie beeldfusie aanpak met als doel visualisatie en classificatie. De scriptie is onderverdeeld in twee grote delen, de visualisatie van hyperspectrale beelden, en de gezamenlijke classificatie van lage resolutie hyperspectrale (HS) en hoge resolutie hyperspatiale (HR) beelden. De classificatiesectie wordt verder onderverdeeld in twee subcategorieën, afhankelijk van de gebruikte benadering; we hebben gebruik gemaakt van fusietechnieken en contextuele subpixel mapping technieken voor dit multi-sensor classificatieprobleem. Een ander doel van dit werk is de ontwikkeling van nieuwe methoden voor het meenemen van contextuele informatie in de classificatie van multi-source (HS & HR) beelden. We beginnen met een korte inleiding op de concepten van aardobservatie en hyperspectrale beelden. Vervolgens worden verschillende strategieën voor hyperspectrale fusie gepresenteerd. Hoewel twee verschillende toepassingen van hyperspectrale beelden, visualisatie en classificatie, worden behandeld in verschillende delen van dit proefschrift, is hyperspectrale fusie de verbindende factor tussen deze.

In deel I wordt de visualisatie van hyperspectrale beelden behandeld. We presenteren een verbeterd visualisatie algoritme voor hyperspectrale beelden. Spectrale fusietechnieken worden gebruikt om het aantal hyperspectrale banden te beperken tot drie, om dan te worden gevisualiseerd als een RGB kleurbeeld. We hebben een verbeterd hyperspectrale beeldvisualisatie algoritme voorgesteld, gebaseerd op een hyperspectrale wavelet representatie dat de randinformatie van alle beeldbanden combineert, en een projectie uitvoert op kleurafstemmingsfuncties gebaseerd op het menselijke visuele systeem (HVS). Een contrastverhoging wordt ingeleid door fusie van de gradiënt informatie van de individuele hyperspectrale banden. Visualisatie en enhancement worden gecombineerd in een multiresolutioneel raamwerk aan de hand van wavelets. Specifieke objectieve kwaliteitsmaten worden toegepast om aan te tonen dat de voorgestelde procedure visualisatie-resultaten oplevert met een hoog contrast. De resultaten tonen een afbeelding met een kleurenpalet vergelijkbaar met de resultaten verkregen door de HVS kleurafstemmingsfuncties, terwijl het contrast en de hoeveelheid details van de verkregen beelden wordt verbeterd. Het algoritme is niet beperkt tot HVS basissen maar kan worden toegepast op alle vaste en data afhankelijke basissen (PCA, ICA). Dit zal resulteren in een relatieve verbetering van de visualisatie met minimale veranderingen in het kleurenpalet, vergeleken met het projecteren van het hyperspectrale beeld op de overeenkomstige basissen. We hebben het verbeterd visualisatie-algoritme geïmplementeerd als een ENVI/IDL toolbox. De resultaten worden vergeleken met de state-of-the-art van hyperspectrale visualisatietechnieken en postprocessing verbetering.

Onderdeel II  en III van dit werk leggen de nadruk op de fusie van lage ruimtelijke resolutie hyperspectrale en hoge ruimtelijke resolutie hyperspatiale beelden om hoge resolutie classificatiemappen te verkrijgen, met behulp van beslissingsfusie benaderingen, door het gebruik van morfologische kenmerken gewonnen uit hyperspatiale afbeeldingen en contextuele subpixel mapping benaderingen. We gaan ervan uit dat een aanvullende beeldbron van hoge ruimtelijke resolutie beschikbaar is.

In deel II laten we zien hoe de classificatie van gegevens uit meerdere beeldbronnen, bestaande uit contextuele kenmerken van een hyperspatiale afbeelding met hoge ruimtelijke resolutie en spectrale kenmerken van een hyperspectraal beeld met lage ruimtelijke resolutie, kan worden benaderd door een beslissingsfusie aanpak, en classificatiemappen kan produceren aan de ruimtelijke resolutie van het HR beeld. De beslissingsfusie aanpak bestaat uit twee stappen, namelijk kenmerkextractie en gezamenlijke classificatie.

Morfologische kenmerken zoals morfologische profielen (MP) en morfologische attribuut profielen (AP) worden veel gebruikt bij hyperspectrale classificatie. We laten zien hoe de classificatie van gegevens uit meerdere bronnen voordeel kan halen uit contextuele informatie met behulp van morfologische attribuut profielen. Eerst presenteren we een methode om attribuut profielen te extraheren uit RGB beelden met een hoge ruimtelijke resolutie. Verder wordt een automatische drempelselectieprocedure geformuleerd voor de opbouw van de attribuut profielen. De resulterende kleur attribuut profielen (CAP) zijn bedoeld om de classificatie van de lage ruimtelijke resolutie hyperspectrale beelden te verbeteren door het samenvoegen van deze attributen met de spectrale kenmerken van het hyperspectrale beeld. In plaats van de `R', `G' en 'B' banden afzonderlijk te behandelen, wordt het kleurbeeld omgezet naar de CIE-Lab ruimte. In deze kleurruimte worden attribuut profielen gewonnen uit de `L' band , terwijl de `a' en 'b' banden intact worden gehouden. De resulterende componenten worden vervolgens terug in de RGB-ruimte omgezet, met behoud van de kleurinformatie van het originele beeld. In een classificatie experiment wordt de aanpak vergeleken met andere strategieën voor het genereren van kleur attribuut profielen en het gebruik van grijswaarde kenmerk profielen. De experimentele resultaten tonen aan dat onze voorgestelde strategie de hoogste classificatie nauwkeurigheid geeft.

We introduceren ook een nieuwe geautomatiseerde procedure voor het selecteren van de drempelwaarden in de constructie van morfologische kenmerk profielen. In de voorgestelde techniek wordt geconnecteerde component analyse uitgevoerd op een voorlopig gesuperviseerd of ongesuperviseerd classificatieresultaat dat geen gebruik maakt van contextuele informatie. Vervolgens, na extractie van de relevante kenmerken van elk van de geconnecteerde componenten, worden de drempelwaarden gevonden door het groeperen van de kenmerkvectoren met een k-means clustering algoritme. De methode is toepasbaar voor het bepalen van de drempelwaarden voor de extractie van elke vorm van attribuut profielen zoals de eerder beschreven kleur attribuut profielen. In de experimenten wordt onze methode vergeleken met een eenvoudige handmatige selectieprocedure. Ten eerste laten we zien dat de handmatige selectie resulteert in veel meer overbodige kenmerken dan de automatische aanpak. Ten tweede blijkt het effect van ruimtelijke schaling op de geselecteerde drempelwaarden. Het blijkt dat na schaling van een beeld, het algoritme schaalt drempelwaarden die overenkomen met oppervlakte van objecten dienovereenkomstig maar de dremples voor traagheidsmoment en standaardafwijking zijn minder gevoelig voor schaling, zoals te verwachten. Tenslotte tonen we in een classificatie experiment dat onze automatische procedure leidt tot superieure classificatieresultaten.

Om het probleem aan te pakken van de gecombineerde classificatie van een hyperspatiaal beeld zoals een kleur of LIDAR beeld en een hyperspectraal beeld van dezelfde scène, wordt een samengestelde beslissingsfusie (CDF) strategie voorgesteld, een combinatie van een state-of-the-art kernel-gebaseerde beslissingsfusietechniek met de populaire samengestelde kernel-classificatie aanpak. De eerste stap van CDF bevat een kenmerkreductie en het genereren van meer vergelijkbare kenmerksets, in de vorm van regelbeelden van afzonderlijke SVM classificatoren, op basis van de SVM beslissingsfusie strategie. De tweede stap bestaat uit een classificatie met een samengestelde kernel SVM, en biedt de flexibiliteit om meer gewicht op de contextuele of de spectrale eigenschappen te plaatsen. Contextuele informatie wordt verkregen door het gebruik van CAPs uit het kleurbeeld of het gebruik van de standaard grijsschaal attribuut profielen (GAPs) van een LIDAR afbeelding. De drempelwaarden, essentieel voor de bouw van GAPs worden verkregen door de eerder beschreven geautomatiseerde procedure. De spectrale informatie wordt in beide gevallen verkregen uit het hyperspectrale beeld. In een classificatie experiment zowel op gesimuleerde als echte multi-source data wordt aangetoond dat onze CAP beter presteren in het genereren van contextuele kenmerken vergeleken met andere strategieën. De voorgestelde CDF strategie presteert beter dan de andere methoden bij multi-source classificatie. In een laatste experiment, voor de fusie van een multi-source dataset van luchtgevlogen hyperspectrale en LIDAR beelden  worden deze conclusies bevestigd.

In deel III beschrijven we een methode om classificatiemappen te verkrijgen aan een fijnere resolutie dan het beeld van de oorspronkelijke resolutie met behulp van contextuele subpixel mapping aanpak. De voorgestelde methode bestaat uit een zachte classificatie procedure om subpixel classificatiefracties te verkrijgen, gevolgd door een subpixel mapping van deze fracties. Terwijl de belangrijkste bijdrage van dit werk in feite het volledige multi-source kader is voor het verkrijgen van een subpixel kaart, is de belangrijkste nieuwigheid van deze subpixel mapping benadering, de opname van contextuele informatie, verkregen uit een HR afbeelding zoals een kleur of een warmtebeeld. De output is een classificatie kaart op de resolutie van de hyperspatiale afbeelding. De methode bestaat uit twee belangrijke stappen. De eerste stap is een zachte classificatiemethode, waarbij het resultaat van een SVM classificator wordt gebruikt als de invoer van een spectrale ontmengingsprocedure en een subpixel mapping benadering. De tweede stap is een contextuele subpixel mapping aanpak die de contextuele informatie gebruikt uit de hyperspatiale afbeelding. Experimenten tonen het voordeel van de voorgestelde aanpak bij de toepassing van de twee stappen afzonderlijk. Deze benadering wordt toegepast voor de fusie van hyperspectrale en kleurbeelden en voor de fusie van hyperspectrale en thermische beelden. Experimenten uitgevoerd op twee echte multi-source datasets, tonen uitstekende resultaten in vergelijking met de classificatie van enkel de hyperspectrale data. Het voordeel van de contextuele benadering, in vergelijking met conventionele subpixel mapping benaderingen wordt duidelijk aangetoond.