This thesis deals with the validation of remote sensing classifications. The methods for validation are reviewed and their applicability to one real-world validation case discussed.
Balans land cover classification covers the Baltic Sea catchment area and is based on medium resolution satellite data and existing digital maps. IRS WiFS-images were used for classification and the classes were Artificial areas, Agricultural areas, Forests, Seminatural areas, Water and Wetlands. The geometric validation was performed by comparing the water-areas of classification to reference maps. The thematic validation was based on ground reference points which were used to construct error matrix and compute different error measures. The validation work was performed in Finnish, Polish and Swedish areas.
The performed geometric validation was successful and provides unbiased view to the geometric errors of Balans classification. Mean error in East direction was 56.2 m (std 76.5 m) and in North direction -2.9 m (std 58.4 m), which is less than a half of the pixel size. The thematic accuracy is quite poor. The overall accuracy of Balans classification varies from area to area. According to the reference points, the overall accuracy of original classes is 69.7% when wetlands are not included and 65.4% with wetlands. Water is classified very well and artificial surfaces reasonably well. Otherwise classwise accuracies vary from average (agricultural land) to very poor (seminatural areas).
The performed thematic validation was not methodologically that successful. Due to the nature of sampling, it is difficult to evaluate the bias and generality of computed accuracy measures. The most important lessons have been the need to select if the classification and thematic validation should use methods for hard or soft classification, and for a simple, economic and spatially comprehensive sampling method. traditional classification and validation methods are enough if the pixel size is considerably smaller than the average compartment size of the scene, otherwise soft or fuzzy methods are needed. The probability sampling should be used in order to make inferences about the properties of the sampled area. Also the purpose of the thematic validation should be described clearly in order to choose proper tools. The reference data about the sampling points should contain enough information for its reliable location and classification, and this information should be up-to-date.
Keywords: Remote Sensing, Classification, Validation, Accuracy assessment, Geometric error, Thematic error
Language: English
Tekijä: Markus TörmäLisensiaattityö käsittelee kaukokartoitukseen perustuvan luokittelun luotettavuuden määrittämistä. Työ sisältää kirjallisuusyhteenvedon luotettavuuden arviointiin käytettävistä menetelmistä ja tarkastelee kyseisten menetelmien soveltamista käytäntöön CASE-tapauksen osalta.
Balans maanpeiteluokittelu kattaa Itämeren valuma-alueen ja perustuu IRS WiFS satelliittikuvien ja olemassaolevien digitaalisten karttojen käyttöön. Luokat olivat asutut alueet, maanviljelyksen alueet, metsät, muut luonnontilaiset alueet, vesi ja suot. Luokittelun geometrisen luotettavuuden määrittäminen perustui luokittelun ja vertailukarttojen vesi-alueiden vertailuun. Luokittelun temaattisen luotettavuuden määrittämiseen käytettiin vertailupisteitä, joiden luokat määritettiin muiden karttojen ja satelliittikuvien avulla. Pisteiden avulla määritettiin virhematriisit joista laskettiin luokittelun onnistumista kuvaavia tunnuslukuja.
Geometrian luotettavuuden määrittämiseen käytetty menetelmä oli hyvä ja antaa harhattoman kuvan BALANS-luokittelun geometrisista virheistä. Itäsuuntainen keskimääräinen virhe oli 56.2 m (hajonta 76.5 m) ja pohjoissuuntainen -2.9 m (haj 58.4 m). Tämä on vähemmän kuin puolikas satelliittikuvan pikselistä. Temaattinen luotettavuus on huono. Luokittelun keskimääräinen tarkkuus on 65.4% . Mikäli suot jätetään pois, keskimääräinen tarkkuus on 69.7%. Luokista vesi on luokiteltu hyvin jaasutut alueet kohtalaisesti. Muuten luokat on luokiteltu huonosti.
Menetelmällisesti temaattisen luotettavuuden arviointi oli toteutettu huonosti. Huonosta otannasta johtuen tulokset eivät ole yleistettävissä ja on vaikea arvioida tarkkuuslukujen harhaisuutta. Tärkeimmät opetukset ovat tarve selvittää pitäisikö luokittelussa ja luotettavuuden arvioinnissa käyttää perinteisiä tai sumeita menetelmiä sekä toimivan otantamenetelmän kehittäminen. Perinteiseiä menetelmiä luokitteluun ja tarkkuuden arviointiin pitäisi käyttää mikäli pikselikoko on huomattavasti pienempi kuin näkymän keskimääräinen kuviokoko, muuten pitäisi käyttää sumeita menetelmiä. Otannan pitäisi perustua satunnaisotantaan jotta syntyneet päätelmät voitaisiin yleistää koko aineistolle. Myös luotettavuuden arvoinnin tarkoitus pitäisi ilmaista selkeästi, jotta voitaisiin valita oikeat työkalut tehtävän suorittamiseksi.
Avainsanat: Kaukokartoitus, Luokittelu, Luotettavuus, Tarkkuuden arviointi
Kieli: Englanti