Imagico.de

blog

S3A_980

2. Dezember 2016
von chris
Keine Kommentare

Sentinel-3 – Ein erster Blick auf die Daten, Teil 1

Als ich kürzlich über den Beginn der Veröffentlichung von Sentinel-3-Daten geschrieben habe, deutete ich an, dass ich etwas detaillierter über die Daten schreiben werde, wenn auch die vom SLSTR-Instrument verfügbar sind. Das ist nun bereits vor ein paar Wochen passiert. Hat also etwas länger gedauert als ursprünglich gedacht, mich da durchzuarbeiten – wenngleich das nach den Erfahrungen mit Sentinel-2 eigentlich nicht so erstaunlich ist.

Im ersten Teil des Erfahrungsberichts, welcher hier auf Englisch zu lesen ist, geht es um die allgemeinen Dinge, den Hintergrund der Sentinel-3-Instrumente und die äußere Form der Daten. Speziellere Dinge zu den Daten selbst folgen dann im zweiten Teil.

Und für die Wartezeit hier schon mal ein paar Bildbeispiele:


water-reduced-980

22. November 2016
von chris
Keine Kommentare

Die Wasser teilen

Auf dem letzten Hack Weekend in Karlsruhe habe ich einige Fortschritte bei einem Projekt gemacht, welches mir schon eine Weile im Kopf herum ging und mit etwas mehr Arbeit in den letzten Wochen kann ich jetzt auch ein paar Ergebnisse präsentieren.

Die Hauptmotivation hierfür war das Problem der Darstellung der Gewässer im OpenStreetMap-Standardstil bei den niedrigen Zoomstufen. Seit langem wird in der Standard-OSM-Karte die Küstenlinie von der untersten Zoomstufe an dargestellt – auf Grundlage der von Jochen und mir bereitgestellten Verarbeitung der Daten. Die übrigen Wasserflächen jedoch werden erst ab Zoomstufe 6 gezeigt. Der Grund hierfür liegt darin, dass die Darstellung in der selben Form wie bei den höheren Zoomstufen sehr aufwändig in Bezug auf die Computer-Ressourcen wäre.

Verschiedene Lösungen – oder besser: Abhilfen – wurden für diesen Problem vorgeschlagen:

  • Die Verwendung eines anderen, wenig detaillierten Datensatzes für die niedrigen Zoomstufen – dass ist der übliche bequeme weg, welcher von vielen Kartenproduzenten gegangen wird, jedoch mit schlechten Ergebnissen, was die Genauigkeit und die Konsistenz über die verschiedenen Maßstäbe angeht. Die üblicherweise hierfür verwendeten Datensätze wie Natural Earth sind oft sehr ungenau nach heutigen Maßstäben.
  • Die Verwendung aggressiver Filterung in Bezug auf die Polygon-Größe, man stellt also nur die Größten Geometrien da – ein Ansatz der für OSM-Daten nicht zu empfehlen ist, denn so wie Wasserflächen in OpenStreetMap erfasst werden führt dies zu starken Verzerrungen in der Dastellung.
  • Dass man große und bedeutende Wasserflächen anders erfasst, entweder als Küstenlinie oder mit einem neu zu wählenden Attribut – natürlich ist es generell eine schlechte Idee, die Datenbank zu manipulieren nur um mit den technischen Einschränkungen des gewählten Systems zur Kartendarstellung klarzukommen.

Ganz allgemein wären meine Methoden zur Generalisierung kartographischer Daten schon in der Lage, dieses Problem zu lösen, allerdings machen die sehr subjektiven Entscheidungen, die in diese Prozesse eingehen, dies etwas heikel. Und eine ordentliche Generalisierung der Inland-Wasserflächen erfordert im Grunde eine strukturelle Analyse des Flussnetzwerkes, was ein aufwändiger Vorgang ist und nicht einfach täglich durchgeführt werden kann. Ein praktikabler Ansatz sollte also weniger aufwändig und konservativer und neutraler in Bezug auf das Ergebnis sein. Die Lösung, welche ich jetzt vorstelle, habe ich mir in den Grundzügen schon vor längerer Zeit überlegt, habe jedoch bis vor kurzem nicht die Zeit gefunden, dies wirklich mal umzusetzen.

Beispiel der Gewässerdarstellung auf Grundlage des neuen Verfahrens

Wenn ich jetzt auf die ganze Sache zurückblicke, erkenne ich, dass was dabei herausgekommen ist von einem technischen Standpunkt betrachtet eigentlich ziemlich merkwürdig scheint. Es dürfte nützlich sein für eine ganze Menge Leute, die digitale Karten bei diesen Maßstäben produzieren, dass dem so ist sagt jedoch auch etwas ziemlich grundsätzliches über die Art und Weise aus, wie wir heute im Allgemeinen Karten berechnen und die Grenzen dieser Verfahren.

Falls das verwirrend klingt – die Details und den Hintergrund dazu gibt es zum nachlesen. Dort finden sich auch Links zu den (im Moment noch etwas experimentellen) bearbeiteten Daten.

Die Implementierung des vorgestellten Verfahrens ist auch verfügbar.

11. November 2016
von chris
Keine Kommentare

Aktualisierter Satelliten-Vergleich

Wenn ich hier über Satellitenbilder schreibe, konzentriere ich mich meist auf offene Datenquellen. Ich nutze jedoch jetzt mal den Start eines neuen kommerziellen Erdbeobachtungs-Satelliten durch DigitalGlobe früher am heutigen Tag als Gelegenheit, mein schon früher mal gezeigtes Satelliten-Vergleichs-Schaubild zu aktualisieren.

Zusätzlich zu WorldView-4 habe ich auch die Terra Bella SkySat-Konstellation ergänzt. Diese Satelliten nutzen ein interessantes Sensor-Konzept und sollen die bisher einmalige Fähigkeit besitzen, Videos aufzuzeichnen. Über die operativen Pläne für diese Satelliten ist jedoch bisher sehr wenig öffentlich bekannt.

Ich habe auch eine zusätzliche Spalte ergänzt mit dem täglichen Aufzeichnungs-Volumen der verschiedenen Systeme in Quadratkilometern. Die am häufigsten beworbene Fähigkeit von Satelliten neben der räumlichen Auflösung liegt in der möglichen Aufzeichnungs-Frequenz (revisit frequency), welche angibt, wie oft der Satellit jeden beliebigen Punkt der Erdoberfläche aufzeichnen kann. Ein mögliches Aufzeichnungs-Intervall von einem Tag bedeutet jedoch nicht, dass das System eine tägliche Komplettaufzeichnung der gesamten Erdoberflächen bieten kann. Das Aufzeichnungs-Volumen gibt an, welche Fläche tatsächlich an einem Tag erfasst werden kann. Dabei gibt es zwei Varianten: das potentielle Volumen (in rot gekennzeichnet) welches oft ein mehr oder weniger theoretischer Wert ist und das praktisch tatsächlich im Betrieb erfasste Volumen (in blau). Bei den kommerziellen Satelliten basiert beides natürlich auf Angaben des Betreibers.

Für die hochauflösenden Systeme mit offenen Daten basieren die Zahlen auf Durchschnittswerten der tatsächlichen Aufzeichnung. Bei Sentinel-2 ist das ein wenig schwierig zu ermitteln, so dass ich als Grundlage hier die durchschnittlich 14 Minuten Aufzeichnung pro Orbit verwendet habe, wie sie in den jüngsten Statusberichten im Durchschnitt angegeben ist. Bei den kontinuierlich aufzeichnenden niedrig auflösenden Systemen basieren die Zahlen zwecks Vergleichbarkeit auf einer Aufzeichnung über dem halben Orbit, obwohl die langwelligen Kanäle natürlich auch auf der Nachtseite aufgezeichnet werden.

Allgemein scheinen die Marketing-Abteilungen der Satellitenbetreiber oft viel Spaß damit zu haben, durch geschickte Kombination solcher Zahlen einen besonders leistungsfähigen Eindruck zu erwecken. Es ist deshalb gut als Vergleich ein paar Dinge im Hinterkopf zu behalten: Die Landflächen der Erde sind zusammen etwa 150 Millionen Quadratkilometer groß. Landsat 8 nimmt diese fast vollständig (mit Ausnahme der Bereiche jenseits von 82.66 Grad Breite) alle 16 Tage auf, jedoch nur ganz knapp. Um dies zu tun werden jeden Tag 25 Millionen Quadratkilometer erfasst oder in dem 16-Tage-Intervall 400 Millionen Quadratkilometer. Da sind natürlich ein paar Nacht-Aufnahmen mit dabei und auch eine ganze Menge Meeresflächen durch die Breite des Aufzeichnungs-Streifens und die Bindung an die festen WRS2-Kacheln. Trotzdem illustriert dies, dass man deutlich mehr als die 150 Millionen Quadratkilometer aufnehmen muss, um tatsächlich die Landflächen vollständig zu erfassen, in erster Linie aufgrund der unvermeidlichen Überlappungen in den Orbits und den Aufzeichnungs-Geometrien.

S2A_R092_S05_20160802T075556_expose2.ann

28. Oktober 2016
von chris
Keine Kommentare

Die afrikanischen Gletscher 2016

An die Leser, die kein so großes Interesse an Satellitenbild-Themen haben – tut mir Leid wenn dieses Thema in letzter Zeit etwas Übergewicht hat – es wird auch wieder andere Themen geben. Aber für jetzt gibt es eine weiteren Beitrag mit Bildern – und zwar von den Gletschern Afrikas.

Mit Gletschern vertraute Leser wissen vermutlich, dass es auf dem afrikanischen Kontinent drei Gegenden mit Gletschern gibt, alle in den inneren Tropen. Gletscher in den Tropen sind etwas spezielles, denn sie weisen keine so klaren saisonalen Muster von Schnee-Akkumulation im Winter und Abschmelzen im Sommer auf wie bei höheren Breiten. Alle afrikanischen Gletscher sind im letzten Jahrhundert stark zurückgegangen und haben nur noch einen Bruchteil ihrer ursprünglichen Größe. Sie werden alle vermutlich in den nächsten fünfzig Jahren verschwinden.

Die am wenigsten umfangreiche Vergletscherung findet sich auf dem Mount Kenya

Das Rwenzori-Gebirge an der Grenze zwischen Uganda und der Demokratischen Republik Kongo bietet durch das deutlich niederschlagsreichere Klima trotz der geringeren Höhe deutlich mehr Gletscher. Früher gab es diese an einer ganzen Reihe von Gipfeln des Gebirges, mittlerweile sind sie weitgehend auf die höchsten Bereiche um den Mount Stanley begrenzt.

Und schließlich der bekannteste und höchste der vergletscherten Berge Afrikas – der Kilimanjaro. Vor hundert Jahren war noch der größte Teil der Caldera am Gipfel mit Eis bedeckt während jetzt nur noch ein paar Reste davon vorhanden sind. Durch die große Höhe ist der Gletscher-Rückgang am Kilimanjaro weniger durch Klima-Erwärmung, sondern viel mehr durch weniger Schneefall und stärkere Sonneneinstrahlung durch häufigeres sonniges Wetter bedingt.

Alle drei Bilder basieren auf Copernicus-Sentinel-2-Daten.

26. Oktober 2016
von chris
Keine Kommentare

Das hätte ich euch sagen können…

Kurzer Nachtrag zum Thema Sentinel-2-Pakete und ESA API – vor drei Wochen hatte ich erwähnt:

[...] Statt der 200-300 Pakete pro Tag, mit denen man zu tun hatte, gibt es jetzt viele tausend davon. Dies bedeutet, dass ein effizienter Zugriff auf Sentinel-2-Daten in größerem Umfang jetzt nur noch über automatische Werkzeuge funktioniert.

Und vor ein paar Tagen:

Da die ESA keinen Gesamt-Download der Metadaten anbietet, muss man sich diese aus der API zusammenklauben.

Heute hat dann die ESA mitgeteilt, dass sie denken, dass die jüngsten Instabilitäten der API größtenteils auf Nutzer zurückgehen, welche versuchen, eine extrem große Anzahl von Ergebnissen mit Abfragen zurückzugeben und dass sie als Reaktion eine Grenze von 100 Ergebnissen pro Abfrage einführen. Zwei Kommentare dazu:

  • das hätte ich ihnen schon vor drei Wochen sagen sagen können (vielleicht sollte ich ein Geschäft als Orakel aufmachen – obwohl man wirklich kein Genie sein muss um das vorherzusagen).
  • ich zweifle, dass das viel hilft – gibt ein bisschen zusätzliche Arbeit für die Programmierer auf der Welt, automatische Anschluss-Abfragen zu implementieren, um mit der Grenze von 100 Einträgen umzugehen, aber am Ende werden sie immer noch alle Ergebnisse ausliefern müssen, schließlich macht die Abfragen ja kaum jemand zum Vergnügen und es gibt mittlerweile über 160k Einträge abzufragen und das wächst jeden Tag um etwa 4000-5000 Einträge (wobei es derzeit einen Rückstand von einer Woche bei der Veröffentlichung von Sentinel-2-Bildern gibt). Systeme wie dieses, welche offensichtlich nicht in dem Maße skalieren in dem sie genutzt werden, versagen an der schwächsten Stelle. Diese dann zu beheben oder zu schützen bedeutet aber nicht, dass das Ganze nicht an einer anderen Stelle wieder versagt. Wenn das ganze Datenzugriffs-System in die Knie geht wegen ein paar unerwarteten, jedoch vollkommen gültigen Abfragen, ist das Zeichen für ein viel grundsätzlicheres Problem.
  • auch wenn das so völlig nach letztem Jahrhundert klingt wo wir heute doch alle in der Cloud leben – ein Gesamt-Download der Metadaten mit so was wie täglichen/stündlichen Diffs für die Aktualisierung wäre vielleicht keine schlechte Idee.

Übrigens (falls sich jemand das fragt) – das lag nicht an mir, als ich meine Skripte für die Abdeckungs-Analyse geschrieben habe, hab ich bereits eine Grenze von hundert Einträgen bei den Abfragen verwendet – das war schon dann das dokumentierte Limit bei der OData-API, so dass es angemessen schien, dies generell zu verwenden.

sentinel2_stats_980

22. Oktober 2016
von chris
Keine Kommentare

Sentinel-2 – das erste Jahr

Sentinel-2 is eine Satellitenmission zur Erdbeobachtung, deren Bilder als offene Daten zugänglich sind. Der erste Satellit hierfür wurde im Juli letzten Jahres gestartet und die Daten wurden ab November letzten Jahres zugänglich gemacht. Das Konzept von Sentinel-2 ähnelt dem Landsat-Programm und mit einer etwas höheren räumlichen Auflösung von 10m produziert der Satellit die derzeit höchste Auflösung unter den als offene Daten zugänglichen Satellitenbildern.

Dies soll eine Analyse der Sammlung von Satellitenbildern werden, welche Sentinel-2 während des ersten Betriebsjahres produziert hat. Zum Vergleich beginne ich jedoch mit Landsat.

Landsat

Landsat 8 ist nun mehr als drei Jahre in Betrieb und zeichnet wie bereits zuvor erwähnt mittlerweile im wesentlichen ausgewogen die gesamten globalen Landflächen der Erde in einem 16-Tage-Intervall auf. Um das zu illustrieren habe ich hier mal die Aufzeichnungen von der Tagseite vom letzten Jahr dargestellt. Zu sehen sind die WRS2-Kacheln in einer Farbe welche der Anzahl der erfassten Bilder entspricht. Dies lässt sich relativ einfach auf Grundlage der Metadaten-Pakete erstellen, welche der USGS bereitstellt.

Der Zeitrahmen ist dabei nicht willkürlich gewählt, ein Schnitt in der Mitte des Oktobers bedeutet, dass man einen vollen Sommer der Nord- als auch der Südhemisphere abdeckt.

Wie man sieht sind die niedrigen Breiten recht gleichmäßig gefärbt, was bedeutet, dass die Haupt-Landmassen mit größtenteils 21-23 Bildern abgedeckt sind – was dem 16-Tage-Intervall entspricht. Bei hohen Breiten werden nicht alle Aufnahme-Möglichkeiten wahrgenommen, wie aber die dichteren Linien in der Illustration schon andeuten bedeutet das nicht notwendigerweise, dass seltener Bilder aufgezeichnet werden. Um die tatsächliche Aufzeichnungs-Frequenz besser zu veranschaulichen hier eine andere Darstellung, welche die jeweilige Zahl der Bilder für jeden Pixel darstellt, welcher Landflächen beinhaltet.

Hier sieht man, dass die hohen Breiten in den meisten Fällen sogar deutlich öfter erfasst werden – was auch nicht schlecht ist, denn diese Bereiche sind öfter durch Wolken beeinträchtigt als die Subtropen.

Ein paar interessante Beobachtungen lassen sich daran machen. Zunächst sieht man sehr schön, wie die off-Nadir-Aufnahmen im Norden Grönlands und in der Antarktis die Abdeckung vergrößern und das überhaupt nicht abgedeckte Gebiet, welches in blau dargestellt ist, verkleinern. Dies ist natürlich in erster Linie das Innere der Antarktis, es gibt jedoch auch zwei blaue Pixel weiter nördlich:

  • Rockall – nicht wirklich groß genug, um in nützlicher Form auf einem Landsat-Bild dargestellt zu werden.
  • Die Jonas-Insel – ein recht klares Versäumnis, denn andere kleinere Inseln anderswo werden spezifisch von Landsat erfasst.

Hier die Insel auf einem Sentinel-2-Bild:

Was Landsat nicht kennt – die Jonas-Insel gesehen von Sentinel-2

Ansonsten werden die niedrigen Breiten bei jeder Gelegenhet erfasst, so dass es hier nicht wirklich was zu verbessern gäbe. Bei den hohen Breiten gibt es jedoch immer noch einige Unterschiede in der Priorität zwischen besonders bevorzugten Gegenden und eher vernachlässigten Bereichen. Insbesondere die Inseln der Karasee und der Ostsibirischen See sowie die Bäreninsel und Hopen südlich von Spitzbergen sind deutlich seltener erfasst als andere Gegenden auf der selben Breite. In gewisser Hinsicht ist dies natürlich auch eine Effizienz-Frage, denn ein Bild aufzunehmen, welches lediglich eine einzige kleine Insel enthält, ist insgesamt weniger nützlich als eines welches vollständig oder zumindest größtenteils Landflächen abdeckt.

Zum Verglech und zur Vervollständigung hier die selben Illustrationen für die vergangenen Jahre:

Jahr Tagseite Nachtseite Pixel-Abdeckung Tag
2014 LS8, LS7 LS8 LS8
2015 LS8, LS7 LS8 LS8
2016 LS8, LS7 LS8 LS8

Sentinel-2

Nun zum Hauptthema, dem ersten Jahr von Sentinel-2. Die öffentliche Verfügbarkeit der Bilder begann im November, jedoch wurden schon vorher eine ganze Menge Bilder aufgezeichnet und im Nachhinein zugänglich gemacht, so dass ich hier die selbe Grenze ziehe wie bei Landsat (Mitte Oktober), den Startpunkt offen lasse und das Ganze als das erste Jahr auffasse. Im Vergleich zu Landsat bedeutet dies eine etwas stärkere Bedeutung des nordhemisphärischen Sommers, denn hiervon sind sowohl von 2015 als auch von 2016 Bilder dabei.

Technisch ist das Ganze aus mehreren Gründen bei Sentinel-2 deutlich schwieriger also für Landsat:

  • Da die ESA keinen Gesamt-Download der Metadaten anbietet, muss man sich diese aus der API zusammenklauben.
  • Die API liefert – abgesehen davon, dass sie in letzter Zeit recht unzuverlässig ist – nicht immer alle zu einer Abfrage passenden Pakete zurück, zumindest was die ‘search API’ betrifft, die ‘OData API’ ist da anders.
  • Nicht alle Pakete in der Datenbank haben Abdeckungs-Polygone.
  • Pakete, welche sich über den 180-Grad-Meridian erstrecken, haben defekte Polygone.
  • Wie in meinem ersten Bericht über die Sentinel-2-Daten erwähnt haben die frühen Datensätze alle falsche Polygone. Die ESA hat diesen Fehler im Juli korrigiert, jedoch sind viele der frühen Pakete seit dem noch nicht ersetzt worden.
  • Einige der frühen Pakete von 2015 haben eine falsche relative Orbit-Nummer.

All dies zusammen bedeutet, dass man eine ganze Menge Aufwand treiben muss, um eine halbwegs genaue Analyse zu bekommen. Was ich im Folgenden zeige weist deshalb auch noch einige Einschränkungen auf:

  • Es sind nur die Tagseiten-Bilder eingeschlossen. Da Sentinel-2 keine Daten im thermischen Infrarot aufzeichnet, sind Nachtbilder sowieso sehr selten. Aufgrund der Komplikationen hab ich diese deshalb weggelassen.
  • Bilder ohne Abdeckungs-Polygon oder falsche relative Orbit-Nummer sind nicht dabei (insgesamt ein paar hundert).
  • Bilder mit den alten fehlerhaften Polygonen sind an den Seiten entsprechend dem Aufzeichnungs-Streifen beschnitten, jedoch nicht in Umlauf-Richtung. Hierdurch wird die Abdeckung systematisch überschätzt, insbesondere in Bereichen fein granulierter Aufzeichnungen. Dies lässt sich gut bei den kleineren grünen Bereichen in Amerika und Asien beobachten, welche in Wirklichkeit deutlich kleiner sind als dargestellt.

Trotzdem sollte dies insgesamt einen recht genauen Eindruck der räumlichen Verteilung der Bilder und der Aufzeichnungs-Prioritäten von Sentinel-2 im ersten Betriebsjahr bieten:

Wie bereits weitgehend bekannt zielt der Betrieb von Sentinel-2 nicht auf eine gleichmäßige globale Abdeckung ab. Der Schwerpunkt liegt – zumindest für das letzte Jahr – auf Europa, Afrika und Grönland. Mit dem 10-Tage-Intervall könnte Sentinel-2 theoretisch an jedem einzelnen Punkt der Erde 35 Bilder pro Jahr erfassen – vom Volumen her jedoch vermutlich nicht für alle Landflächen zusammen. Verständlicherweise wurde dies im ersten Jahr für keinen Punkt außerhalb der Überlappungs-Bereiche erreicht, wenngleich die Regionen mit Priorität (Europa und Afrika) mit der selben oder sogar einer höheren Frequenz als durch Landsat erfasst wurden. Anderswo war die Aufzeichnung jedoch deutlich unregelmäßiger und die kleinen Prioritätsgebiete scheinen recht willkürlich verteilt zu sein, vermutlich um jeweils Partikular-Interessen zu bedienen. Dies ist besonders auffällig in der Antarktis, wo das Landesinnere weitgehend unerfasst ist, jedoch ein kleines, weitgehend strukturloses Gebiet auf dem Plateau der Ostantarktis aus irgendeinem Grund wiederholt aufgenommen wurde.

Außer der Antarktis und dem äußersten Norden Grönlands sind vor allem kleinere Inseln überhaupt nicht aufgenommen worden.

Was die Illustration nicht hergibt sind Informationen darüber, wie gut die Zuteilung der Zeitfenster in den Bereichen gehandhabt wird, wo nicht jede Möglichkeit zur Aufzeichnung genutzt wird, insbesondere was die Wolken-Bedeckung angeht. Bei Sentinel-2 ist dieses Gebiet deutlich größer (ich würde schätzen etwa zwei Dittel der Landflächen im Vergleich zu etwa einem Drittel bei Landsat). Mein Bauchgefühl sagt, dass der USGS hier etwas besser ist – was in Anbetracht der größeren Erfahrung nicht verwunderlich wäre. Es könnte interessant sein, sich mal die Wolkenbedeckungs-Schätzungen der Bilder im Vergleich anzuschauen obwohl diese recht unzuverlässig sind und durch die unterschiedlichen verwendeten Methoden am Ende vermutlich nicht wirklich ein aussagekräftiges Ergebnis dabei raus kommt. Und wie früher schon mal erwähnt bedeuten die größeren Bilder bei Sentinel-2 auch, dass eine Wolkenbedeckungs-bezogene Aufnahmen-Planung hier schwieriger ist.

Ausblick

Was kann man also vom nächsten Jahr erwarten? Für Landsat scheint sich kaum was zu ändern. Bei Sentinel-2 ist der aktuelle Status

Sentinel-2A is acquiring Europe, Africa and Greenland at 10 days revisit, while the rest of the world land masses defined in the MRD are mapped with a 20 days revisit time.

Wie zuvor schon mal erläutert sind solche Aussagen mit Vorsicht zu genießen, insbesondere in Bezug auf das MRD. Das zitierte würde eine deutlich höhere Aufzeichnungs-Frequenz bedeuten und vor allem eine gleichmäßigere globale Abdeckung – das letzte Jahr wies wie oben dargestellt einen größeren Unterschied als 1:2 zwischen Europa und Afrika auf der einen und Amerika und Asien auf der anderen Seite auf.

S3A_sample_niran.ann

20. Oktober 2016
von chris
Keine Kommentare

Sentinel-3-Daten – besser spät als nie

Im Februar habe ich über den Start des Sentinel-3A-Satelliten berichtet und heute werden endlich die ersten Daten öffentlich zugänglich gemacht.

Entsprechend dem veröffentlichten Zeitplan bekommen wir jetzt die Level-1-OLCI-Daten, die Level-1-SLSTR-Daten sind für den November vorgesehen und die höheren Bearbeitungsstufen für irgendwann im nächsten Jahr.

Farbdarstellung eines der ersten öffentlichen Sentinel-3-OLCI-Datensätze

Manche Leser, welche die Starts und den Betrieb von Erdbeobachtungs-Satelliten verfolgen, sind möglicherweise etwas erstaunt, denn Bilder von Sentinel-3 werden von verschiedenen Seiten bereits seit Monaten gezeigt. Dies liegt daran, dass seit Mai die Daten bereits für sogenannte Experten-Nutzer zugänglich sind.Keiner der Satellitenbild-Experten die ich kenne scheint jedoch zu diesem illustren Kreis zu gehören – was darauf hindeutet, dass die Expertise, sich hierfür zu qualifizieren in etwas anderem besteht als dem was man gewöhnlich als solche versteht. Diese Daten wurden ‘Beispieldaten’ genannt, sind jedoch anders als normale Beispieldaten kontinuierlich über den gesamten Zeitraum produziert worden – eine ziemlich kreative Verwendung des Begriffes ‘Beispiel’.

Dieser gesamte Prozess ist ziemlich bemerkenswert, denn die regulatorische Anforderung des Copernicus-Programms ist ganz klar, dass alle Daten der Sentinel-Satelliten für alle ohne Zugangsbeschränkungen außer einer einfachen Registrierung zugänglich sind. Indem man den Satelliten – oder korrekter das zugehörige Datenverarbeitungssystem, denn der Satellit hat seine Inbetriebnahme-Inspektion im Juli bestanden – als nicht betriebsbereit deklariert, umgeht man anscheinend diese Anforderung.

Man mag das als Paranoia auf meiner Seite abtun, jedoch gibt es recht klare Indizien dafür, dass einflussreiche Leute im Umfeld des Copernicus-Programms insgesamt recht unzufrieden mit dem ganzen Aspekt der offenen Daten sind. Zum Beispiel wenn man einen Blick auf die Daten der verschiedenen Sentinel-Satelliten wirft, welche bis jetzt gestartet wurden – dann erkennt man einen klaren Trend:

  • Sentinel-1A: Start 3 Apr 2014, öffentlicher Datenzugriff ab 9 Mai 2014 (1 Monat)
  • Sentinel-2A: Start 23 Jun 2015, Daten ab Ende November 2015 (5 Monate)
  • Sentinel-1B: Start 25 Apr 2016, Daten ab 26 Sep 2016 (5 Monate)
  • Sentinel-3A: Start 16 Feb 2016, Daten teilweise ab 20 Okt 2016 (8 Monate)

Natürlich waren die ersten Daten von Sentinel-1A hochgradig experimentell und es gab in Anschluss massive Änderungen am gesamten System der Datenverteilung. Aber das ist in Anbetracht der fehlenden Erfahrung mit öffentlichem Datenzugang auch verständlich.

Zur Verteidigung der Verantwortlichen – das Datenvolumen, welches hier verteilt werden muss, ist recht beachtlich. Für Sentinel-2 sind das etwa 200-300 Szenen-Pakete pro Tag (die alten 300km-Szenen, nicht die neuen Einzelkachel-Pakete), was mit einer angenommenen Durchschnittsgröße von 5GB etwa 1-1.5TB pro Tag ergibt. Für Sentinel-3 liegen die Schätzungen bei 28.5GB (OLCI) und 44.5GB (SLSTR) pro Orbit, was zusammen mehr als 1TB pro Tag allein für die Level-1-Daten bedeutet – also ohne die höheren Bearbeitungsstufen und ohne die unterschiedlichen Echtzeit- und Langzeit-Versionen. Und die Echtzeit-Daten sollen innerhalb von drei Stunden nach der Aufnahme verfügbar sein. Wenn man die Schwierigkeiten bedenkt, welche in Bezug auf den zuverlässigen Datenzugang schon bei Sentinel-2 sichtbar sind, ist es nicht wirklich erstaunlich, dass man es nicht eilig damit hat, diese fragile Infrastruktur mit noch mehr Daten dem öffentlichen Zugriff auszusetzen. Aber die Ressourcen, welche im Copernicus-Programm in die öffentliche Verteilung der Daten fließen, reflektieren natürlich die Bedeutung, die die Entscheidungsträger diesem Teil des Projektes zubilligen – und es ist ja auch nicht so, dass die Notwendigkeit auf diesen Maßstab zu skalieren nicht bereits seit Jahren klar war.

Die Situation könnte daneben auch etwas damit zu tun haben, dass Sentinel-3 anders als Sentinel-1 und 2 von EUMETSAT und nicht von der ESA betreieben werden (obwohl die ESA Teile der Daten verteilt). Ich habe früher darüber geschrieben, dass es bei der ESA an eine Kultur offener Daten fehlt, durch ihren wissenschaftlichen Auftrag müssen die jedoch zumindest nach außen ein gewisses Bild der Offenheit kommunizieren.

EUMETSAT hingegen ist eine Organisation, welche die Wetter-Satelliten der europäischen Wetterdienste betreibt. Da es für die einzelnen Staaten Europas sehr ineffizient wäre, jeweils eigene Wettersatelliten zu betreiben, haben sie sich zusammengetan. Das Konzept hinter EUMETSAT ist, dass Mitgliedsländer freien Zugang zu den Satellitendaten für ihre staatlichen Wetterdienste für ihre eigenen Verwendung bekommen. Diese können die Daten auch an Dritte weiter-lizenzieren, sind dabei jedoch an die Tarife gebunden, welche das EUMETSAT-Management festsetzt. EUMETSAT hat also zwei Ziele:

  • Kostenreduktion durch den gemeinsamen Betrieb von Wetter-Satelliten für die staatlichen Wetterdienste
  • Monetarisierung der produzierten Daten durch den Verkauf an kommerzielle Nutzer als Kartell

Als Folge hiervon sind die Europäischen Wetter-Satelliten was die Daten betrifft mit am restriktivsten im weltweiten Vergleich, denn es ist explizites Ziel der Betreiber, aus nicht staatlichen Verwendungen der Daten Gewinn zu erzielen – im starken Kontrast zum Beispiel zu Japan, wo Himawari 8 vollständig freien Zugriff auf die Daten bietet.

Man erkennt vielleicht die Ironie darin, wenn eine solche Organisation jetzt beauftragt wird, einen Satelliten mit vollständig offenem Datenzugang zu betreiben. Sentinel-3 steht zwar nicht in direkter Konkurrenz zu geostationären Wettersatelliten, allerdings betreibt EUMETSAT auch andere Satelliten in polarem Orbit.

Zu den Daten selbst – ich habe da noch nicht im Detail drauf geschaut, werde vermutlich später eine detailliertere Besprechung schreiben, jedoch vermutlich erst wenn auch die SLSTR-Daten verfügbar sind. Da die Daten in einem unüblichem Format kommen (netCDF ohne normale Daten zur Georeferenzierung) wird die Nutzung mit normalen Werkzeugen recht kompliziert sein. Was man so weit erkennen kann ist jedoch, dass die verfügbaren Daten recht unvollständig sind. Da OLCI nur im sichtbaren Licht und im nahen Infrarot aufzeichnet, sind Nachtaufnahmen nicht von Interesse, jedoch gibt es nicht einmal von der Tagseite eine vollständige Abdeckung. Zum Vergleich hier die Abdeckungen der verfügbaren Daten:

Und im Vergleich die aktuelle Terra-MODIS-Abdeckung:

Die schmaleren Aufzeichnungsstreifen und entsprechend größeren Lücken am Äquator sind normal und wie erwartet, dass diese jedoch in Richtung der Pole sehr früh enden ist merkwürdig. Ob dies auf einem Schwellwert bei der Sonnenhöhe oder auf anderen Kriterien basiert ist mir nicht klar. Ebenso ob dies nur die verfügbaren Daten betrifft oder auch die eigentliche Aufzeichnung. Dies wird jedoch in jedem Fall bedeuten, dass in Polnähe bei hohen Breiten der verfügbare Zeitraum für Bilder auf nur etwa 3-4 Monate im Jahr begrenzt ist.

s2_cheese_980

3. Oktober 2016
von chris
Keine Kommentare

Bleibt alles anders?

Im Bereich offener Satellitenbild-Daten haben in letzter Zeit ein paar Veränderungen hinsichtlich der praktischen Nutzung stattgefunden, welche man auf Englisch treffend als moving the cheese überschreiben kann. Sie beziehen sich auf Landsat- und Sentinel-2-Daten. Hier die Erläuterungen im Detail und ein paar Kommentare dazu.

Landsat

Der USGS hat Ende September damit begonnen, die Form der Daten-Verteilung von Landsat-Daten auf was sie als Collections bezeichnen umzustellen. Das bedeutet im Wesentlichen:

  • Die Einführung verschiedener Bearbeitungs-Versionen in expliziter Form. Bis jetzt haben Neubearbeitungen einer Szene einfach das existierende Paket ersetzt. Die Version der Prozessierung ließ sich an den Metadaten ablesen, jedoch nicht im Paket-Namen. Durch das Prozessierungs-Datum als Bestandteil des Namens wird dies transparenter, jedoch zwingt man hierdurch den Nutzer auch, sich mit den Versionen herumzuschlagen.
  • Die Einführung von verschiedenen Stufen zur Qualitäts-Bewertung. Dies bedeutet, dass einige Szenen verifiziert werden, dass sie höheren Qualitäts-Standards entsprechen, anscheinend vor allem in Bezug auf die geometrische Genauigkeit. Dies wird in den Paket-Namen vermerkt und die Szenen werden in den Download-Tools prominent in diese Klassen eingeteilt.
  • Die Einführung einiger zusätzlicher Metadaten.

Die Änderung wird Schritt für Schritt umgesetzt – derzeit werden die Daten von Landsat 5 und 7 umgestellt und die Planung sieht vor, mit Landsat 8 im November zu beginnen. Die ganze Neu-Prozessierung wird anscheinend mehrere Monate dauern. Die alte Form wird währenddessen einschließlich neuer Bilder verfügbar bleiben so dass es reichlich Zeit gibt, sich auf die Änderungen einzustellen. Und das neue Format ist abgesehen von den Dateinamen im Inhalt im wesentlichen rückwärts-kompatibel, ist also nicht so kompliziert sich darauf einzustellen.

Sentinel-2

Die Änderungen bei Sentinel-2 sind hingegen eine vollkommen andere Geschichte.

Zunächst hat die ESA am 19. September Die Registrierungs-freie Verteilung von Sentinel-2-Daten abgestellt. Das bedeutet, dass man sich jetzt bei der ESA registrieren muss, um Zugriff auf Sentinel-2-Daten zu bekommen. Kein großes Problem, denn das ist ein automatischer Vorgang. Aber es ist natürlich nicht gerade bequem, wenn man nur mal beiläufig die Daten ausprobieren möchte.

Dann wurde Ende September von den bisherigen Szenen-basierten Paketen auf Einzel-Kachel-Pakete umgestellt. Diese Änderung war Anfang August angekündigt worden. Wie ich bei meiner Evaluierung der Sentinel-2-Daten erläutert habe, bestand die ursprüngliche Form der Verteilung von L1C-Sentinel-2-Daten (was die einzig verfügbare Bearbeitungsstufe ist) aus Paketen, welche jeweils einen Abschnitt von 300km Länge aus dem Aufzeichnungs-Streifen des Satelliten von etwa 290km Breite enthielten. Diese Pakete waren, falls Daten über die gesamten 300km aufgezeichnet wurden, üblicherweise zwischen etwa 6 und 15 GB groß – abhängig von der geographischen Breite, denn die Aufteilung der 300km-Segmente erfolgte in Breiten-Richtung.

Außer der größeren Dateigröße (aufgrund der höheren räumlichen Auflösung wie auch der größeren abgedeckten Fläche) und der unterschiedlichen internen Struktur der Pakete waren diese recht vergleichbar mit Landsat-Szenen. Aber es gab anscheinend eine ganze Reihe von Nutzern, welche so große Pakete etwas unhandlich fanden so dass die ESA jetzt auf die Verteilung von Paketen mit Einzel-Kacheln umschwenkt. Eine Kachel (granule) bezeichent bei der ESA 100x100km-Ausschnitte der Daten, in welche diese intern aufgeteilt sind und welche einer Abwandung des MGRS-Systems entsprechen. Jedes Paket enthält jetzt exakt eine dieser Kacheln und die 300km-Szenen, welche üblicherweise etwa 10-15 dieser Kacheln enthielten, sind Geschichte. Dies scheint mögchlicherweise kein so bedeutender Welchsel zu sein, denn es werden ja nur dies selben Daten in kleinere Pakete aufgeteilt und ESA hat dies auch genau so angekündigt. Es ergeben sich jedoch eine Reihe von Folgen:

  • Es gibt eine ganze Menge zusätzliche Redundanz zwischen den Paketen, denn viele Metadaten und zusätzliche Dateien lädt man jetzt 10-15 Mal so oft herunter wie zuvor.
  • Da die ESA ihre Voransicht-Bilder nach wie vor einzeln farblich anpasst, muss man jetzt mit noch stärkeren und feiner granulierten Farbunterschieden in diesen Vorschau-Bildern arbeiten. Bereits vorher war die Verwendung hiervon zur Qualitäts-Abschätzung der Bilder recht schwierig und trotz der nun höheren Auflösung (die Vorschau-Bilder sind bei den einzelnen Kacheln genau so groß wie zuvor für eine ganze Szene) wir das jetzt noch deutlich schwieriger. Auf der positiven Seite kann man nun – mit etwas Schummelei – die Voransichten näherungsweise geocodieren.
  • Auch wenn die ESA jetzt einzelne Kachln verteilt, scheint man es anscheinend nicht für nötig zu halten, in den Metadaten der Pakete Informationen vorzuhalten, um welche Kachel es sich jeweils handelt. Es gibt zwar ein Abdeckungs-Polygon, jedoch keine Angaben zur MGRS-Kachel oder zur UTM-Zone.
  • Für umfangreichere Datennutzung, wo man nicht nur mit einzelnen Kacheln arbeitet oder nur beiläufig mal Bilder von einem bestimmten Punkt ansehen möchte, ist das ESA-Download-Interface und in ähnlicher Weise die diversen alternativen Betrachtungs-Werkzeuge, welche auf der ESA-Infrastruktur aufbauen, jetzt praktisch nicht mehr nutzbar. Statt der 200-300 Pakete pro Tag, mit denen man zu tun hatte, gibt es jetzt viele tausend davon. Dies bedeutet, dass ein effizienter Zugriff auf Sentinel-2-Daten in größerem Umfang jetzt nur noch über automatische Werkzeuge funktioniert.
  • Die ESA hat bereits zuvor recht zufällig Bilder neu bearbeitet, was dann zu mehreren Paketen für das selbe Bild im Archiv geführt hat. Ich weiss nicht, in wie fern eine Neu-Prozessierung normalerweise zu Unterschieden in den eigentlichen Bilddaten führt, wenn das jedoch jetzt auf einem deutlich feineren Maßstab passiert ist dies deutlich relevanter. In dem Fall zum Beispiel, wo man erst eine Kachel in der neuesten verfügbaren Version herunterlädt, dann auch noch eine benachbarte Kachel benötigt und feststellt, dass diese nur in einem älteren Bearbeitungs-Stand verfügbar ist. Wird dies dann zu Unterschieden in den Daten an der Kachel-Grenze führen?

Hinsichtlich der Voransicht-Bilder – hier ein Beispiel für ein solches Bild eines Pakets im alten Stil:

Sentinel-2 Voransicht-Bild im alten Stil

Und hier das selbe Gebiet mit neu prozessierten Daten, zusammengesetzt aus den Voransichten der neuen Einzelkachel-Pakete:

Zusammenstellung der Voransichten von neuen Paketen

Nun – das ist immer noch besser als gar keine Voransicht, was aber nicht wirklich ein Kompliment ist…

Hier endet die Geschichte jedoch noch nicht. Seit der Umsetzung dieser Änderung ist der Zugriff auf die ESA-Download-Infrastruktur recht erratisch – wer würde auch denken, dass wenn man etwa die zehnfache Anzahl an Dateien zum Download anbietet und dazu noch die Metadaten und Such-Funktionen, dass dies zu einer zusätzlichen Belastung der Infrastruktur führt? Heute haben sie dann angekündigt, dass unzuverlässige und verzögerte Verfügbarkeit der Daten noch den Rest des Oktobers andauern wird.

Egal was die Gründe und Motive für all das sind – die Aussicht, dass Sentinel-2 sich zu einer verlässlichen Alternative offener Satellitenbild-Daten zu Landsat entwickeln könnte, hat damit einen deutlichen Dämpfer bekommen. Wenn man die Mengen an Steuergeldern bedenkt, die hierein geflossen sind, ist das schon mehr als nur ein bisschen traurig.

Ich neige generell dazu – im Sinne von Hanlon’s razor – dies in erster Linie auf Inkompetenz zu schieben. Die verschiedenen offensichtlich nicht gut durchdachten Aspekte der ESA-Datenverteilung und zugehörigen Werkzeuge – wie zum Beispiel die Sache mit den Voransicht-Bildern – unterstreichen dies. Aber die Möglichkeit, dass es auf irgendeiner Ebene durchaus beabsichtigt ist, dass routinemäßige Nutzung der Sentinel-Daten über die öffentlich zugänglichen Wege nicht allzu einfach ist, scheint in der Gesamtschau auch nicht wirklich so fern liegend zu sein.

ural_s2_2016_expose.ann

24. September 2016
von chris
Keine Kommentare

Mehr Bilder zum Mappen

Ich habe gerade ein paar neue Bilder bei den OSM images for mapping eingestellt:

Zunächst ein paar Luftbilder von vor etwa einem Jahr von der Operation Icebridge von der Thule Airbase (von wo die meisten der Flüge auch starten). Im Gegensatz zu den älteren Bildern sind hier auch welche ohne Schneebedeckung dabei.

Es gäbe noch weitere solche Bilder vom späten Herbst von anderen Teilen Grönlands, aber sie decken jeweils nur sehr schmale Streifen ab, welche im Vergleich zur Gesamtfläche des Landes recht unbedeutend sind. Da auch noch sehr viel auf Grundlage der geringer aufgelösten Bilder zu erfassen ist, hätten diese nur recht geringen Nutzen.

Als nächstes gibt es jetzt ein recht großes Bild vom nördliche Ural-Gebirge in Russland. Diese Gegend ist in den Bildebenen von Bing und Mapbox nur sehr schlecht abgedeckt. Das Bild hier stammt von Sentinel-2 und ist vom August.

Dies sollte nützlich sein zur Erfassung von Seen, Flüssen, Gletschern, Gebirgskämmen und Kliffs, man beachte jedoch, dass nicht jeder weiße Fleck im Bild ein Gletscher ist. Auch Straßen, Siedlungen und Bergbau-Gebiete lassen sich erkennen.

Und schließlich gibt es ein kleines Bild der Uschakow-Insel – darauf ist nicht wirklich viel zu sehen, aber es kann als Grundlage zur Aktualisierung der Küstenlinie dienen. Man kann auch sehen, dass sich einer der Schmelzwasser-Seen auf dem Eis geleert hat.

S2A_R023_N28_20160608T120328_crop.ann

17. September 2016
von chris
Keine Kommentare

Sonnenreflexionen auf Wasserflächen

Kürzlich erwähnte ich den Effekt von Sonnenreflexionen auf Wasserflächen in Satellitenbildern („sun glint“) und ich möchte hier dieses Thema ein bisschen näher erläutern.

„sun glint“ ist ein weitverbreitetes Phänomen in Satellitenbildern – es handelt sich dabei im Grunde um Spiegelungen der Sonne auf Wasserflächen. Im Grunde das selbe wie wenn man eine Reflexion der Sonne auf einer gekrümmten Glasfläche sieht.

Aus der Perspektive eines Erdbeobachtungs-Satelliten in sonnensynchronem Orbit mit einem Vormittags-Zeitfenster (hierzu zählen sowohl Landsat als auch Sentinel-2) sieht das so aus:

Dieses Bild zeigt die Aufnahmen eines einzelnen Tages von der Terra-MODIS-Kamera von einem Tag im Mai diesen Jahres. Man erkennt die verschiedenen Umläufe des Satelliten, jeder überquert den Äquator zur selben lokalen Zeit, und die kleinen Lücken dazwischen. Da der Satellit eine Vormittags-Ansicht aufnimmt, steht die Sonne im Osten und die Reflexion der Sonne ist folglich gegenüber der Mitte des Bildstreifen leicht nach Osten verschoben. Höher auflösende Satelliten wie Landsat und Sentinel-2 nehmen nun ein kleineres Sichtfeld auf, so dass Sonnenreflexionen üblicherweise als heller Schleier mit von Westen nach Osten zunehmender Intensität zu sehen ist. Hier ein Beispiel von Sentinel-2:

Und hier eines von Landsat 8:

Da Sentinel-2 ein breiteres Blickfeld hat als Landsat und auch einen etwas späteren Aufnahme-Zeitpunkt (10:30 am Äquator im Vergleich zu 10:11) sind die Sonnenreflexionen und ihre Variabilität über das Bild im Durchschnitt deutlich stärker ausgeprägt als bei Landsat. Die langgestreckte Form der Sonnenreflexionen in Flugrichtung rührt von der Art und Weise her, wie der Satellit die Bilder aufzeichnet, indem er Linien senkrecht zur Flugrichtung abtastet. Der Winkel zwischen der Blickrichtung und der Erdoberfläche variiert deutlich entlang dieser Linien, wird jedoch nicht vorwärts oder rückwärts in Bezug auf die Flugrichtung geneigt, so dass die Reflexion stark senkrecht zur Flugrichtung schwankt durch die Rotation der Blickrichtung über das Sichtfeld, sich in Flugrichtung jedoch sehr viel langsamer verändert durch die Änderung der Orientierung der Erdoberfläche zur Sonne.

Da der „sun glint“-Effekt durch die Blick-Geometrie wie beschrieben beeinflusst wird, führt er auch oft zu starker Streifenbildung durch die Aufteilung der Bildsensoren in verschiedenen Module, wie sie bei den meisten neueren Erdbeobachtungs-Satelliten praktiziert wird. Jedes dieser Sensor-Module blickt entweder leicht vorwärts oder rückwärts und unterliegt dadurch etwas anders den Sonnenreflexionen. Hier ein Beispiel dafür von Sentinel-2.

Das erste Beispiel von den Kanarischen Inseln zeigt übrigens keine sichtbaren Streifen weil es etwa beim Maximum der Sonnenreflexion aufgenommen wurde und deshalb die vorwärts und rückwärts blickenden Sensor-Module in etwa dem selben Maß dem Effekt des „sun glint“ unterliegen.

Sonnenreflexionen sind jeweils am stärksten in den Breiten wo die Sonne abhängig von den Jahreszeiten am höchsten steht. Nördlich und südlich hiervon wird der Effekt schwächer. In der Mitte des Sommers lässt sich das Phänomen bei Landsat bis etwa 50 Grad Breite beobachten, bei Sentinel-2 noch etwas weiter. Entsprechend kann man im Winter auch bei niedrigeren Breiten Bilder ohne Beeinträchtigung durch Sonnen-Reflexe bekommen.

Da dieses Phänomen durch eine recht einfache geometrische Konstellation verursacht wird, sollte man meinen, dass sich das recht einfach kompensieren lässt. In der Praxis funktioniert dies jedoch kaum denn:

  • die Intensität und Eigenschaften der Sonnenreflexionen hängen stark von der Struktur der Wasseroberfläche ab, also vom Wellengang. Das gute daran ist, dass man als Nebeneffekt den Seegang recht gut auf Bildern mit starken Reflexen beobachten kann – wie zum Beispiel im Landsat-Beispiel oben zu sehen.
  • Wasser ist von oben betrachtet im Allgemeinen recht dunkel, insbesondere tiefe und klare Gewässer, so dass spiegelnde Sonnenreflexionen das eigentliche Reflexionssignal überstrahlen so dass selbst wenn man dies gut raus rechnen könnte das eigentliche Messsignal im Rauschen der spiegelnden Reflexion untergehen würde.

Generell wird „sun glint“ üblicherweise als unerwünschter Effekt angesehen, jedoch nicht wirklich als qualitatives Defizit wie Wolken. Praktisch ist dies einer der Hauptgründe, weshalb man nur selten Satellitenbild-Produkte sieht, welche größere Wasserflächen bei niedrigen geographischen Breiten mit abdecken, denn es ist sehr schwer, diese in Anwesenheit von Sonnenreflexen gleichmäßig darzustellen.

Sie mögen sich fragen, wie unter diesen Umständen die „Green Marble“ das Meer ohne sichtbare Sonnenreflexe zeigt. Dies wird dadurch ermöglicht, dass das breite Sichtfeld des MODIS-Instruments genügend Daten liefert, welche weit genug vom Bereich des „sun glint“ entfernt sind und diese Daten werden zur Bestimmung der Farbe in diesen Bereichen verwendet. Auch dies ist jedoch nicht ohne Probleme, denn wie Sie vermutlich von der Betrachtung von Wasserflächen vom Ufer aus wissen, nimmt die spiegelnde Reflexion an der Oberfläche mit flacherem Winkel zu – so hat man zwar eventuell weniger Reflexion der Sonne, auf der anderen Seite jedoch eine stärkere Reflexion des Himmelslichts.

Beim Umgang mit Sonnenreflexionen in Satellitenbildern könnte helfen, wenn diese Polarisations-Informationen aufzeichnen würden. Spiegelnde Reflexionen polarisieren das Licht schließlich. Die meisten Erdbeobachtung-Satelliten tun dies jedoch im Moment nicht.

Ein paar zusätzliche Informationen zum Thema „sun glint“ und Literaturlinks finden sich hier.

ncanada_980

15. September 2016
von chris
Keine Kommentare

OpenStreetMap von der schlechten Seite

Um es gleich zu Anfang zu sagen: dieser Beitrag dreht sich nicht um Datenqualität – worüber ich hier schreiben möchte sind die Mechanismen, nach denen OpenStreetMap funktioniert und wie diese Prinzipien machmal versagen.

Kurz zusammengefasst – bei OpenStreetMap kann jeder mit beitragen, an den Daten arbeiten und dadurch etwas wertvolles produzieren, was andere dann verwenden können, in Karten und anderen Anwendungen, die OSM-Daten nutzen. Der eigentliche Schlüssel für das Funktionieren ist jedoch, dass wenn man am Projekt mitarbeitet, andere die im selben Gebiet arbeiten auf diesen Beiträgen aufbauen können, sie mit zusätzlichen Details ergänzen, Informationen aktualisieren und Ungenauigkeiten korrigieren. Dies macht OSM für Beitragenden attraktiv – man weiss, dass die Arbeit von Nutzen ist, die man investiert, oft auch viele Jahre später denn darauf folgende Bearbeitungen werden durch die hierdurch geschaffene Basis unterstützt. Und dieser Mechanismus ist auch attraktiv für die Datennutzer, denn das Ergebnis wird hierdurch deutlich wertvoller als die Summe der einzelnen Beiträge zusammen.

Wer mich kennt wird vielleicht schon erkennen dass ich, wenn ich über das Versagen dieses Prinzips spreche, Kanada im Kopf habe, insbesondere den Norden des Landes, ein Gebiet, welches die meisten vielleicht am Besten durch das verzerrte Erscheinungsbild in der Mercator-Projektion erkennen:

Die kanadische Arktis in OpenStreetMap

Diese Region ist einer der am dünnsten besiedelten Teile der nördlichen Hemisphere – Nunavut und die Northwest Territories haben zusammen eine Einwohnerzahl von weniger als 100000 und der größte Teil davon lebt südlich des hier betrachteten Ausschnitts, welcher vermutlich weniger als 10000 Einwohner hat.

Dadurch ist dies eine recht schwierige Region für OpenStreetMap. Hier ist mal dargestellt wie dieses Gebiet hinsichtlich der Datendichte in OSM aussieht – in einer anderen, weniger verzerrenden Projektion:

Ich habe hierfür die Daten in drei Kategorieren aufgeteilt:

  • Alte Importe von Küstenlinien und größeren Gewässern, größtenteils PGS, von vor etwa 8 Jahren und seit dem nicht mehr verändert, sind in blau gezeigt – insgesamt etwa 1.3 Millionen Punkte.
  • Nicht nachträglich veränderte Canvec-Importe sind in rot gezeigt – etwa 5.2 Millionen Punkte.
  • Der Rest, also per Hand erfasste Dinge und alle Punkte, die nachträglich verändert wurden – etwa fünfhundert tausend Punkte.

Wenn man jetzt das Rot ignoriert kann man den Eindruck bekommen, dass das eigentlich für so eine entlegene Region ganz gesund aussieht. Schaut man auf das Alter der Daten:

sieht man, dass die meisten manuellen Bearbeitungen recht jung sind und auf kleinere Gebiete beschränkt. Die Canvec-Daten sind hier in grau dargestellt, denn das Daten-Alter und das Alter der Punkte in OSM sind natürlich nicht identisch – zum größten Teil wurden die Importe in den letzten fünf Jahren durchgeführt. Das Ganze lässt sich natürlich nicht mit einem dicht besiedelten Gebiet in Europa vergleichen, es gibt so gut wie keine Erfassung vor Ort am Boden, weder in den importierten Daten noch im per Hand erfassten, alles basiert auf Erfassung auf die Ferne. Aber zum Vergleich hier die selbe Darstellung von Grönland – ein Gebiet, welches recht gut vergleichbar ist hinsichtlich Bevölkerungszahl, Zugänglichkeit und Geographie:

Vergrößert weisen die beiden Karten übrigens den selben Maßstab auf. Im Vergleich zum Norden Kanadas gibt es in Grönland schon deutlich frühere und umfangreichere Erfassungen per Hand. Es gibt auch alte Küstenlinien-Importe wie in Kanada, insbesondere an der Westküste. Insgesamt ist das Datenvolumen recht ähnlich, wenn man die Canvec-Importe ignoriert, Grönland sind etwa 2 Millionen Knoten insgesamt, alte Importe und manuelle Bearbeitungen zusammen sind in Kanada etwa 1.8 Millionen Punkte.

Was also bewirkt den Unterschied? Die recht naheliegende Erklärung sind die Canvec-Importe. Außer den alten Küstenlinien-Importen gibt es in Grönland keine importierten Daten. Schaut man sich die Karten oben und die Daten an erkennt man, dass die Bearbeitung per Hand die alten Importe recht frei ergänzt und ersetzt, während es kaum Wechselwirkung zwischen den Canvec-Importen und den manuellen Bearbeitungen gibt. Etwa 200k der 500k per Hand bearbeiteten Punkte sind nach der urprünglichen Erstellung bearbeitet worden (also Version >=2), das meiste davon sind per Hand verfeinerte Küstenlinien. Deutlich weniger als ein Prozent der Canvec-Punkte sind hinterher noch bearbeitet worden, und die meisten Bearbeitungen in Canvec-Import-Gebieten sind einfache mechanische Aufräum-Arbeiten. Wer jemals versucht hat in einem Gebiet mit Canvec-Daten per Hand zu editieren weiss, warum dies selten passiert – ich hab das mal im äußersten Norden gemacht und das ist wirklich nichts, was man gerne tut. Die Canvec-Importe sind also gewissermaßen Fremdkörper in der Karte für die normale Bearbeitung, welche weitgehend um diese herum geschieht.

Man erinnere sich daran, was ich über die Funktionsweise von OpenStreetMap oben geschrieben habe und wie Beiträge die Basis und Unterstützung für darauf folgende weitere Beiträge bilden. Für die Canvec-Importe gilt das nicht, insbesondere nicht in der Arktis. Auch anders herum funktioniert dies nicht, also indem die Importe bestehende manuelle Erfassungen integrieren. Wenn überhaupt begraben solche Importe die vorherige Handarbeit unter Tonnen von Daten von fragwürdiger Qualität. Und die Aussicht darauf, dass dies passiert ist nicht gerade verlockend für potentielle Mapper, insbesondere wenn man alternativ auch die Möglichkeit hat, ein paar hundert Kilometer weiter östlich ohne solche Probleme zu arbeiten.

Nun hab ich zu Anfang geschrieben, dass es hier nicht um Datenqualität geht, ich möchte jedoch auf ein zentrales Argument von Befürwortern von Canvec-Importen eingehen: dass die Qualität der Canvec-Daten gut ist und besser als was man per Hand aus verfügbaren Quellen erfassen kann. Dies stimmt nicht. Canvec-Daten in dem hier betrachteten Gebiet sind größtenteils etwas detaillierter als dies aus verfügbaren Quellen erfassbar wäre, jedoch deutlich schlechter in Hinblick auf so gut wie alle sonstigen Kriterien:

  • sie sind weniger aktuell, was insbesondere in der Arktis durch Gletscher-Rückgang und Klimawandel von großer Bedeutung ist, in den meisten Fällen sind die Canvec-Quelldaten in diesem Gebiet wenigsten zehn Jahre alt, manche Teile jedoch auch noch deutlich älter (wie 1980er Jahre).
  • sie sind oft faktisch falsch, teils durch falsche urprüngliche Erfassung, teils durch falsche Konvertierung der Attribute.

Jedem der das nicht glaubt empfehle ich einen Blick auf die jüngsten Bilder aus den OSM images for mapping in diesem Bereich und den Vergleich mit den Canvec-Daten.

Durch diese Probleme bilden die importierten Daten noch nicht einmal einen nützlichen Hinweis für Mapper für die Erfassung in einem Gebiet mit dem sie nicht vertraut sind – im Gegenteil kommuniziert dies in vielen Fällen eine inkorrekte Erfassungs-Praxis.

Ein weiteres oft vorgebrachtes Argument ist, dass zusätzliche Daten in der OSM-Datenbank ein Vorteil an sich sind. In der Realität ist dies kaum der Fall – wenn Datennutzer die Canvec-Daten nützlich finden ist es meist deutlich einfacher, diese direkt von der Quelle zu beziehen, wo sie vollständig und in einheitlicher Qualität und mit allen ursprünglichen Attributen verfügbar sind. Und wenn man Daten in diesem Umfang nutzt fällt der kleine mögliche Vorteil sie im gewohnten OSM-Format zu haben meist nicht sonderlich ins Gewicht.

Um es kurz zu machen – der einzige Weg, wie die kanadische OSM-Community auf lange Sicht gesehen den Norden Kanadas zu einem wertvollen Teil der OSM-Datenbank machen kann und zu einem Gebiet, wo es lohnenswert erscheint sich als Mapper zu betätigen wäre es, die Canvec-Importe hier zu beenden und die zuvor importierten Daten wieder zu entfernen. Ansonsten dürfte der Norden Kanadas weiter hinter dem Rest der Welt zurückfallen was den Aufbau einer aktiven Community betrifft genau wie hinsichtlich Nützlichkeit der Daten – nicht trotz der Importe, sondern gerade wegen der Importe.

Manche lesen hier vermutlich hinein, dass ich generell gegen Datenimporte in OSM bin, was jedoch nicht der Fall ist – die Schlüsselfrage bei Importen ist jedoch, ob diese weiter Bearbeitungen im Gebiet des Imports unterstützen oder nicht und in diesem Fall ist die Antwort ziemlich sicher nein.

Was ich mich in Bezug auf dieses Thema übrigens frage ist, ob es hier eine tiefere kulturelle Differenz zwischen Europa und Amerika gibt, zwischen alter und neuer Welt. Da ich aus Europa stamme bin ich in Bezug auf diese Frage vermutlich nicht neutral – trotz umfangreicher Erfahrungen bei der Datenerfassung in der Arktis. Es ist möglich, dass das, was ich über Motivation und Anreize bei Mappern geschrieben habe zwar für den durchschnittlichen europäischen Mapper gilt, für jemanden aus Nordamerika jedoch weniger. Da ein Großteil der manuellen Bearbeitungen in der kanadischen Arktis durch Leute von anderswo auf der Welt stattfindet könnte so etwas selbst bei einem neutralen Beobachter zu einer verzerrten Wahrnehmung führen. OpenStreetMap fußt auf dem Primat der lokalen Mapper – diese entscheiden wie Dinge in ihrem Gebiet erfasst werden und ob Daten importiert werden. Aber es stellt sich natürlich die Frage, ob jemand der in Toronto, Montreal oder Vancouver sitzt, wirklich eher ein lokaler Mapper auf Devon Island oder Ellesmere Island ist als ein Brite, Deutscher oder Russe?