Imagico.de

blog

S3A_980c

13. Dezember 2016
von chris
Keine Kommentare

Sentinel-3 OLCI und MODIS/VIIRS – eine Gegenüberstellung in verschiedenen Punkten

Auf Grundlage der bisherigen Erfahrungen mit den Sentinel-3-Daten (Erläutert in meinen Eindrücken: Teil 1, Teil 2 und Teil 3) habe ich hier noch eine Gegenüberstellung zwischen Sentinel-3 OLCI und den etablierten Systemen MODIS/VIIRS in Hinblick auf eine Reihe von für die Datennutzung wichtigen Aspekten. Lesen Sie diesen Vergleich auf Englisch.

Und hier zum Abschluss noch drei Ansichten auf Grundlage von Sentinel-3 OLCI – diese dürfen auch unter CC-BY-SA-Bedingungen weiterverwendet werden:

water-reduced-980

12. Dezember 2016
von chris
Keine Kommentare

Komprimierte Wasserflächen-Daten auf openstreetmapdata.com

Ich freue mich bekanntzugeben, dass jetzt auf openstreetmapdata.com komprimierte Wasserflächen-Daten für die Darstellung in Karten auf OpenStreetMap-Basis bei niedrigen Zoomstufen verfügbar sind. Diese sind produziert mit den kürzlich hier vorgestellten Verfahren. Die Daten finden sich auf der Gewässer-Daten-Seite. Nutzer sollten die Erläuterungen zu den Datensätzen sowie die Prozess-Beschreibung aufmerksam lesen, denn sie enthalten wichtige Hinweise für die Verwendung.

Diese Daten können von jedem frei unter den Bedingungen der OpenStreetMap-Lizenz verwendet werden. Wer dies tut, sollte jedoch in Erwägung ziehen, uns in finanzieller Form oder anderweitig zu unterstützen. Erweiterungen der angebotenen Daten wie hier vorgestellt wie auch der zukünftige Betrieb der frei nutzbaren Dienste hängen von dieser Unterstützung ab.

Ein weiterer für die Nutzung dieser Dateien wichtiger Aspekt ist, dass OpenStreetMap-Daten immer einen gewissen Anteil defekter Geometrien enthalten und dies ist an einigen Stellen durch fehlende Elemente in diesen Daten auch sichtbar. Jochen unterhält eine Seite, welche über die defekten Polygone in OSM im Allgemeinen Buch führt. Wir erzeugen jedoch auch eine Liste von Fehlern, welche gerade die Wasserflächen-Darstellung beeinträchtigen. Viele davon sind lediglich kleine Wasserflächen, welche nicht bedeutender sind als jede andere defekte Geometrie in OSM, es gibt jedoch auch eine Reihe von richtig großen Polygonen, welche Probleme verursachen. Wer interessiert ist, die Datenqualität in OSM zu verbessern, könnte sich diese Liste mal vornehmen. Sie wird täglich neu erzeugt wenn wir die Wasserflächen-Daten aktualisieren.

6. Dezember 2016
von chris
Keine Kommentare

Käse in Bewegung

(Ergänzung: Ich muss den Titel dieses Beitrags in deutscher Sprache vermutlich erklären – das stammt vom englischen moving the cheese – was man jetzt auf einer Reihe unterschiedlicher Ebenen interpretieren kann)

Ich weiß, dass dies schon lange angekündigt wurde aber heute hat die ESA ein weiteres Mal das Format der Sentinel-2-Daten grundsätzlich geändert. Während es beim vorherigen Wechsel um die Umstellung von Szenen mit mehreren Kacheln auf Einzel-Kachel-Pakete ging, was von mir damals auch diskutiert wurde und wie vorhergesagt zu erheblichen Performance-Problemen führte, bleibt bei dieser Änderung jetzt der eigentliche Inhalt der Pakete gleich und nur die Namen ändern sich – sowohl für das Gesamtpaket als auch für die interne Struktur.

Wenn Sie meine Besprechung der Sentinel-2-Daten gelesen haben, erinnern Sie sich vielleicht, dass einer der ersten Kritikpunkte von mir die extrem aufgeblasenen Dateinamen voll mit redundanten und zur Identifikation irrelevanten Informationen waren. Ich hatte das erwähnt, denn dies ist bei der Arbeit mit den Dateien recht lästig. Am Ende ist dies jedoch kein wirklich großes Problem, denn man kann sich die Dateien ja beliebig so wie man es haben möchte umbenennen, wenn man sie in sein System einliest und muss sich danach nicht mehr mit dem Problem rumärgern. Das Ganze jetzt nach einem Jahr noch mal völlig zu ändern ist vor diesem Hintergrund bestenfalls etwas merkwürdig. Bemerkenswerter ist allerdings der angegebene Grund für die Änderung:

The product naming (including the naming of folders and files inside the product structure) is compacted to overcome the 256 characters limitation on pathnames imposed by Windows platforms

Ich übersetzt das mal: Nach mehr als einem Jahr öffentlicher Datenverteilung ändern wir das Format der Daten in einer nicht rückwärts-kompatiblen Form entsprechend den Wünschen der Nutzer einer historischen Computer-Plattform, welche nicht mehr verkauft oder vom Hersteller unterstützt wird und welche so veraltet ist, dass wir sie und ihre speziellen Begrenzungen noch nicht mal im Auge hatten, als wie das Ganze ursprünglich vor 3-4 Jahren geplant haben.

Natürlich könnte man auch ganz einfach sagen: 256 Zeichen sollten für jeden ausreichend sein

Die Änderung sieht im Wesentlichen so aus: In der alten Form hatten die Paketnamen diese Form:

S2A_OPER_PRD_MSIL1C_PDMC_20151230T202002_R008_V20151230T105153_20151230T105153.zip

und darin fanden sich die Daten in Dateien wie:

S2A_OPER_PRD_MSIL1C_PDMC_20151230T202002_R008_V20151230T105153_20151230T105153.SAFE/GRANULE/S2A_OPER_MSI_L1C_TL_SGS__20151230T162342_A002722_T31TFJ_N02.01/IMG_DATA/S2A_OPER_MSI_L1C_TL_SGS__20151230T162342_A002722_T31TFJ_B01.jp2

Jetzt bekommt man etwas wie:

S2A_MSIL1C_20160914T074612_N0204_R135_T36JTT_20160914T081456.SAFE.zip

und darin:

S2A_MSIL1C_20160914T074612_N0204_R135_T36JTT_20160914T081456.SAFE/GRANULE/L1C_T36JTT_A006424_20160914T081456/IMG_DATA/T36JTT_20160914T074612_B01.jp2

Das sind nur die Dateien mit den eigentlichen Daten. Die Metadaten und die QA-Sachen sind ebenfalls geändert, viele Dateinamen sind jetzt generisch, das bedeutet die sind in allen Paketen identisch. Das ist ein bisschen so wie bei Sentinel-3, nur dass bei Sentinel-3 Namen in Kleinbuchstaben verwendet werden und bei Sentinel-2 Großbuchstaben.

Manche der Änderungen machen durchaus Sinn. So ist jetzt zum Beispiel die MGRS-Kachel-ID Bestandteil des Paket-Namens. Und die Zeitstempel in den Paketen sind in einer anderen Reihenfolge, während früher der Zeitpunkt der Verarbeitung zuerst kam ist jetzt der Aufnahme-Zeitpunkt zuerst. Das bedeutet zum Beispiel, dass wenn man die Dateien nach Namen sortiert, diese in Reihenfolge der Aufnahme erscheinen und nicht in Reihenfolge der Verarbeitung, was meist auch sinnvoller ist.

Das Daten-Verteilungssystem ist übrigens nach wie vor sehr unzuverlässig, wer dies also zum Anlass nehmen möchte, mal ein paar Sentinel-2-Daten herunterzuladen und anzuschauen der muss sich vermutlich erheblich in Geduld üben.

Ergänzung: Die Tiefe der Verschleierung in den Dateiformat-Spezifikationen ist übrigens wirklich beeindruckend. Wenn man dort nach der Bedeutung des zweiten Zeitstempels in den Paketnamen sucht, findet man drei unterschiedliche Spezifikationen. In dem was im Moment zum Download angeboten wird ist das anscheinend der Aufnahmezeitpunkt des ‘datastrip’, es gibt jedoch noch zwei weitere Format-Varianten, wo dies entweder

  • der Produktionszeitpunkt des Paketes oder
  • der Aufnahmezeitpunkt des neuesten ‘datastrip’ erhöht um eine Sekunde ist.

Man kann sich da jetzt bildlich vorstellen, wie das abgelaufen ist. Urspünglich war da der Produktionszeitpunkt vorgesehen – der kommt nämlich in den Spezifikationen erst mal überall vor. Und dann ist jemandem aufgefallen, dass der ja bei Parallel-Prozessierung nicht unbedingt eindeutig ist…

S3A_980

2. Dezember 2016
von chris
Keine Kommentare

Sentinel-3 – Ein erster Blick auf die Daten, Teil 1

Als ich kürzlich über den Beginn der Veröffentlichung von Sentinel-3-Daten geschrieben habe, deutete ich an, dass ich etwas detaillierter über die Daten schreiben werde, wenn auch die vom SLSTR-Instrument verfügbar sind. Das ist nun bereits vor ein paar Wochen passiert. Hat also etwas länger gedauert als ursprünglich gedacht, mich da durchzuarbeiten – wenngleich das nach den Erfahrungen mit Sentinel-2 eigentlich nicht so erstaunlich ist.

Im ersten Teil des Erfahrungsberichts, welcher hier auf Englisch zu lesen ist, geht es um die allgemeinen Dinge, den Hintergrund der Sentinel-3-Instrumente und die äußere Form der Daten. Speziellere Dinge zu den Daten selbst folgen dann im zweiten Teil.

Und für die Wartezeit hier schon mal ein paar Bildbeispiele:


water-reduced-980

22. November 2016
von chris
Keine Kommentare

Die Wasser teilen

Auf dem letzten Hack Weekend in Karlsruhe habe ich einige Fortschritte bei einem Projekt gemacht, welches mir schon eine Weile im Kopf herum ging und mit etwas mehr Arbeit in den letzten Wochen kann ich jetzt auch ein paar Ergebnisse präsentieren.

Die Hauptmotivation hierfür war das Problem der Darstellung der Gewässer im OpenStreetMap-Standardstil bei den niedrigen Zoomstufen. Seit langem wird in der Standard-OSM-Karte die Küstenlinie von der untersten Zoomstufe an dargestellt – auf Grundlage der von Jochen und mir bereitgestellten Verarbeitung der Daten. Die übrigen Wasserflächen jedoch werden erst ab Zoomstufe 6 gezeigt. Der Grund hierfür liegt darin, dass die Darstellung in der selben Form wie bei den höheren Zoomstufen sehr aufwändig in Bezug auf die Computer-Ressourcen wäre.

Verschiedene Lösungen – oder besser: Abhilfen – wurden für diesen Problem vorgeschlagen:

  • Die Verwendung eines anderen, wenig detaillierten Datensatzes für die niedrigen Zoomstufen – dass ist der übliche bequeme weg, welcher von vielen Kartenproduzenten gegangen wird, jedoch mit schlechten Ergebnissen, was die Genauigkeit und die Konsistenz über die verschiedenen Maßstäbe angeht. Die üblicherweise hierfür verwendeten Datensätze wie Natural Earth sind oft sehr ungenau nach heutigen Maßstäben.
  • Die Verwendung aggressiver Filterung in Bezug auf die Polygon-Größe, man stellt also nur die Größten Geometrien da – ein Ansatz der für OSM-Daten nicht zu empfehlen ist, denn so wie Wasserflächen in OpenStreetMap erfasst werden führt dies zu starken Verzerrungen in der Dastellung.
  • Dass man große und bedeutende Wasserflächen anders erfasst, entweder als Küstenlinie oder mit einem neu zu wählenden Attribut – natürlich ist es generell eine schlechte Idee, die Datenbank zu manipulieren nur um mit den technischen Einschränkungen des gewählten Systems zur Kartendarstellung klarzukommen.

Ganz allgemein wären meine Methoden zur Generalisierung kartographischer Daten schon in der Lage, dieses Problem zu lösen, allerdings machen die sehr subjektiven Entscheidungen, die in diese Prozesse eingehen, dies etwas heikel. Und eine ordentliche Generalisierung der Inland-Wasserflächen erfordert im Grunde eine strukturelle Analyse des Flussnetzwerkes, was ein aufwändiger Vorgang ist und nicht einfach täglich durchgeführt werden kann. Ein praktikabler Ansatz sollte also weniger aufwändig und konservativer und neutraler in Bezug auf das Ergebnis sein. Die Lösung, welche ich jetzt vorstelle, habe ich mir in den Grundzügen schon vor längerer Zeit überlegt, habe jedoch bis vor kurzem nicht die Zeit gefunden, dies wirklich mal umzusetzen.

Beispiel der Gewässerdarstellung auf Grundlage des neuen Verfahrens

Wenn ich jetzt auf die ganze Sache zurückblicke, erkenne ich, dass was dabei herausgekommen ist von einem technischen Standpunkt betrachtet eigentlich ziemlich merkwürdig scheint. Es dürfte nützlich sein für eine ganze Menge Leute, die digitale Karten bei diesen Maßstäben produzieren, dass dem so ist sagt jedoch auch etwas ziemlich grundsätzliches über die Art und Weise aus, wie wir heute im Allgemeinen Karten berechnen und die Grenzen dieser Verfahren.

Falls das verwirrend klingt – die Details und den Hintergrund dazu gibt es zum nachlesen. Dort finden sich auch Links zu den (im Moment noch etwas experimentellen) bearbeiteten Daten.

Die Implementierung des vorgestellten Verfahrens ist auch verfügbar.

11. November 2016
von chris
Keine Kommentare

Aktualisierter Satelliten-Vergleich

Wenn ich hier über Satellitenbilder schreibe, konzentriere ich mich meist auf offene Datenquellen. Ich nutze jedoch jetzt mal den Start eines neuen kommerziellen Erdbeobachtungs-Satelliten durch DigitalGlobe früher am heutigen Tag als Gelegenheit, mein schon früher mal gezeigtes Satelliten-Vergleichs-Schaubild zu aktualisieren.

Zusätzlich zu WorldView-4 habe ich auch die Terra Bella SkySat-Konstellation ergänzt. Diese Satelliten nutzen ein interessantes Sensor-Konzept und sollen die bisher einmalige Fähigkeit besitzen, Videos aufzuzeichnen. Über die operativen Pläne für diese Satelliten ist jedoch bisher sehr wenig öffentlich bekannt.

Ich habe auch eine zusätzliche Spalte ergänzt mit dem täglichen Aufzeichnungs-Volumen der verschiedenen Systeme in Quadratkilometern. Die am häufigsten beworbene Fähigkeit von Satelliten neben der räumlichen Auflösung liegt in der möglichen Aufzeichnungs-Frequenz (revisit frequency), welche angibt, wie oft der Satellit jeden beliebigen Punkt der Erdoberfläche aufzeichnen kann. Ein mögliches Aufzeichnungs-Intervall von einem Tag bedeutet jedoch nicht, dass das System eine tägliche Komplettaufzeichnung der gesamten Erdoberflächen bieten kann. Das Aufzeichnungs-Volumen gibt an, welche Fläche tatsächlich an einem Tag erfasst werden kann. Dabei gibt es zwei Varianten: das potentielle Volumen (in rot gekennzeichnet) welches oft ein mehr oder weniger theoretischer Wert ist und das praktisch tatsächlich im Betrieb erfasste Volumen (in blau). Bei den kommerziellen Satelliten basiert beides natürlich auf Angaben des Betreibers.

Für die hochauflösenden Systeme mit offenen Daten basieren die Zahlen auf Durchschnittswerten der tatsächlichen Aufzeichnung. Bei Sentinel-2 ist das ein wenig schwierig zu ermitteln, so dass ich als Grundlage hier die durchschnittlich 14 Minuten Aufzeichnung pro Orbit verwendet habe, wie sie in den jüngsten Statusberichten im Durchschnitt angegeben ist. Bei den kontinuierlich aufzeichnenden niedrig auflösenden Systemen basieren die Zahlen zwecks Vergleichbarkeit auf einer Aufzeichnung über dem halben Orbit, obwohl die langwelligen Kanäle natürlich auch auf der Nachtseite aufgezeichnet werden.

Allgemein scheinen die Marketing-Abteilungen der Satellitenbetreiber oft viel Spaß damit zu haben, durch geschickte Kombination solcher Zahlen einen besonders leistungsfähigen Eindruck zu erwecken. Es ist deshalb gut als Vergleich ein paar Dinge im Hinterkopf zu behalten: Die Landflächen der Erde sind zusammen etwa 150 Millionen Quadratkilometer groß. Landsat 8 nimmt diese fast vollständig (mit Ausnahme der Bereiche jenseits von 82.66 Grad Breite) alle 16 Tage auf, jedoch nur ganz knapp. Um dies zu tun werden jeden Tag 25 Millionen Quadratkilometer erfasst oder in dem 16-Tage-Intervall 400 Millionen Quadratkilometer. Da sind natürlich ein paar Nacht-Aufnahmen mit dabei und auch eine ganze Menge Meeresflächen durch die Breite des Aufzeichnungs-Streifens und die Bindung an die festen WRS2-Kacheln. Trotzdem illustriert dies, dass man deutlich mehr als die 150 Millionen Quadratkilometer aufnehmen muss, um tatsächlich die Landflächen vollständig zu erfassen, in erster Linie aufgrund der unvermeidlichen Überlappungen in den Orbits und den Aufzeichnungs-Geometrien.

S2A_R092_S05_20160802T075556_expose2.ann

28. Oktober 2016
von chris
Keine Kommentare

Die afrikanischen Gletscher 2016

An die Leser, die kein so großes Interesse an Satellitenbild-Themen haben – tut mir Leid wenn dieses Thema in letzter Zeit etwas Übergewicht hat – es wird auch wieder andere Themen geben. Aber für jetzt gibt es eine weiteren Beitrag mit Bildern – und zwar von den Gletschern Afrikas.

Mit Gletschern vertraute Leser wissen vermutlich, dass es auf dem afrikanischen Kontinent drei Gegenden mit Gletschern gibt, alle in den inneren Tropen. Gletscher in den Tropen sind etwas spezielles, denn sie weisen keine so klaren saisonalen Muster von Schnee-Akkumulation im Winter und Abschmelzen im Sommer auf wie bei höheren Breiten. Alle afrikanischen Gletscher sind im letzten Jahrhundert stark zurückgegangen und haben nur noch einen Bruchteil ihrer ursprünglichen Größe. Sie werden alle vermutlich in den nächsten fünfzig Jahren verschwinden.

Die am wenigsten umfangreiche Vergletscherung findet sich auf dem Mount Kenya

Das Rwenzori-Gebirge an der Grenze zwischen Uganda und der Demokratischen Republik Kongo bietet durch das deutlich niederschlagsreichere Klima trotz der geringeren Höhe deutlich mehr Gletscher. Früher gab es diese an einer ganzen Reihe von Gipfeln des Gebirges, mittlerweile sind sie weitgehend auf die höchsten Bereiche um den Mount Stanley begrenzt.

Und schließlich der bekannteste und höchste der vergletscherten Berge Afrikas – der Kilimanjaro. Vor hundert Jahren war noch der größte Teil der Caldera am Gipfel mit Eis bedeckt während jetzt nur noch ein paar Reste davon vorhanden sind. Durch die große Höhe ist der Gletscher-Rückgang am Kilimanjaro weniger durch Klima-Erwärmung, sondern viel mehr durch weniger Schneefall und stärkere Sonneneinstrahlung durch häufigeres sonniges Wetter bedingt.

Alle drei Bilder basieren auf Copernicus-Sentinel-2-Daten.

26. Oktober 2016
von chris
Keine Kommentare

Das hätte ich euch sagen können…

Kurzer Nachtrag zum Thema Sentinel-2-Pakete und ESA API – vor drei Wochen hatte ich erwähnt:

[...] Statt der 200-300 Pakete pro Tag, mit denen man zu tun hatte, gibt es jetzt viele tausend davon. Dies bedeutet, dass ein effizienter Zugriff auf Sentinel-2-Daten in größerem Umfang jetzt nur noch über automatische Werkzeuge funktioniert.

Und vor ein paar Tagen:

Da die ESA keinen Gesamt-Download der Metadaten anbietet, muss man sich diese aus der API zusammenklauben.

Heute hat dann die ESA mitgeteilt, dass sie denken, dass die jüngsten Instabilitäten der API größtenteils auf Nutzer zurückgehen, welche versuchen, eine extrem große Anzahl von Ergebnissen mit Abfragen zurückzugeben und dass sie als Reaktion eine Grenze von 100 Ergebnissen pro Abfrage einführen. Zwei Kommentare dazu:

  • das hätte ich ihnen schon vor drei Wochen sagen sagen können (vielleicht sollte ich ein Geschäft als Orakel aufmachen – obwohl man wirklich kein Genie sein muss um das vorherzusagen).
  • ich zweifle, dass das viel hilft – gibt ein bisschen zusätzliche Arbeit für die Programmierer auf der Welt, automatische Anschluss-Abfragen zu implementieren, um mit der Grenze von 100 Einträgen umzugehen, aber am Ende werden sie immer noch alle Ergebnisse ausliefern müssen, schließlich macht die Abfragen ja kaum jemand zum Vergnügen und es gibt mittlerweile über 160k Einträge abzufragen und das wächst jeden Tag um etwa 4000-5000 Einträge (wobei es derzeit einen Rückstand von einer Woche bei der Veröffentlichung von Sentinel-2-Bildern gibt). Systeme wie dieses, welche offensichtlich nicht in dem Maße skalieren in dem sie genutzt werden, versagen an der schwächsten Stelle. Diese dann zu beheben oder zu schützen bedeutet aber nicht, dass das Ganze nicht an einer anderen Stelle wieder versagt. Wenn das ganze Datenzugriffs-System in die Knie geht wegen ein paar unerwarteten, jedoch vollkommen gültigen Abfragen, ist das Zeichen für ein viel grundsätzlicheres Problem.
  • auch wenn das so völlig nach letztem Jahrhundert klingt wo wir heute doch alle in der Cloud leben – ein Gesamt-Download der Metadaten mit so was wie täglichen/stündlichen Diffs für die Aktualisierung wäre vielleicht keine schlechte Idee.

Übrigens (falls sich jemand das fragt) – das lag nicht an mir, als ich meine Skripte für die Abdeckungs-Analyse geschrieben habe, hab ich bereits eine Grenze von hundert Einträgen bei den Abfragen verwendet – das war schon dann das dokumentierte Limit bei der OData-API, so dass es angemessen schien, dies generell zu verwenden.

sentinel2_stats_980

22. Oktober 2016
von chris
Keine Kommentare

Sentinel-2 – das erste Jahr

Sentinel-2 is eine Satellitenmission zur Erdbeobachtung, deren Bilder als offene Daten zugänglich sind. Der erste Satellit hierfür wurde im Juli letzten Jahres gestartet und die Daten wurden ab November letzten Jahres zugänglich gemacht. Das Konzept von Sentinel-2 ähnelt dem Landsat-Programm und mit einer etwas höheren räumlichen Auflösung von 10m produziert der Satellit die derzeit höchste Auflösung unter den als offene Daten zugänglichen Satellitenbildern.

Dies soll eine Analyse der Sammlung von Satellitenbildern werden, welche Sentinel-2 während des ersten Betriebsjahres produziert hat. Zum Vergleich beginne ich jedoch mit Landsat.

Landsat

Landsat 8 ist nun mehr als drei Jahre in Betrieb und zeichnet wie bereits zuvor erwähnt mittlerweile im wesentlichen ausgewogen die gesamten globalen Landflächen der Erde in einem 16-Tage-Intervall auf. Um das zu illustrieren habe ich hier mal die Aufzeichnungen von der Tagseite vom letzten Jahr dargestellt. Zu sehen sind die WRS2-Kacheln in einer Farbe welche der Anzahl der erfassten Bilder entspricht. Dies lässt sich relativ einfach auf Grundlage der Metadaten-Pakete erstellen, welche der USGS bereitstellt.

Der Zeitrahmen ist dabei nicht willkürlich gewählt, ein Schnitt in der Mitte des Oktobers bedeutet, dass man einen vollen Sommer der Nord- als auch der Südhemisphere abdeckt.

Wie man sieht sind die niedrigen Breiten recht gleichmäßig gefärbt, was bedeutet, dass die Haupt-Landmassen mit größtenteils 21-23 Bildern abgedeckt sind – was dem 16-Tage-Intervall entspricht. Bei hohen Breiten werden nicht alle Aufnahme-Möglichkeiten wahrgenommen, wie aber die dichteren Linien in der Illustration schon andeuten bedeutet das nicht notwendigerweise, dass seltener Bilder aufgezeichnet werden. Um die tatsächliche Aufzeichnungs-Frequenz besser zu veranschaulichen hier eine andere Darstellung, welche die jeweilige Zahl der Bilder für jeden Pixel darstellt, welcher Landflächen beinhaltet.

Hier sieht man, dass die hohen Breiten in den meisten Fällen sogar deutlich öfter erfasst werden – was auch nicht schlecht ist, denn diese Bereiche sind öfter durch Wolken beeinträchtigt als die Subtropen.

Ein paar interessante Beobachtungen lassen sich daran machen. Zunächst sieht man sehr schön, wie die off-Nadir-Aufnahmen im Norden Grönlands und in der Antarktis die Abdeckung vergrößern und das überhaupt nicht abgedeckte Gebiet, welches in blau dargestellt ist, verkleinern. Dies ist natürlich in erster Linie das Innere der Antarktis, es gibt jedoch auch zwei blaue Pixel weiter nördlich:

  • Rockall – nicht wirklich groß genug, um in nützlicher Form auf einem Landsat-Bild dargestellt zu werden.
  • Die Jonas-Insel – ein recht klares Versäumnis, denn andere kleinere Inseln anderswo werden spezifisch von Landsat erfasst.

Hier die Insel auf einem Sentinel-2-Bild:

Was Landsat nicht kennt – die Jonas-Insel gesehen von Sentinel-2

Ansonsten werden die niedrigen Breiten bei jeder Gelegenhet erfasst, so dass es hier nicht wirklich was zu verbessern gäbe. Bei den hohen Breiten gibt es jedoch immer noch einige Unterschiede in der Priorität zwischen besonders bevorzugten Gegenden und eher vernachlässigten Bereichen. Insbesondere die Inseln der Karasee und der Ostsibirischen See sowie die Bäreninsel und Hopen südlich von Spitzbergen sind deutlich seltener erfasst als andere Gegenden auf der selben Breite. In gewisser Hinsicht ist dies natürlich auch eine Effizienz-Frage, denn ein Bild aufzunehmen, welches lediglich eine einzige kleine Insel enthält, ist insgesamt weniger nützlich als eines welches vollständig oder zumindest größtenteils Landflächen abdeckt.

Zum Verglech und zur Vervollständigung hier die selben Illustrationen für die vergangenen Jahre:

Jahr Tagseite Nachtseite Pixel-Abdeckung Tag
2014 LS8, LS7 LS8 LS8
2015 LS8, LS7 LS8 LS8
2016 LS8, LS7 LS8 LS8

Sentinel-2

Nun zum Hauptthema, dem ersten Jahr von Sentinel-2. Die öffentliche Verfügbarkeit der Bilder begann im November, jedoch wurden schon vorher eine ganze Menge Bilder aufgezeichnet und im Nachhinein zugänglich gemacht, so dass ich hier die selbe Grenze ziehe wie bei Landsat (Mitte Oktober), den Startpunkt offen lasse und das Ganze als das erste Jahr auffasse. Im Vergleich zu Landsat bedeutet dies eine etwas stärkere Bedeutung des nordhemisphärischen Sommers, denn hiervon sind sowohl von 2015 als auch von 2016 Bilder dabei.

Technisch ist das Ganze aus mehreren Gründen bei Sentinel-2 deutlich schwieriger also für Landsat:

  • Da die ESA keinen Gesamt-Download der Metadaten anbietet, muss man sich diese aus der API zusammenklauben.
  • Die API liefert – abgesehen davon, dass sie in letzter Zeit recht unzuverlässig ist – nicht immer alle zu einer Abfrage passenden Pakete zurück, zumindest was die ‘search API’ betrifft, die ‘OData API’ ist da anders.
  • Nicht alle Pakete in der Datenbank haben Abdeckungs-Polygone.
  • Pakete, welche sich über den 180-Grad-Meridian erstrecken, haben defekte Polygone.
  • Wie in meinem ersten Bericht über die Sentinel-2-Daten erwähnt haben die frühen Datensätze alle falsche Polygone. Die ESA hat diesen Fehler im Juli korrigiert, jedoch sind viele der frühen Pakete seit dem noch nicht ersetzt worden.
  • Einige der frühen Pakete von 2015 haben eine falsche relative Orbit-Nummer.

All dies zusammen bedeutet, dass man eine ganze Menge Aufwand treiben muss, um eine halbwegs genaue Analyse zu bekommen. Was ich im Folgenden zeige weist deshalb auch noch einige Einschränkungen auf:

  • Es sind nur die Tagseiten-Bilder eingeschlossen. Da Sentinel-2 keine Daten im thermischen Infrarot aufzeichnet, sind Nachtbilder sowieso sehr selten. Aufgrund der Komplikationen hab ich diese deshalb weggelassen.
  • Bilder ohne Abdeckungs-Polygon oder falsche relative Orbit-Nummer sind nicht dabei (insgesamt ein paar hundert).
  • Bilder mit den alten fehlerhaften Polygonen sind an den Seiten entsprechend dem Aufzeichnungs-Streifen beschnitten, jedoch nicht in Umlauf-Richtung. Hierdurch wird die Abdeckung systematisch überschätzt, insbesondere in Bereichen fein granulierter Aufzeichnungen. Dies lässt sich gut bei den kleineren grünen Bereichen in Amerika und Asien beobachten, welche in Wirklichkeit deutlich kleiner sind als dargestellt.

Trotzdem sollte dies insgesamt einen recht genauen Eindruck der räumlichen Verteilung der Bilder und der Aufzeichnungs-Prioritäten von Sentinel-2 im ersten Betriebsjahr bieten:

Wie bereits weitgehend bekannt zielt der Betrieb von Sentinel-2 nicht auf eine gleichmäßige globale Abdeckung ab. Der Schwerpunkt liegt – zumindest für das letzte Jahr – auf Europa, Afrika und Grönland. Mit dem 10-Tage-Intervall könnte Sentinel-2 theoretisch an jedem einzelnen Punkt der Erde 35 Bilder pro Jahr erfassen – vom Volumen her jedoch vermutlich nicht für alle Landflächen zusammen. Verständlicherweise wurde dies im ersten Jahr für keinen Punkt außerhalb der Überlappungs-Bereiche erreicht, wenngleich die Regionen mit Priorität (Europa und Afrika) mit der selben oder sogar einer höheren Frequenz als durch Landsat erfasst wurden. Anderswo war die Aufzeichnung jedoch deutlich unregelmäßiger und die kleinen Prioritätsgebiete scheinen recht willkürlich verteilt zu sein, vermutlich um jeweils Partikular-Interessen zu bedienen. Dies ist besonders auffällig in der Antarktis, wo das Landesinnere weitgehend unerfasst ist, jedoch ein kleines, weitgehend strukturloses Gebiet auf dem Plateau der Ostantarktis aus irgendeinem Grund wiederholt aufgenommen wurde.

Außer der Antarktis und dem äußersten Norden Grönlands sind vor allem kleinere Inseln überhaupt nicht aufgenommen worden.

Was die Illustration nicht hergibt sind Informationen darüber, wie gut die Zuteilung der Zeitfenster in den Bereichen gehandhabt wird, wo nicht jede Möglichkeit zur Aufzeichnung genutzt wird, insbesondere was die Wolken-Bedeckung angeht. Bei Sentinel-2 ist dieses Gebiet deutlich größer (ich würde schätzen etwa zwei Dittel der Landflächen im Vergleich zu etwa einem Drittel bei Landsat). Mein Bauchgefühl sagt, dass der USGS hier etwas besser ist – was in Anbetracht der größeren Erfahrung nicht verwunderlich wäre. Es könnte interessant sein, sich mal die Wolkenbedeckungs-Schätzungen der Bilder im Vergleich anzuschauen obwohl diese recht unzuverlässig sind und durch die unterschiedlichen verwendeten Methoden am Ende vermutlich nicht wirklich ein aussagekräftiges Ergebnis dabei raus kommt. Und wie früher schon mal erwähnt bedeuten die größeren Bilder bei Sentinel-2 auch, dass eine Wolkenbedeckungs-bezogene Aufnahmen-Planung hier schwieriger ist.

Ausblick

Was kann man also vom nächsten Jahr erwarten? Für Landsat scheint sich kaum was zu ändern. Bei Sentinel-2 ist der aktuelle Status

Sentinel-2A is acquiring Europe, Africa and Greenland at 10 days revisit, while the rest of the world land masses defined in the MRD are mapped with a 20 days revisit time.

Wie zuvor schon mal erläutert sind solche Aussagen mit Vorsicht zu genießen, insbesondere in Bezug auf das MRD. Das zitierte würde eine deutlich höhere Aufzeichnungs-Frequenz bedeuten und vor allem eine gleichmäßigere globale Abdeckung – das letzte Jahr wies wie oben dargestellt einen größeren Unterschied als 1:2 zwischen Europa und Afrika auf der einen und Amerika und Asien auf der anderen Seite auf.

S3A_sample_niran.ann

20. Oktober 2016
von chris
Keine Kommentare

Sentinel-3-Daten – besser spät als nie

Im Februar habe ich über den Start des Sentinel-3A-Satelliten berichtet und heute werden endlich die ersten Daten öffentlich zugänglich gemacht.

Entsprechend dem veröffentlichten Zeitplan bekommen wir jetzt die Level-1-OLCI-Daten, die Level-1-SLSTR-Daten sind für den November vorgesehen und die höheren Bearbeitungsstufen für irgendwann im nächsten Jahr.

Farbdarstellung eines der ersten öffentlichen Sentinel-3-OLCI-Datensätze

Manche Leser, welche die Starts und den Betrieb von Erdbeobachtungs-Satelliten verfolgen, sind möglicherweise etwas erstaunt, denn Bilder von Sentinel-3 werden von verschiedenen Seiten bereits seit Monaten gezeigt. Dies liegt daran, dass seit Mai die Daten bereits für sogenannte Experten-Nutzer zugänglich sind.Keiner der Satellitenbild-Experten die ich kenne scheint jedoch zu diesem illustren Kreis zu gehören – was darauf hindeutet, dass die Expertise, sich hierfür zu qualifizieren in etwas anderem besteht als dem was man gewöhnlich als solche versteht. Diese Daten wurden ‘Beispieldaten’ genannt, sind jedoch anders als normale Beispieldaten kontinuierlich über den gesamten Zeitraum produziert worden – eine ziemlich kreative Verwendung des Begriffes ‘Beispiel’.

Dieser gesamte Prozess ist ziemlich bemerkenswert, denn die regulatorische Anforderung des Copernicus-Programms ist ganz klar, dass alle Daten der Sentinel-Satelliten für alle ohne Zugangsbeschränkungen außer einer einfachen Registrierung zugänglich sind. Indem man den Satelliten – oder korrekter das zugehörige Datenverarbeitungssystem, denn der Satellit hat seine Inbetriebnahme-Inspektion im Juli bestanden – als nicht betriebsbereit deklariert, umgeht man anscheinend diese Anforderung.

Man mag das als Paranoia auf meiner Seite abtun, jedoch gibt es recht klare Indizien dafür, dass einflussreiche Leute im Umfeld des Copernicus-Programms insgesamt recht unzufrieden mit dem ganzen Aspekt der offenen Daten sind. Zum Beispiel wenn man einen Blick auf die Daten der verschiedenen Sentinel-Satelliten wirft, welche bis jetzt gestartet wurden – dann erkennt man einen klaren Trend:

  • Sentinel-1A: Start 3 Apr 2014, öffentlicher Datenzugriff ab 9 Mai 2014 (1 Monat)
  • Sentinel-2A: Start 23 Jun 2015, Daten ab Ende November 2015 (5 Monate)
  • Sentinel-1B: Start 25 Apr 2016, Daten ab 26 Sep 2016 (5 Monate)
  • Sentinel-3A: Start 16 Feb 2016, Daten teilweise ab 20 Okt 2016 (8 Monate)

Natürlich waren die ersten Daten von Sentinel-1A hochgradig experimentell und es gab in Anschluss massive Änderungen am gesamten System der Datenverteilung. Aber das ist in Anbetracht der fehlenden Erfahrung mit öffentlichem Datenzugang auch verständlich.

Zur Verteidigung der Verantwortlichen – das Datenvolumen, welches hier verteilt werden muss, ist recht beachtlich. Für Sentinel-2 sind das etwa 200-300 Szenen-Pakete pro Tag (die alten 300km-Szenen, nicht die neuen Einzelkachel-Pakete), was mit einer angenommenen Durchschnittsgröße von 5GB etwa 1-1.5TB pro Tag ergibt. Für Sentinel-3 liegen die Schätzungen bei 28.5GB (OLCI) und 44.5GB (SLSTR) pro Orbit, was zusammen mehr als 1TB pro Tag allein für die Level-1-Daten bedeutet – also ohne die höheren Bearbeitungsstufen und ohne die unterschiedlichen Echtzeit- und Langzeit-Versionen. Und die Echtzeit-Daten sollen innerhalb von drei Stunden nach der Aufnahme verfügbar sein. Wenn man die Schwierigkeiten bedenkt, welche in Bezug auf den zuverlässigen Datenzugang schon bei Sentinel-2 sichtbar sind, ist es nicht wirklich erstaunlich, dass man es nicht eilig damit hat, diese fragile Infrastruktur mit noch mehr Daten dem öffentlichen Zugriff auszusetzen. Aber die Ressourcen, welche im Copernicus-Programm in die öffentliche Verteilung der Daten fließen, reflektieren natürlich die Bedeutung, die die Entscheidungsträger diesem Teil des Projektes zubilligen – und es ist ja auch nicht so, dass die Notwendigkeit auf diesen Maßstab zu skalieren nicht bereits seit Jahren klar war.

Die Situation könnte daneben auch etwas damit zu tun haben, dass Sentinel-3 anders als Sentinel-1 und 2 von EUMETSAT und nicht von der ESA betreieben werden (obwohl die ESA Teile der Daten verteilt). Ich habe früher darüber geschrieben, dass es bei der ESA an eine Kultur offener Daten fehlt, durch ihren wissenschaftlichen Auftrag müssen die jedoch zumindest nach außen ein gewisses Bild der Offenheit kommunizieren.

EUMETSAT hingegen ist eine Organisation, welche die Wetter-Satelliten der europäischen Wetterdienste betreibt. Da es für die einzelnen Staaten Europas sehr ineffizient wäre, jeweils eigene Wettersatelliten zu betreiben, haben sie sich zusammengetan. Das Konzept hinter EUMETSAT ist, dass Mitgliedsländer freien Zugang zu den Satellitendaten für ihre staatlichen Wetterdienste für ihre eigenen Verwendung bekommen. Diese können die Daten auch an Dritte weiter-lizenzieren, sind dabei jedoch an die Tarife gebunden, welche das EUMETSAT-Management festsetzt. EUMETSAT hat also zwei Ziele:

  • Kostenreduktion durch den gemeinsamen Betrieb von Wetter-Satelliten für die staatlichen Wetterdienste
  • Monetarisierung der produzierten Daten durch den Verkauf an kommerzielle Nutzer als Kartell

Als Folge hiervon sind die Europäischen Wetter-Satelliten was die Daten betrifft mit am restriktivsten im weltweiten Vergleich, denn es ist explizites Ziel der Betreiber, aus nicht staatlichen Verwendungen der Daten Gewinn zu erzielen – im starken Kontrast zum Beispiel zu Japan, wo Himawari 8 vollständig freien Zugriff auf die Daten bietet.

Man erkennt vielleicht die Ironie darin, wenn eine solche Organisation jetzt beauftragt wird, einen Satelliten mit vollständig offenem Datenzugang zu betreiben. Sentinel-3 steht zwar nicht in direkter Konkurrenz zu geostationären Wettersatelliten, allerdings betreibt EUMETSAT auch andere Satelliten in polarem Orbit.

Zu den Daten selbst – ich habe da noch nicht im Detail drauf geschaut, werde vermutlich später eine detailliertere Besprechung schreiben, jedoch vermutlich erst wenn auch die SLSTR-Daten verfügbar sind. Da die Daten in einem unüblichem Format kommen (netCDF ohne normale Daten zur Georeferenzierung) wird die Nutzung mit normalen Werkzeugen recht kompliziert sein. Was man so weit erkennen kann ist jedoch, dass die verfügbaren Daten recht unvollständig sind. Da OLCI nur im sichtbaren Licht und im nahen Infrarot aufzeichnet, sind Nachtaufnahmen nicht von Interesse, jedoch gibt es nicht einmal von der Tagseite eine vollständige Abdeckung. Zum Vergleich hier die Abdeckungen der verfügbaren Daten:

Und im Vergleich die aktuelle Terra-MODIS-Abdeckung:

Die schmaleren Aufzeichnungsstreifen und entsprechend größeren Lücken am Äquator sind normal und wie erwartet, dass diese jedoch in Richtung der Pole sehr früh enden ist merkwürdig. Ob dies auf einem Schwellwert bei der Sonnenhöhe oder auf anderen Kriterien basiert ist mir nicht klar. Ebenso ob dies nur die verfügbaren Daten betrifft oder auch die eigentliche Aufzeichnung. Dies wird jedoch in jedem Fall bedeuten, dass in Polnähe bei hohen Breiten der verfügbare Zeitraum für Bilder auf nur etwa 3-4 Monate im Jahr begrenzt ist.