Universität zu Köln

Chatterjee, Dwaipayan ORCID: 0000-0001-8757-9884 (2024). Characterization of Cloud Variability through Novel Satellite-Based Observations. PhD thesis, Universität zu Köln.

PDF (Dwaipayan Chatterjee, PhD Thesis, Institute fo Geophysics and Meteorology, University of Cologne) Thesis_Chatterjee_publication.pdf - Accepted Version Bereitstellung unter der CC-Lizenz: Creative Commons Attribution. Download (77MB)

Abstract

Cloud formation and evolution across different spatiotemporal scales present some of the most complex mechanisms in Earth's atmosphere. These complexities lead to various cloud types displaying diverse characteristics regarding their water content and impact on the radiative budget. Our limited capacity to represent the governing physical laws, likely because of too many unknown parameters and insufficient high-resolution observations, hampers the semi-empirical sub-grid representation of clouds in the numerical models. Consequently, clouds emerge as substantial sources of uncertainty in climate sensitivity experiments, diminishing our confidence and constraining our capacity to predict the future trajectory of our climate. Along with this, especially low-level clouds strongly modulate the surface solar irradiance (SSI), which impacts solar photovoltaic production. The relevance of this impact has increased with time as our electric grids have been increasingly infused with renewable energy, thus becoming more dependent on their intermittent nature. This causes sudden stress on microgrids, which causes them to struggle to balance the resulting variations around the standard frequency. The current state-of-the-art Geostationary Satellites (GS), like Meteosat Third Generation (MTG), offer spatial resolution at 1km, yet this still falls short of resolving the fine-scale nature of many cloud objects, which extend to hundreds of meters or finer. However, by treating the aggregation of these individual cloud objects spanning up hundreds of kilometers as spatial distributions, the resolution likely becomes adequate to characterize their variability. Research increasingly supports the notion that these cloud fields (CF) exhibit distinct cloud radiative effects and form under different large-scale conditions. Consequently, advanced-generation climate models must consider their variability. This work develops two neural networks (defined together as the framework) based on self-supervision principles to taxonomize the entire daytime visible mesoscale CF spectra from satellite images. Their individual pretext tasks simplify the entire cloud spectrum by focusing on the essential features of the CFs and thus reduce their high dimensional intricate distribution. We use cloud optical depth images retrieved from GS measurements as an input in both of our networks. Exploiting these networks and GS observations over central Europe (land) and north Atlantic trades (NAT, ocean), we demonstrate how different regimes can be distinguished as well as investigate their organizational interconnections. Our investigation includes the spring to autumn period over land and the dry season over NAT which both feature convective activity. The framework maps the spatial distribution of CFs based on their optical depth characteristics, facilitating the identification of distinct classes over both ocean and land. Their physical uniqueness is validated independently using supplementary satellite-retrieved products and reanalysis data. This enables the identification of low-level CFs, which are subsequently further distinguished to capture their difficult-to-separate diverse convective stages. Capturing different regimes of the low cloud family allows us to better characterize their particular contribution to SSI temporal fluctuations using ground-based pyranometer measurements. The exploration of organizational interconnections among low-level shallow clouds takes place within the downstream trades, where a framework systematically arranges them based on their organizational similarities. This method enables the identification of weak break points in the cloud organization continuum, which are interpreted as regime transitions. A novel metric has been introduced to measure the relative changes in CF organizational status during their transition. Further, a simplified representation of the complete CF spectrum, along with its partitioning, facilitates a comparison between state-of-the-art human labels and machine labels, thus assessing their positions in the continuum. Despite these advancements, shortcomings persist, particularly with lower consensus labels being misclassified, leading to an uncertain allocation within the continuum. Our analysis indicates that the results depend on the spatial scale of the CFs. Assessing the generalization potential of the framework by ingesting the continuous temporal data over Jülich, Germany, gives us the flexibility to explore the ground-based measurements from the Jülich Observatory for Cloud Evolution (JOYCE). We track the temporal evolution of the CF and emphasize the reasoning within the latent space. Our study illustrates how intrinsic cloud properties influence changes in neural embeddings, where we validate the results with ground-based radar and pyranometer observations. The developed framework opens up the possibility of using artificial intelligence framework-driven metrics for model evaluation against observational data.

Item Type:	Thesis (PhD thesis)
Translated abstract:	Abstract Language Die Bildung und Entwicklung von Wolken auf unterschiedlichen räumlichen und zeitlichen Skalen stellen einige der komplexesten Mechanismen in der Atmosphäre der Erde dar. Diese Komplexitäten führen dazu, dass verschiedene Wolkenarten unterschiedliche Eigenschaften hinsichtlich ihres Wassergehalts und ihres Einflusses auf das Strahlungsbudget aufweisen. Unsere begrenzte Fähigkeit, die zugrunde liegenden physikalischen Gesetze aufgrund zu vieler unbekannter Parameter und unzureichender hochauflösender Beobachtungen darzustellen, behindert die semi-empirische Unterteilung von Wolken in den numerischen Modellen. Folglich werden Wolken zu wesentlichen Unsicherheitsquellen in Klimaempfindlichkeits-Experimenten, was unser Vertrauen beeinträchtigt und unsere Fähigkeit zur Vorhersage der zukünftigen Entwicklung unseres Klimas einschränkt. Darüber hinaus modulieren insbesondere tiefe Wolken stark die einfallende Solareinstrahlung (SSI), was die Produktion von Solarstrom beeinflusst. Die Relevanz hiervon hat im Laufe der Zeit zugenommen, da unsere Stromnetze zunehmend mit erneuerbarer Energie versorgt werden und damit stärker von ihrer intermittierenden Natur abhängig sind. Dies führt zu plötzlichem Stress in Mikronetzen, die Schwierigkeiten haben, die resultierenden Schwankungen um die Standardfrequenz auszugleichen. Die aktuellen Geostationären Satelliten (GS), wie Meteosat Third Generation (MTG), bieten eine räumliche Auflösung von 1 km, was jedoch immer noch nicht ausreicht, um die kleinskalige Natur vieler Wolkenobjekte aufzulösen, die sich über Hunderte von Metern oder feiner erstrecken. Durch die Aggregation dieser einzelnen Wolkenobjekte, die sich über Hunderte von Kilometern erstrecken, als räumliche Verteilungen könnte die Auflösung ausreichen, um deren Variabilität zu charakterisieren. Untersuchungen unterstützen zunehmend die Vorstellung, dass diese Wolkenfelder (CF) unterschiedliche Wolkenstrahlungseffekte aufweisen und unter verschiedenen großskaligen Bedingungen entstehen. Folglich müssen moderne Klimamodelle ihre Variabilität berücksichtigen. Diese Arbeit entwickelt zwei neuronale Netzwerke (zusammen als Framework definiert), die auf Selbstüberwachungsprinzipien basieren, um das gesamte mesoskalige CF-Spektrum aus Satellitenbildern im sichtbaren Wellenlängenbereich zu taxonomisieren. Ihre individuellen pretext Aufgaben vereinfachen das gesamte Wolken-Spektrum, indem sie sich auf die wesentlichen Merkmale der CF konzentrieren und somit ihre hochdimensionale komplexe Verteilung reduzieren. Wir verwenden die aus GS-Messungen abgeleitete Wolkenoptische Tiefe als Eingabe in beiden unserer Netzwerke. Durch die Nutzung dieser Netzwerke und GS-Beobachtungen über Mitteleuropa (Land) und den Nordatlantik-Passatgebieten (NAT, Ozean) zeigen wir, wie verschiedene Regime unterschieden werden können und untersuchen deren Organisationszustände. Unsere Untersuchung umfasst die Frühjahrs- bis Herbstperiode über Land und die Trockenzeit über NAT, die beide konvektive Aktivitäten aufweisen. Das Framework kartiert die räumliche Verteilung von CFs basierend auf ihren optischen Tiefecharakteristika und ermöglicht die Identifizierung unterschiedlicher Klassen über Ozean und Land. Ihre physische Einzigartigkeit wird unabhängig anhand zusätzlicher satellitengestützter Produkte und Reanalysedaten validiert. Dies ermöglicht die Identifizierung von niedrigen Wolkenfeldern, die anschließend weiter differenziert werden, um ihre schwer zu trennenden verschiedenen konvektiven Stadien zu erfassen. Das Erfassen verschiedener Regime der niedrigen Wolkenfamilie ermöglicht es uns, ihren spezifischen Beitrag zu den zeitlichen Schwankungen der SSI anhand bodengestützter Pyranometermessungen besser zu charakterisieren. Die Untersuchung der Organisationszustände von niedrigen Wolken findet entlang der Passatwinde statt, wo das Framework sie systematisch basierend auf ihren organisatorischen Ähnlichkeiten anordnet. Diese Methode ermöglicht die Identifizierung schwacher Breakpoints im Kontinuum der Wolkenorganisation, die als Regimeübergänge interpretiert werden. Es wurde eine neue Metrik eingeführt, um die relativen Veränderungen im organisatorischen Status von CF während ihres Übergangs zu messen. Darüber hinaus erleichtert eine vereinfachte Darstellung des vollständigen CF-Spektrums zusammen mit seiner Partitionierung einen Vergleich zwischen modernen menschlichen Klassifikationen und Maschinenlabels, wodurch ihre Positionen im Kontinuum bewertet werden. Trotz dieser Fortschritte bleiben Mängel bestehen, insbesondere bei geringem Konsens, wenn Bilder fehlerhaft klassifiziert werden und zu einer unsicheren Zuordnung innerhalb des Kontinuums führen. Unsere Analyse zeigt, dass die Ergebnisse von der räumlichen Skala der CFs abhängen. Die Bewertung des Generalisierungspotenzials des Frameworks durch die Aufnahme der kontinuierlichen zeitlichen Daten über Jülich, Deutschland, gibt uns die Flexibilität, die bodengestützten Messungen vom Jülicher Observatorium für Wolkenentwicklung (JOYCE) zu erkunden. Wir verfolgen die zeitliche Entwicklung des CF und betonen die Argumentation im latenten Raum. Unsere Studie veranschaulicht, wie intrinsische Wolken-Eigenschaften Veränderungen in neuronalen Einbettungen beeinflussen, wobei wir die Ergebnisse mit bodengestützten Radar- und Pyranometerbeobachtungen validieren. Das entwickelte Framework eröffnet die Möglichkeit, metrike-ngetriebene künstliche Intelligenzframeworks zur Bewertung von Wetter- und Klimamodellen anhand von Beobachtungsdaten zu verwenden. German
Creators:	Creators Email ORCID ORCID Put Code Chatterjee, Dwaipayan dchatter@uni-koeln.de orcid.org/0000-0001-8757-9884 UNSPECIFIED
URN:	urn:nbn:de:hbz:38-742158
Date:	2024
Language:	English
Faculty:	Faculty of Mathematics and Natural Sciences
Divisions:	Faculty of Mathematics and Natural Sciences > Department of Geosciences > Institute for Geophysics and Meteorology
Subjects:	Data processing Computer science Natural sciences and mathematics Earth sciences
Uncontrolled Keywords:	Keywords Language Artificial intelligence, Clustering, dimensionality reduction, model interpreatation, visualization, pattern recognition English cloud systems, mesoscale, solar energy, ramp rates English geostationary satellites, self supervised neural networks English
Date of oral exam:	12 September 2024
Referee:	Name Academic Title Crewell, Susanne Prof. Dr.
Funders:	Federal Ministry for the Environment, Nature Conservation, Nuclear Safety, and Consumer Protection, Federal Ministry for Digital and Transport, Federal Ministry of Education and Research
Projects:	KISTE, Deutsche Forschungsgemeinschaft, Warmworld
Refereed:	Yes
URI:	http://kups.ub.uni-koeln.de/id/eprint/74215