Universität zu Köln

Jenal, Alexander Gerhard Josef ORCID: 0000-0002-1890-4839 (2022). A UAV-BASED VNIR/SWIR MULTISPECTRAL MULTI-CAMERA SYSTEM FOR MONITORING VEGETATION - Development, Application and Evaluation on Agricultural Systems. PhD thesis, Universität zu Köln.

Preview	PDF Dissertation_final_AJ_print.pdf Download (104MB) | Preview
	PDF (Unformatierte Textdatei) Abstract_MetaData_Diss.txt - Additional Metadata Restricted to Repository staff only Download (15kB)

Abstract

A growing world population with limited or even declining resources and intensifying climate change are putting increasing pressure on global food production and, in particular, on the agricultural sector. Driven by technological innovations, precision agriculture, and smart farming are upcoming management strategies essential for counteracting these negative impacts. Both trends aim to use site-specific management practices to selectively account for multifaceted plant variability within croplands to maximize yields with minimal inputs, which should also lead to more sustainable agricultural management practices. However, since one cannot manage what one cannot measure, timely information on current in-field conditions is of the utmost importance for effectively implementing these agronomic management strategies. In this regard, optical remote sensing systems based on unmanned aerial vehicles (UAVs) can significantly contribute to airborne spectral vegetation analysis of small and medium-sized agricultural areas, both in research and in agricultural applications. Specifically, multispectral multi-camera systems are often used to acquire spectral image data sets for deriving established vegetation indices (VIs), which are then used as the basis for non-destructive estimation of specific crop traits to support—for example, site-specific crop management decisions in precision agriculture. These imaging systems can be effortlessly integrated into various UAV systems, and the spectral image data obtained has a high spatial resolution. Furthermore, these acquired data sets can be processed in photogrammetric workflows to derive spectral orthomosaics and 3D structural information. However, these commercial or experimental systems consist exclusively of multiple silicon-based image sensors. Moreover, they are in most cases self-contained and not adaptable to different applications, thus limiting their spectral resolution to a small number of primarily broad spectral bands in the visible (VIS) and near-infrared (NIR) domain (400 to 1000 nm). However, these multi-camera systems do not cover the short-wave infrared (SWIR) range from 1000 to 1700 nm, which contains crucial spectral absorption features related to biomass, water, and biochemical leaf constituents such as lignin, starch, and nitrogen (N). Furthermore, as observed in hyperspectral imaging applications, there is already a need for narrowband SWIR imaging, especially with the more feasible UAV-based multispectral multi-camera systems. Their application in agricultural systems, with adapted spectral sensitivity in the SWIR, would be ideal for detecting site-specific, subtle spectral vegetation features in high spatial resolution. Similarly, for multispectral Earth observation satellite missions, the SWIR has minimal, still very broadband, coverage with spatial resolutions unsuitable for site-specific applications or phenotyping, resulting in a spatial and spectral sampling gap in this area. Similarly, hyperspectral missions that could compensate, at least, for this spectral shortfall, are currently only on a limited scale operational and also have lower ground resolution. Thus, to detect light of the (SWIR) domain, a different sensor type—namely, one based on the semiconductor material InGaAs—is required. However, until recently, these sensors were not performant enough to be incorporated into miniaturized camera modules. In addition, due to technical limitations, InGaAs sensors were comparatively expensive compared to their silicon counterparts. However, these shortfalls have improved and therefore, this research (1) developed a UAV-based 2D imaging prototype of a narrowband two-channel multispectral multi-camera system, based on InGaAs sensors, with a spectral response from VIS to SWIR (approximately 600 nm to 1700 nm) and (2) evaluated the potential of this camera system prototype for estimating crop traits of two different agricultural vegetation types from the acquired spectral image data sets. These outcomes were accomplished through the objectives pursued in the context of three peer-reviewed studies published in scientific journals. The first study focused on the development process, including selecting dedicated parts for the optical components, suitable InGaAs camera sensor modules, and a powerful computing unit. Interchangeable filter assemblies have been developed to acquire a freely selectable narrow wavelength band with each integrated sensor. Two options for this critical part were implemented and tested for suitability to be operated in the system’s optical path. Subsequently, several custom mechanical and electronic components were designed and fabricated to build the integrated multi-camera system. Finally, successful tests of the individual components and the overall system in a climate chamber and an integrating sphere in a spectral laboratory, as well as an initial test flight, completed the overall development process. The subsequent two case studies evaluated the potential of the newly developed SWIR-based multi-camera system for estimating vegetation traits in a permanent grassland field trial and a winter wheat field trial. For this purpose, two established SWIR-based VIs were selected: the two-band normalized ratio index (NRI) and the four-band GnyLi index. The data collection took place in one flight campaign for each experimental field to acquire four spectral image datasets per trial with two UAV flights in direct succession. The resulting reflectance data sets were processed into orthomosaics for each wavelength band. The GnyLi and NRI VIs were then derived from these orthomosaics and further analyzed for their estimation accuracy in bivariate regression models using trial-specific spectral and destructively sampled ground truth data. In summary, it was concluded that the findings of both case studies confirmed the camera system’s presumed performance from the initial tests in the first study. The overall aim of developing and evaluating the narrowband VNIR/SWIR multispectral multi-camera system for UAV-based vegetation monitoring was thus successfully achieved. The derived VIs from spectral image data acquired by the camera system reached high accuracies in estimating dry matter yield in permanent grassland and fresh biomass, dry biomass, moisture content, N concentration, and N uptake in winter wheat. Further multi-temporal and multi-annual investigations with refined analysis methods should be carried out to confirm the findings in this thesis. As a result, this more in-depth research could further evaluate and optimize the SWIR-based multi-camera system for potential use in application-specific UAV-based monitoring applications in the context of precision agriculture.

Item Type:	Thesis (PhD thesis)
Translated abstract:	Abstract Language Eine wachsende Weltbevölkerung bei begrenzten oder sogar abnehmenden Ressourcen und der sich verschärfende Klimawandel setzen die weltweite Nahrungsmittelproduktion und insbesondere den Agrarsektor zunehmend unter Druck. Angetrieben durch technologische Innovationen sind Präzisionslandwirtschaft und Smart Farming aufkommende Managementstrategien, die diesen negativen Auswirkungen entgegenwirken sollen. Beide Trends zielen darauf ab, standortspezifische Bewirtschaftungspraktiken einzusetzen, um die vielfältigen pflanzlichen Variabilitäten innerhalb der Anbauflächen selektiv zu berücksichtigen und die Erträge mit minimalem Einsatz zu maximieren, was auch zu nachhaltigeren landwirtschaftlichen Bewirtschaftungspraktiken führen soll. Da man jedoch nicht managen kann, was man nicht messen kann, sind zeitnahe Informationen über die aktuellen Feldbedingungen von größter Bedeutung für die wirksame Umsetzung dieser agronomischen Managementstrategien. In diesem Zusammenhang können optische Fernerkundungssysteme auf der Basis unbemannter Luftfahrzeuge (UAVs) einen wichtigen Beitrag zur luftgestützten spektralen Vegetationsanalyse kleiner und mittelgroßer landwirtschaftlicher Flächen leisten, sowohl in der Forschung als auch in landwirtschaftlichen Anwendungen. Insbesondere multispektrale Mehrkamerasysteme werden häufig zur Erfassung von Spektralbilddatensätzen für die Ableitung etablierter Vegetationsindizes (VIs) verwendet, die dann als Grundlage für die zerstörungsfreie Schätzung spezifischer Pflanzenmerkmale dienen, um z. B. standortspezifische Bewirtschaftungsentscheidungen in der Präzisionslandwirtschaft zu unterstützen. Diese Bildgebungssysteme können mühelos in verschiedene UAV-Systeme integriert werden, und die gewonnenen spektralen Bilddaten haben eine hohe räumliche Auflösung. Außerdem können die gewonnenen Datensätze in photogrammetrischen Workflows verarbeitet werden, um spektrale Orthomosaike und 3D-Strukturinformationen abzuleiten. Diese kommerziellen oder experimentellen Systeme bestehen jedoch ausschließlich aus mehreren siliziumbasierten Bildsensoren. Darüber hinaus sind sie in den meisten Fällen in sich geschlossen und nicht an verschiedene Anwendungen anpassbar, sodass ihre spektrale Auflösung auf einige wenige, hauptsächlich breite Spektralbänder im sichtbaren (VIS) und nahen infraroten (NIR) Bereich (400 bis 1000 nm) begrenzt ist. Diese Multikamerasysteme decken jedoch nicht den kurzwelligen Infrarotbereich (SWIR) von 1000 bis 1700 nm ab, der wichtige spektrale Absorptionsmerkmale in Bezug auf Biomasse, Wasser und biochemische Blattbestandteile wie Lignin, Stärke und Stickstoff (N) enthält. Darüber hinaus besteht, wie bei hyperspektralen Bildgebungsanwendungen zu beobachten ist, bereits ein Bedarf an schmalbandiger SWIR-Bildgebung, insbesondere bei den praktikableren UAV-basierten Multikamerasystemen. Deren Anwendung in landwirtschaftlichen Systemen mit angepasster spektraler Empfindlichkeit im SWIR wäre ideal für die Erkennung standortspezifischer, feinster spektraler Vegetationsmerkmale in hoher räumlicher Auflösung. Auch bei multispektralen Satellitenmissionen zur Erdbeobachtung hat das SWIR immer noch nur eine geringe und nur sehr breitbandige spektrale Abdeckung mit räumlichen Auflösungen, die für ortsspezifische Anwendungen oder Phänotypisierung ungeeignet sind, was zu einer räumlichen und spektralen Detektionslücke in diesem Bereich führt. Auch hyperspektrale Erdbeobachtungsmissionen, die dieses Defizit im Spektralbereich zumindest ausgleichen könnten, sind derzeit nur in begrenztem Umfang in Betrieb und haben zudem eine geringere Bodenauflösung. Für die Erkennung von Licht im (SWIR-)Bereich ist daher ein anderer Sensortyp erforderlich, nämlich einer, der auf dem Halbleitermaterial InGaAs basiert. Bis vor Kurzem waren diese Sensoren jedoch nicht leistungsfähig genug, um in miniaturisierte Kameramodule eingebaut zu werden. Darüber hinaus waren InGaAs-Sensoren aufgrund technischer Beschränkungen im Vergleich zu ihren Pendants aus Silizium vergleichsweise teuer. Diese Defizite haben sich jedoch verbessert, sodass im Rahmen dieser Forschungsarbeit (1) ein Prototyp eines UAV-gestützten, zweikanaligen, schmalbandigen Multispektral-Mehrkamerasystems auf der Grundlage von InGaAs-Flächensensoren mit einer spektralen Empfindlichkeit von VIS bis SWIR (ca. 600 nm bis 1700 nm) entwickelt und (2) das Potenzial dieses Kamerasystemprototyps für die Schätzung von Pflanzenmerkmalen zweier verschiedener landwirtschaftlicher Vegetationstypen anhand der erfassten Spektralbilddatensätze bewertet wurde. Diese Ergebnisse wurden durch die Zielsetzungen erreicht, die im Rahmen von drei von Experten begutachteten und in wissenschaftlichen Fachzeitschriften veröffentlichten Studien verfolgt wurden. Die erste Studie befasste sich mit dem Entwicklungsprozess, einschließlich der Auswahl spezieller Teile für die optischen Komponenten, geeigneter InGaAs-Kamerasensormodule und einer leistungsstarken Recheneinheit. Es wurden austauschbare Filterbaugruppen entwickelt, um mit jedem integrierten Sensor ein frei wählbares schmales Wellenlängenband erfassen zu können. Zwei Optionen für dieses kritische Bauteil wurden implementiert und auf ihre Eignung für den Betrieb im optischen Pfad des Systems getestet. Anschließend wurden mehrere anwendungsspezifische mechanische und elektronische Komponenten entworfen und hergestellt, um das integrierte Multikamerasystem aufzubauen. Erfolgreiche Tests der einzelnen Komponenten und des Gesamtsystems in einer Klimakammer und an einer Ulbricht-Kugel in einem Spektrallabor sowie ein erster Testflug komplettierten schließlich den gesamten Entwicklungsprozess. In den beiden folgenden Fallstudien wurde das Potenzial des neu entwickelten SWIR-basierten Multikamerasystems für die Schätzung von Vegetationsmerkmalen in einem Dauergrünland-Feldversuch und einem Winterweizen-Feldversuch bewertet. Zu diesem Zweck wurden zwei etablierte SWIR-basierte VIs ausgewählt: der zweibandige Normalised Ratio Index (NRI) und der vierbandige GnyLi-Index. Die Datenerfassung erfolgte in einer Flugkampagne für jedes Versuchsfeld, um vier spektrale Bilddatensätze pro Versuch mit zwei direkt aufeinander folgenden UAV-Flügen zu erfassen. Die resultierenden Reflexionsdatensätze wurden für jedes Wellenlängenband zu Orthomosaiken verarbeitet. Aus diesen Orthomosaiken wurden dann die GnyLi- und NRI-VIs abgeleitet und mit versuchsspezifischen, spektralen sowie destruktiv gesammelten Bodenwahrheitsdaten weiter auf deren Schätzgenauigkeit in bivariaten Regressionsmodellen hin analysiert. Zusammenfassend wurde festgestellt, dass die Ergebnisse beider Fallstudien die vermutete Leistungsfähigkeit des Kamerasystems aus den initialen Tests der ersten Studie bestätigten. Das Gesamtziel der Entwicklung und Evaluierung des schmalbandigen VNIR/SWIR Multispektralkamerasystems für die UAV-basierte Vegetationsüberwachung wurde somit erfolgreich erreicht. Die aus den spektralen Bilddaten des Kamerasystems abgeleiteten VIs erreichten hohe Genauigkeiten bei der Schätzung des Ertrags der Trockenmasse im Dauergrünland und der frischen und trockenen Biomasse, des Feuchtigkeitsgehalts, der N-Konzentration und des N uptake bei Winterweizen. Weitere multitemporale und mehrjährige Untersuchungen mit verfeinerten Analysemethoden sollten durchgeführt werden, um die Ergebnisse dieser Arbeit zu bestätigen. Im Ergebnis könnte diese vertiefte Forschung das SWIR-basierte Multikamerasystem für den möglichen Einsatz in anwendungsspezifischen UAV-basierten Beobachtungsanwendungen im Kontext der Präzisionslandwirtschaft weiter evaluieren und optimieren German
Creators:	Creators Email ORCID ORCID Put Code Jenal, Alexander Gerhard Josef alexander.jenal@uni-koeln.de orcid.org/0000-0002-1890-4839 UNSPECIFIED
URN:	urn:nbn:de:hbz:38-616888
Date:	2022
Language:	English
Faculty:	Faculty of Mathematics and Natural Sciences
Divisions:	Faculty of Mathematics and Natural Sciences > Department of Geosciences > Geographisches Institut
Subjects:	Generalities, Science Data processing Computer science Education Natural sciences and mathematics Physics Earth sciences Technology (Applied sciences) Agriculture
Uncontrolled Keywords:	Keywords Language short-wave infrared; SWIR; near-infrared; NIR; VNIR; multispectral; multi-camera system; permanent grassland; winter wheat; plant height; UAV; crop growth; optical design; bandpass filter; remote sensing; RGB; biomass estimation; crop surface model; structure from motion; sfm; photogrammetry; vegetation index; GnyLi; NRI; NDVI; digital surface model; radiometric calibration; precision agriculture; smart agriculture; smart farming; unmanned aerial vehicle; optics; bidirectional reflectance distribution function (BRDF); field-spectroscopy; imaging spectroscopy; low-altitude remote sensing; protein; nitrogen; chlorophyll; vegetation monitoring English
Date of oral exam:	4 May 2022
Referee:	Name Academic Title Bareth, Georg Prof. Dr. Schneider, Karl Prof. Dr. Bongartz, Jens Prof. Dr. Rascher, Uwe Prof. Dr.
Refereed:	Yes
URI:	http://kups.ub.uni-koeln.de/id/eprint/61688