Cognitive Edge Computing für KI-/ML-basierte Oberflächeninspektion

Die Entwicklungen im Bereich der intelligenten technischen Systeme (ITS) führen derzeit zu einem Umbruch in der gesamten Wertschöpfungskette der industriellen Produktion. Die zunehmende Leistungsfähigkeit der Informationsverarbeitung bietet für das Anwendungsgebiet der industriellen Bildverarbeitung viele neue Möglichkeiten, an denen Mensch und Maschinen bisher an ihre Grenzen stoßen. Insbesondere die Nutzung Maschineller Lernverfahren und Methoden der künstlichen Intelligenz versprechen bisher nicht gekannte Möglichkeiten beispielsweise in der m Objektklassifikation oder der visuellen Qualitätskontrolle. Etwa seit dem Jahr 2010 werden mit Deep Neuronal Networks (DNN) bzw. Convolutional Neuronal Networks (CNN) bedeutende Fortschritte erzielt. Die Leistungsfähigkeit etablierter KI-/ML-Verfahren basiert aber bisher meist auf der Nutzung leistungsfähiger dezentraler Rechenressourcen (High-Performance Computing) in der Cloud. Nicht nur für das Lernen der Modelle, sondern auch für deren Ausführung (Inferenz) ist der Anwender auf diese leistungsfähigen Ressourcen angewiesen. Die im Bereich in der industriellen Bildverarbeitung auftretenden Anforderungen weichen jedoch aufgrund hoher Ansprüche an niedrige Latenz, Echtzeitfähigkeit oder Datenlokalität von den durch große Anbieter von KI-Know-How adressierten Fragestellungen ab. Auch Fragestellungen wie Wartbarkeit, Zertifizierbarkeit oder Privacy erschweren die Nutzung populärer Modelle wie DNNs oder CNNs in der Cloud.

Aber auch im Bereich der effizienten Ausführung von KI-/ML-Verfahren auf eingebetteten Systemen (Cognitive Edge Computing) wurden in der Vergangenheit große Fortschritte gemacht. Auf allen Ebnen der unterschiedlichen Verarbeitungskonzepte in der vernetzten Produktion (Edge/Fog/Cloud- Computing) finden sich geeignete Hardwarebeschleuniger, die auf einen geeigneten Kompromiss zwschen den Systemressourcen wie benötigter Leistungsfähigkeit (z.B. Klassifikationsgenauigkeit), Leistungsaufnahme/Energiebedarf oder Datendurchsatz/Latenz abzielen. Beispiele für relevante Hardwarearchitekturen sind eingebettete Mikrocontroller, Embedded GPUs, eingebettete FPGAs oder dedizierte KI-Hardwarebeschleuniger.

Die BST Group entwickelt Systeme für die Oberflächeninspektion (z.B. für die Batteriezellproduktion), die unter anderem typische Fehler Fertigungsprozess (z. B. Beschichtungsaussetzer) verlässlich und umgehend erkennen können. Durch ihren modularen Aufbau können BST Systeme an unterschiedlichste Anwendungen perfekt angepasst werden. Bilderfassung und Fehlererkennung erfolgen in Echtzeit. Die Systeme sind anwendbar auf uniforme, texturierte sowie bedruckte Oberflächen. Die umgehende und automatische Erkennung und Anzeige auch kleinster Fehler und Abweichungen ermöglichen eine schnelle und sichere Anpassung des Prozesses zur Ausschussvermeidung. Das System besteht aus mehreren optischen Sensoren, deren Sensordaten geeignet fusioniert werden. Die Anwendung maschineller Lernverfahren verspricht hier eine höhere Leistungsfähigkeit in der Fehlererkennung und Optimierung des gesamten Prozesses. Mit Bahnlaufgeschwindigkeiten von mehreren hundert Metern pro Sekunde stellen sich allerdings sehr hohe Anforderungen an die Geschwindigkeit bzw. Latenz der eingesetzten KI-/ML-Verfahren.

Ziel des Projektes ist die Entwurfsraumexploration von KI-/ML-Hardwarebeschleunigern für den Einsatz in der Oberflächeninspektion. Im Zentrum steht nicht nur das Lernen der Modelle auf HPC-Systemen, sondern auch die effiziente Ausführung (Inferenz). Die Betrachtung der gesamten Systemarchitektur vom intelligenten Sensor über Edge-Gateways zur lokalen Datenvorverarbeitung bis hin zur Cloud-Infrastruktur stellt hohe Anforderungen an die Abbildung der KI-Verfahren auf die Hardware. Die Wahl der Zielarchitektur hat wiederum Einfluss auf die Wahl und das Training der Modelle. Hieraus ergibt sich ein iterativer Zyklus (Model-to-Inference-to-Model), der sowohl die Auswahl geeigneter KI- Verfahren, als auch die Bestimmung der (Hyper-)Parameter des Modells beinhaltet. Diesen Ansatz einer ganzheitlichen Entwurfsraumexploration kann man auch in Anlehnung an den etablierten Begriff HW/SW-Co-Design als HW-/KI-Co-Design bezeichnen. Die Entwurfsraumexploration soll dabei unterschiedlichen Entwurfsziele, wie beispielsweise Klassifikationsgenauigkeit, Latenz oder Ressourcenbedarf der Hardware berücksichtigen. Ergebnis der Entwurfsraumexploration ist die Partitionierung der Anwendung, d.h. welche KI-Verfahren können direkt auf dem Sensor ausgewertet werden (z.B. durch Dimensionsreduktion oder Feature-Extraktion), welche Verfahren können über Edge-Hardware (beispielsweise eingebettete GPU/FPGA oder dedizierte TPU-Beschleuniger) beschleunigt werden und welche erfordern leistungsfähige HPC-Hardware in der Cloud.

Bezug zum Thema Data Science  
Die Evaluation und Anwendung von KI-/ML-Verfahren im Bereich des „maschinellen Sehens“ z.B. den Einsatz von CNNs in der Objektklassifikation sind ein Kernthema der Data Science und werden beispielsweise in den Modulen „Data Mining & Machine Learning“ sowie „Künstliche Intelligenz“ behandelt. Die KI-gestützte Bildverarbeitung stellt hohe Anforderungen an Organisation und Verarbeitung der Daten auf allen Ebenen der IoT-Verarbeitungskonzepte (Edge/Fog/Cloud). Dieses ist Kern des Moduls „Big Data Architekturen“. Die Betrachtung des gesamten Systemprozesses vom bildgebenden Sensor bis zur Cloud erfordert eine ganzheitliche Betrachtung des vollständigen Data Science Prozesses, welches im Modul „Data Science“ behandelt wird.

Verfügbare Ressourcen

• Informationen, die zur Erstellung des Szenarios benötigt werden (Systembeschreibung, Schnittstellen, Dokumentationen, relevante Kennzahlen etc.) werden von der BST Group bereitgestellt
• Die BST Group stellt umfangreiche Testdatensätze aus realen Produktionsumgebungen zur Verfügung
• Der Ansprechpartner der BST Group wird über die Projektlaufzeit zur Verfügung stehen
• Die für den prototypischen Aufbau benötigten Komponenten sowie sonstiges benötigtes Material wird von der BST Group bereitgestellt
• Hardware für das komplexere Maschine Learning ist über das Data Science, das CfADS sowie dem KI-Rechencluster yourAI der HSBI verfügbar

Projektplan
Erstes Semester: Erstellung eines Forschungsexposés als Prüfungsleistung. Einarbeitung in die das Konzept der Oberflächeninspektionssysteme von BST, die Schnittstellen der zur Verfügung gestellten intelligenten Sensoren.

Zweites Semester: Auswahl und Vergleich praxisrelevanter ML-Methoden zur Zeitreihenanalyse und – vorhersage. Zur Auswahl praxisrelevanter ML-Methoden wird die im ersten Semester durchgeführte Literaturrecherche ausgeweitet und intensiviert. Die ausgewählten ML-Methoden werden anschließend in einem Benchmarking miteinander verglichen, wobei hierfür frei zugängliche Open-Source-Zeitreihen herangezogen werden. Die Erstellung eines Papers zur Durchführung und zu den Ergebnissen des Benchmarkings ist Prüfungsleistung.

Drittes Semester: Durchführung eines PoC am realen Use-Case. Basierend auf den Ergebnissen des Benchmarkings werden eine oder mehrere ML-Methoden zur Analyse und Vorhersage von Zeitreihen ausgewählt und auf die Sensor- und Vitaldaten des Forschungsprojekts angewendet. Dabei sind geeignete Maßnahmen zur Datenvorverarbeitung und Ergebnisdarstellung zu treffen. Der PoC stellt die Durchführbarkeit der Masterarbeit sicher und wird in Form eines Papers als Prüfungsleistung für das dritte Semester gewertet.

Viertes Semester: Entwicklung, Umsetzung und Evaluation eines KI-Workflows zur Überwachung und Prävention diabetischer Folgeerkrankungen. Die im PoC eingesetzten Methoden und Verfahren werden erweitert und verbessert, wobei der Fokus auf der Zeitreihenvorhersage liegt. Ausgehend von den Ergebnissen des PoC gilt es, eine erfolgsversprechende ML-Methode eigenständig, ohne die Verwendung einer Toolbox zu implementieren und für eine erfolgreiche Überwachung und Vorhersage präventiver Maßnahmen dahingehend zu erweitern und anzupassen. Es sollen qualitative Vorteile gegenüber konkurrierender ML-Methoden herausgearbeitet (z.B. statische Modelle vs. End-To-End-Modelle) und geeignete präventive Maßnahmen aus der Zeitreihenvorhersage abgeleitet werden. Die Masterarbeit inklusive Kolloquium ist Prüfungsleistung.

Der Projektplan kann während des Projektverlaufs gemäß den Interessen der/des Studierenden adaptiert werden.

Eignungskriterien
Zwingend:

• Grundkenntnisse der Informatik
• Programmierkenntnisse in Python oder Matlab
• Teamfähigkeit und Interesse an wissenschaftlicher Arbeit
• Eigenständige Arbeitsweise

• Erfahrungen in Bereichen des ML
• Erfahrungen in Bereichen der angewandten Mathematik, Statistik (Data-Science) und der Visualisierung von Daten sowie deren Zusammenhänge

Erwerbbare Kompetenzen

• Ressourceneffiziente Informationsverarbeitung auf den verschiedenen Ebenen (Edge, Fog, Cloud) im Sinne des IoT-Verarbeitungskonzepts
• Sensornahe Informationsverarbeitung
• KI-/ML-Verfahren
• Einsatz eingebetteter Hardware zur Beschleunigung von KI-/ML-Verfahren