Maschinelle Intelligenz für die Erkennung von Anomalien, sowie die Prädiktion von Interaktionen, anhand von Bewegungsinformationen im Smart Home

Die Digitalisierung dringt in immer weitere Lebensbereiche vor, und die damit verbundene Vernetzung von vielfältigen Komponenten des täglichen Umfelds führt zu einer Situation, in der ein stetig höherer Anspruch an die alltägliche Technik gestellt wird. Die Systeme sollen smarter werden, automatisiert und eigenständig handeln. Im Idealfall antizipiert die Technik die Bedürfnisse des Menschen und eine Korrektur durch diesen ist nicht mehr nötig. Bedarfsgerechte Mensch-Technik-Interaktion erfordert die Anpassung des Intelligenten Technischen Systems (ITS) an den Nutzungskontext und nicht umgekehrt. Voraussetzung für eine intuitive Interaktion ist daher zuallererst die sichere Erkennung des Nut zungskontextes, d.h. wo befindet sich der Nutzer und welche Handlung führt er gerade durch. Das Wissen über regelmäßig auftretende Interaktionsmuster ermöglicht es dem ITS zukünftige Interaktionen vorherzusagen und Assistenzfunktionen prädiktiv zu steuern. Bildgebende Sensorik (z.B. Kameras, hochauflösende Time-Of-Flight-Sensoren) ermöglichen durch Personen-, Objekt-, Gesten- oder gar Gesichtserkennung eine leistungsfähige Erkennung des Handlungskontextes, bringen aber die Problematik der Erfassung personenbezogener Daten mit sich. Gerade im privaten häuslichen Umfeld, aber auch in Bürogebäuden oder der Produktion kann dies aus datenschutzrechtlichen Gründen unerwünscht sein.

Minimalsensorik, wie z.B. Bewegungs- oder Präsenzmelder erzeugen nicht unmittelbar personenbezogene Daten, sondern erfassen nur punktuelle Informationen über die Anwesenheit von Personen oder Objekten in einem räumlich eingeschränkten Bereich. Für eine umfassende Erfassung des Nutzungskontextes verspricht die Kombination einer Vielzahl von einfachen Sensoren eine ausreichende Erfassung des Nutzungskontextes bei gleichzeitiger Wahrung der Privatsphäre. Ist für eine Assistenzfunktion komplexere Sensorik notwendig (z.B. für eine Sprach- oder Gestenerkennung), dann braucht sie nur (und auch nur genau dann) aktiviert zu werden, wenn die Nutzung des Assistenzsystems zumindest absehbar ist. Die kontinuierliche Erfassung des Nutzungskontextes ermöglicht aber auch das Lernen von regelmäßigen Handlungsmustern. Aus diesen gelernten Handlungsmustern kann das ITS eine zukünftige zu erwartende Interaktion ableiten und Empfehlungen für die Aktivierung von Assistenzfunk tionen geben bzw. diese vorbereiten (Prädiktive Steuerung). Darüber hinaus lassen sich aber auch Abweichungen vom potenziellen Regelzustand (Anomalien) erkennen und geeignet darauf reagieren.

Die Ableitung von Handlungsempfehlungen durch das ITS kann in einfachster Implementierung regelbasiert erfolgen (z.B. „Wenn der Bewegungsmelder im Flur aktiviert wird, dann soll das Licht angeschaltet werden“). In Systemen mit einer hohen Anzahl an Sensoren ist dieses aber sehr aufwendig, nicht flexibel anpassbar und schlecht auf wachsende Umgebungen skalierbar. Darüber hinaus liefern verschiedene Sensoren unterschiedlich abstrakte Informationen (z.B. lokale Bewegung (PIR, Ultraschall) oder Bewegung über mehrere Räume hinweg (HF/Mikrowellen), binär „an/aus“ oder Entfernungen) oder gar komplexere Informationen kamerabasierter Systeme (z.B. Anzahl erkannter Personen/Haustiere/Objekte (Staubsaugerroboter/Transportplattform)). Daher gilt es die unterschiedlichen Informationen zu abstrahieren, ggf. zu anonymisieren und in einem ganzheitlichen Ansatz zum Lernen des Nutzungskontextes, zum Abschätzen zukünftiger Interaktion und zum Erkennen von Anomalien zu nutzen. Wissenschaftliche Herausforderung des Projekts ist daher die Anwendung und Evaluation von maschinellen Lernverfahren zum Lernen von Interaktionsmustern basierend auf den gelieferten Daten der Minimalsensorik, sowie der Prädiktion zukünftiger Interaktion und der Anomalieerkennung.

Der/die Studierende soll in diesem Projekt ein ITS entwickeln, das mittels maschinellen Lernverfahren das Nutzungsverhalten der/des Bewohner/s eines Smart Homes erlernt, um anschließend, anhand der Echtzeitdaten, geeignete Handlungsempfehlungen bereitzustellen oder, bei der Erkennung von Anomalien, geeignete Maßnahmen einzuleiten. Die Ausarbeitung des konkreten Anwendungsszenarios, zusammen mit dem Team des KogniHome e.V., ist Teil des Projekts.
Zur Veranschaulichung soll folgendes Szenario beschrieben werden: Sabine (74) steht jeden morgen zwischen 7 und 8 Uhr auf, geht auf die Toilette und macht sich danach einen Kaffee. In diesem Handlungsablauf sind drei Aktivitäten zu erkennen: Aufstehen, auf Toilette gehen, Kaffee kochen. In jeder dieser Aktivitäten kann es jetzt zu Handlungsempfehlungen bzw. Anomalien kommen. Beispielsweise könnte das ITS den Gang zur Toilette durch geeignete Beleuchtung vorbereiten, oder bereits die Kaffeemaschine anschalten. Gleichzeitig überwacht das ITS die Aktivitäten und erkennt Abweichungen vom gewohnten Verhalten. Stürzt Sabine z.B. auf dem Weg zur Toilette und steht nicht wieder eigenständig auf, so soll das ITS dies erkennen und z.B. den Notruf oder die Pflegestelle verständigen.

Bezug zum Thema Data Science  
Die Evaluation und Anwendung von KI-/ML-Verfahren zur Zustandsüberwachung und Prädiktion sind ein Kernthema der Data Science und werden beispielsweise in den Modulen „Data Mining & Machine Learning“ sowie „Künstliche Intelligenz“ behandelt. Die Aufnahme hochaufgelöster Messdaten (z.B. Verbrauchsdaten) von einer Vielzahl an Sensoren in komplexen Wohnumgebungen stellt hohe Anforderungen an Organisation und Verarbeitung der Daten. Dieses ist Kern des Moduls „Big Data Architekturen“.

Verfügbare Ressourcen

• Informationen, die zur Erstellung des Szenarios benötigt werden (Systembeschreibung, logistische Abläufe, relevante Kennzahlen) werden vom KogniHome e.V. bereitgestellt
• Es besteht Zugriff auf die Forschungswohnung des KogniHome e.V.
• Über die Forschungswohnung des KogniHome e.V. stehen umfangreiche Testdatensätze zur Verfügung. Weiterhin besteht über das Vereinsmitglied Smarthome Partner GmbH Zugriff auf eine Vielzahl an Smart Home Kundeninstallationen, über die anonymisierte Datensätze erzeugt werden können.
• Der Ansprechpartner im KogniHome e.V. wird über die Projektlaufzeit zur Verfügung stehen
• Benötigte Materialien werden vom KogniHome e.V. bereitgestellt
• Hardware für das komplexere Maschine Learning ist über das Data Science Lab, das CfADS sowie dem KI-Rechencluster yourAI der HSBI verfügbar

Projektplan
Erstes Semester: Erstellung eines Forschungsexposés als Prüfungsleistung. Einarbeitung in die Konzepte und Strukturen (IoT-Software, Smart Home Protokolle, Schnittstellen etc.) der Forschungswohnung des KogniHome e.V.

Zweites Semester: Erstellung des Systemkonzepts zur Anomalieerkennung zur prädiktiven Steuerung von Assistenzsystemen. Recherche zu relevanten Arbeiten im Themenfeld des Einsatzes von KI-/ML- Verfahren für das Lernen von Ereignissequenzen und für die Anomalieerkennung. Erstellung eines Papers, das einen Überblick über das jeweilige Forschungsgebiet gibt, als Prüfungsleistung.

Drittes Semester: Praktische Umsetzung verschiedenster maschinellen Lernverfahren im Bereich des unüberwachten und des (semi-)überwachten Lernens zur Optimierung einer automatisierten Interaktion von Mensch und Maschine, sowie deren Evaluation.

Viertes Semester: Masterarbeit und Kolloquium. Finale Evaluierung durch Vergleich der implementierten Strategien. Erstellung eines Papers mit ersten quantitativen Ergebnissen als Prüfungsleistung.

Eignungskriterien
Zwingend:

• Programmierkenntnisse 

• Erfahrung in der Elektronikentwicklung
• Erfahrung im Bereich Smart Home Technologien/IoT-Geräten
• Programmierung von Mikrocontrollern

Erwerbbare Kompetenzen

• Ressourceneffiziente Informationsverarbeitung auf den verschiedenen Ebenen (Edge, Fog, Cloud) im Sinne des IoT-Verarbeitungskonzepts
• Sensornahe Informationsverarbeitung
• KI-/ML-Verfahren
• Einsatz eingebetteter Hardware zur Beschleunigung von KI-/ML-Verfahren