Entscheidungsunterstützung in Produktion und Logistik mittels Reinforcement Learning

Zur Planung von komplexen Produktions- und Logistiksystemen werden immer häufiger Simulationsmodelle eingesetzt, um die Auswirkungen von Entscheidungen (z.B. Ressourcenpläne, Produktionsprogramme, Engpassmaßnahmen) detailliert evaluieren zu können. Diese Modelle werden neuerdings mit digitalen Echtzeitabbildern der Produktions- und Logistiksysteme sogenannten „Digitalen Zwillingen“ verbunden. Dadurch können die Modelle auch in der kurzfristigen Planung und Echtzeitsteuerung eingesetzt werden. Kommt beispielsweise eine wichtige Lieferung zu spät zur Fabrik, so können die Auswirkungen mit der Simulation auf Basis der Echtzeitdaten des digitalen Zwilling ad- hoc bewertet und Gegenmaßnahmen überprüft werden.

Neben der aufwändigen Erstellung der Simulationsmodelle ist der Entscheidungsprozess bis heute im Wesentlichen manuell. Entscheidungsszenarien werden händisch im Entscheidungsunterstützungssystem erstellt, von der Simulation bewertet und dann erneut händisch angepasst.

In dem hier beschriebenen Projekt soll mittels Reinforcement Learning die Erstellung der Entscheidungsszenarien, durch eine Künstliche Intelligenz automatisiert werden. Das Verfahren des maschinellen Lernens kann hierbei die Simulation als Trainingsumgebung verwenden. Es erzeugt Eingabe und erhält durch die Simulation Feedback über deren Güte. Auf diese Weise können einerseits Entscheider durch intelligente Vorschläge unterstützt und andererseits perspektivisch weniger schwerwiegende Entscheidungen vollständig autonom getroffen werden.

Der/ die Studierende wird für ein vorgegebenes Produktions-/Logistiksystems ein Simulationsmodell mit der Simulationssoftware Siemens Plant Simulation erzeugen. Dieses Modell wird als Grundlage für die Entwicklung eines Verfahrens des Reinforcement Learning dienen, das Lernen soll für bestimmte Rahmenbedingungen optimale Entscheidungsszenarien zu generieren.

Bezug zum Thema Data Science
Verfahren des Reinforcement Learning sind ein Kernthema der Data Science und werden auch in den Veranstaltungen des Forschungsmasters behandelt.

Verfügbare Ressourcen

• Informationen, die zur Erstellung des Simulationsmodells benötigt werden (Systembeschreibung, Durchlaufzeiten, Kapazitäten, etc.) werden vom betreuenden Professor bereitgestellt
• Siemens Plant Simulation wird im Kontext des AI-Labs der HSBI bereitgestellt
• Hardware für das Reinforcement Learning ist über das Data Science Lab oder das CfADS der HSBI verfügbar

Projektplan
Erstes Semester: Formulierung des Forschungsexposees, Einarbeitung in Plant Simulation, Sammeln der notwendigen Information zur Erstellung des Simulationsmodells

Zweites Semester: Erstellung eines einfachen Simulationsmodells, Recherche zu relevanten Arbeiten in Themenfeld der Kopplung von Simulation und Maschinellem Lernen

Drittes Semester: Entwicklung von ersten Verfahrens des Maschinellen Lernens, Entwicklung einer Schnittstelle zu Plant Simulation, Auswertung erster Ergebnisse

Viertes Semester: Erstellung eines komplexen Simulationsmodells, Implementierung und Vergleich von weiteren Verfahren, Fine-Tuning und Optimierung der Verfahren, Verbesserung der Ergebnisse, Finale Evaluierung

Eignungskriterien
Zwingend: 

• Programmierkenntnisse

Optional: 

• Simulationserfahrung
• Erfahrung mit Produktions- und Logistiksysgtemen

Erwerbbare Kompetenzen

• Einsatz von Verfahren des Reinforcement Learnings
• Ereignisdiskrete Materialflusssimulation mit Plant Simulation Planung von Produktions- und Logistiksystemen