Fraunhofer-Institut für Materialfluss und Logistik IML
Basierend auf Large-Language-Modellen (LLM) entwickelt die Verkehrslogistik den personalisierten Chat-Assistenten LoOmni-Chat. Das hilft nicht nur der Digitalisierung im Unternehmen, sondern ermöglicht Effizienzsteigerung im Bereich von Routineanfragen, verbessert das Wissensmanagement und die Kundenzufriedenheit. Ein Konsortium, bestehend aus Transportdienstleistern und Verladern begleitet die Entwicklung.
Open-Source LLMs wie die LLaMa-Modelle von Meta konnten in vielen Fällen ihre Konkurrenzfähigkeit zu proprietären Modellen wie ChatGPT beweisen. Die Tatsache, dass die Trainingsgewichte öffentlich verfügbar sind, erlaubt es diese Modelle mittels Finetuning anzupassen. Diese Technik wird genutzt, um einem Allrounder-Modell spezifisches Wissen zu vermitteln. Für LoOmni-Chat wird den Modellen ein tiefes Verständnis für logistische Abläufe beigebracht. Das befähigt den Assistenten sowohl Fragen als auch Daten mit Logistikbezug besser zu verstehen.
Die eigentliche Personalisierung, also die Anpassung an ein spezifisches Unternehmen, erfolgt im Anschluss. Dabei wird firmeninternes Wissen aufbereitet, in KI-geeignete Datenbanken integriert und dem Assistenten bereitgestellt. Auf Anfrage kann der Assistent dieses Wissen im Dialog abrufen und zur Formulierung passender Antworten nutzen. Da LLMs auch mit heterogenen und unstrukturierten Daten zurechtkommen, gibt es im Unternehmen viele mögliche Quellen. Diese können aus Kommunikation zu ERP, WMS oder TMS stammen, oder aber aus Systemen zum internen Wissensmanagement (z. B. Confluence) oder aus Dateiablagen (Word, PowerPoint, Excel…) stammen. Ein User-Rollenkonzept bietet die Möglichkeit, dass dem Assistenten nur die jeweils für den Benutzer relevanten Daten bei der Beantwortung der Fragen zur Verfügung stehen.
Ein großer Vorteil dieses Ansatzes ist, dass sowohl die trainierten Modelle als auch das firmeninterne Wissen nicht in externen Daten-Clouds gespeichert oder betrieben werden müssen. Alle Modelle verbleiben im Rechenzentrum des IML in Dortmund.
Als langfristiges Ziel plant das Konsortium die Einbettung von sogenannten Function Calls. Dadurch kann der Assistent auch steuernd auf andere Systeme (wie z. B. auf Transport-Management-Systeme) eingreifen. Interessierte sind weiterhin dazu aufgerufen mitzumachen.