Studien sagen durch den Einsatz von Gen-KI deutliche Produktivitätssteigerungen insbesondere in Tätigkeiten von hoch qualifizierten „Wissensarbeitern“ im „White-Collar-Bereich“ voraus, die bisher aufgrund eines geringeren Standardisierungsgrades der Aufgaben im Vergleich zu „Blue-Collar-Tätigkeiten“ typischerweise nicht Gegenstand von Automatisierungsbemühungen waren [3, 4, 5].

Gen-KI wird aktuell im Unternehmenskontext vorwiegend in „Office-nahen“ Bereichen eingesetzt. Beispiele sind die Erstellung von E-Mails, Textdokumenten, Präsentationen, die Zusammenfassung von Meetings oder die Generierung von Marketinginhalten [6]. Durch die Integration von Gen-KI in die 365-Office-Umgebung von Microsoft über den „MS 365 Copilot“ und MS Teams können bereits zahlreiche Unternehmen die Funktionen generativer KI standardisiert „out-of-the-box“ nutzen [7].

Retrieval-Augmented Generation (RAG)

Aus Sicht von Unternehmen stellen Halluzinationen – das „Erfinden“ oder Verfälschen von Inhalten durch Gen-KI – ein großes Problem dar. Halluzinationen treten auf, wenn das LLM aufgrund falscher oder nicht vorhandener Trainingsdaten Inhalte „erfindet“, die nicht der Realität entsprechen. Da ein LLM typischerweise die internen Daten eines Unternehmens nicht „kennt“, weil diese nicht Inhalt der im Internet verfügbaren Trainingsdaten waren, steigt die Gefahr der Halluzinationen bei Anfragen, die spezifische Abläufe im Unternehmen betreffen. Um Halluzinationen zu vermeiden, gewinnt Retrieval-Augmented Generation (RAG) aktuell an Bedeutung. Im Rahmen von RAG werden in einem Retrieval-Prozess die Eingabe-Prompts für das LLM mit vertrauenswürdigen unternehmensinternen und externen Daten angereichert [8].

Ablauf von RAG [8]:

1. Der Nutzende gibt einen Prompt im Eingabefenster des Gen-KI-Systems ein.
2. Die Inhalte des Prompts werden im Rahmen einer semantischen Suche mit Inhalten aus internen und externen Datenbanken, Dokumenten oder Applikationen abgeglichen. Die Inhalte mit der größten semantischen Ähnlichkeit werden abgerufen und stehen nun als „Kontext“ bereit.
3. Die Nutzeranfrage wird um den bereitgestellten Kontext erweitert und an das LLM gesendet.
4. Das LLM nutzt den Kontext und kann so eine spezifischere Antwort bereitstellen, die über die reinen Trainingsdaten des LLMs hinausgeht und zudem tagesaktuelle Informationen berücksichtigt. Ein Verweis auf die genutzten Quellen ermöglicht den Nutzenden eine Validierung der Ergebnisse.

Bild 1 stellt den Ablauf grafisch dar. Als Speichermedium für unstrukturierte Daten eines Unternehmens (z. B. Word, E-Mails, PDFs) für RAG kommen vorwiegend Vektordatenbanken zum Einsatz, in denen einzelne Abschnitte der Informationen („Chunks“) in mehrdimensionalen Vektoren mit semantischen Bedeutungen abgespeichert werden. Diese Form der Abspeicherung – das „Embedding“ – ermöglicht auf Basis des Eingabeprompts die Suche nach semantisch ähnlichen Inhalten und unterscheidet sich daher deutlich von einer reinen Schlagwortsuche [9].

RAG in ERP-Systemen

Enterprise-Resource-Planning (ERP)-Systeme orchestrieren seit Jahrzehnten abteilungsübergreifende End-to-End-Prozesse und integrieren Daten in einem zentralen System. Typische Anwendungsfälle sind etwa die Abbildung der Lead-to-Order-, Order-to-Cash-, Purchase-to-Pay- oder Issue-to-Solution-Prozesse, die jeweils mehrere Abteilungen und Module der ERP-Systeme durchlaufen. Leistungsfähige ERP-Systeme wie SAP S/4 bieten schon seit einigen Jahren KI-Funktionen wie Vorhersagemodelle im Bereich der Sales- oder Produktionsplanung oder etwa zum Matching von Wareneingangspositionen zu Bestell- und Rechnungspositionen [10].

Diese breite Datenbasis bietet LLMs grundsätzlich eine reichhaltige Ressource für RAG. Vor diesem Hintergrund stellt sich die Frage, wie Daten aus ERP-Systemen im Rahmen von RAG für Gen-KI nutzbar gemacht werden können.

ERP-Systeme verwalten in Form relationaler Tabellen strukturierte Informationen von Objekten wie Materialstämme, Kunden- und Lieferantenstämme und Bewegungsdaten (z. B. Kundenaufträge, Bestellungen, Wareneingänge) [11]. Die herstellerspezifischen, teilweise „kryptischen“ Bezeichnungen von Tabellen und Feldern in ERP-Systemen sind für LLMs nicht intuitiv verständlich, auch wenn grundsätzliche Strukturen bekannter ERP-Anbieter wie SAP in den Trainingsdaten führender LLMs wie GPT (Open AI), Llama (Meta) oder Claude (Antrophic) enthalten sind. Spätestens jedoch dann, wenn durch unternehmensspezifische Anpassungen der ERP-Systeme unternehmensspezifische Tabellen oder Feldbezeichnungen angepasst oder ergänzt werden, hat ein LLM Schwierigkeiten mit dem Verständnis der Inhalte. LLMs sind zudem typischerweise auf die Verarbeitung von natürlicher Sprache trainiert und daher nur begrenzt in der Lage, mit Informationen in Tabellenform umzugehen [12].

Die strukturierten Daten in ERP-Systemen werden im Arbeitsalltag häufig mit unstrukturierten Daten aus Dokumentenmanagementsystemen oder Office-Dokumenten verknüpft. Beispiele sind etwa Materialspezifikationen und Lieferantenangebote zu einem Bestellvorgang. Häufig sind diese ergänzenden unstrukturierten Daten notwendig, um einen Geschäftsvorfall inhaltlich zu „verstehen“.
Ein aktuell vielfach diskutierter Ansatz, um strukturierte und unstrukturierte Daten einem LLM als Kontext für RAG aufzubereiten, sind Knowledge-Graphen. Knowledge-Graphen ermöglichen es in diesem als „Graph RAG“ bezeichneten Verfahren, die oben genannten strukturierten und unstrukturierten Objekte als Entitäten mit Attributen sowie deren Beziehungen untereinander als Kanten explizit zu modellieren. Die Extraktion der Knowledge-Graphen in Textform kann dann als Kontext im RAG-Ablauf bereitgestellt werden [13, 14].