Generative Künstliche Intelligenz (GenAI) und Large Language Models (LLMs) haben bei Banken und Versicherungen besonders schnell an Bedeutung gewonnen. Viele Unternehmen nutzen Retrieval Augmented Generation Lösungen (RAG) für ihr Wissensmanagement oder erstellen Chatbots für Kunden. Doch wie können Unternehmen diese Technologien sicher und produktiv einsetzen? Wie sind Fehler der Systeme zu vermeiden? Um kritische KI-Systeme mit geringer Fehlertoleranz zu betreiben, braucht es neben LLMs zusätzliche Komponenten.
Die Grenzen von LLMs
Was es mit Fehlertoleranz und Halluzinationen auf sich hat
LLMs beeindrucken durch ihre Fähigkeit, menschliche Sprache zu verstehen und zu generieren.
Doch es gibt auch Nachteile: Sie neigen bisweilen zu sogenannten Halluzinationen, das heißt, sie erfinden Fakten oder liefern ungenaue Informationen. Dazu ein Beispiel: Ein User möchte die gesundheitlichen Vorteile einer bestimmten Pflanze in Erfahrung bringen und das Modell zählt etliche positive Effekte auf – diese sind jedoch nicht belegt oder stellen unter Umständen eine Gefahr dar. In kritischen Anwendungsbereichen kann dies schwerwiegende Folgen haben, da Kunden Falschinformationen erhalten oder fehlerhafte Entscheidungsgrundlagen zu nachteiligen Entscheidungen führen.
Transparenz und Erklärbarkeit
LLMs agieren oft als „Black Boxes“. Es ist dann schwierig, nachzuvollziehen, wie sie zu bestimmten Antworten gelangen. Diese Intransparenz beeinträchtigt die Einhaltung von Compliance-Richtlinien und stellt ein Hindernis bei Audits dar, insbesondere in regulierten Branchen wie dem Finanz- und Versicherungssektor.
Kontextbezogene Einschränkungen
Aktuelles oder unternehmensspezifisches Wissen ist sehr wichtig. Aber ohne zusätzliche Datenintegration können LLMs Probleme haben, es zu nutzen. Denn die Modelle basieren auf statischen Trainingsdaten und sind daher nicht immer auf dem neuesten Stand – was zu veralteten oder irrelevanten Antworten führen kann.
Datenschutzbedenken
Was ist mit sensiblen Daten? Der Umgang damit gestaltet sich kritisch. LLMs könnten unbeabsichtigt vertrauliche Informationen preisgeben oder gegen Datenschutzrichtlinien verstoßen. Das stellt ein ganz erhebliches Risiko für Unternehmen dar, die strengen regulatorischen Anforderungen unterliegen.
Was sind Compound AI Systems?
Vorteile von Compound AI Systems
- Verbesserte Fehlerkontrolle: Durch die Integration von Validierungs- und Überprüfungskomponenten lassen sich Fehler deutlich reduzieren – für eine bessere Qualität.
- Erhöhte Transparenz und Nachvollziehbarkeit: Es besteht die Möglichkeit, Zwischenresultate zu analysieren und Entscheidungen nachzuvollziehen, was die Compliance erleichtert.
- Anpassungsfähigkeit: Domänenspezifisches Wissen und aktuelle Datenquellen einbinden? Geht das? Auf jeden Fall. Das steigert die Relevanz und Aktualität der Ergebnisse.
- Datenschutz und Compliance: Unternehmen profitieren von einem gezielt gesteuerten Datenzugriff, den Compound AI Systems bieten – denn so lassen sich Datenschutzrichtlinien einhalten.
Warum komponentenbasiertes Denken sinnvoll ist
Architektur und Prozessgestaltung
Es ist praktisch, komplexe Probleme in spezialisierte Teilaufgaben zu zerlegen – das ermöglicht eine effiziente Entwicklung und Wartung. Klare Schnittstellen zwischen den Komponenten erleichtern die Integration und fördern die Wiederverwendbarkeit von Modulen.
Ein Beispiel: Retrieval Augmented Generation (RAG)
RAG ist ein frühes Beispiel für ein KI-Komponentensystem. Es kombiniert LLMs mit externen Datenquellen, um aktuelle und relevante Informationen bereitzustellen. Dadurch erhält man präzisere Ausgaben – gleichzeitig sinkt die Wahrscheinlichkeit von Halluzinationen.
Anwendungsbeispiel: Wie Chatbots durch Compound AI Systems verbessert werden
Ausgangssituation
Ein Versicherungsunternehmen nutzt einen einfachen Chatbot, der ausschließlich auf einem LLM basiert. Dieser liefert oft ungenaue Antworten und kann Kundenanfragen nicht personalisiert bearbeiten.
Eine schrittweise Optimierung ist der Weg zum Ziel – indem man
-
- eine Vektor-Datenbank integriert: Durch die Anbindung einer Datenbank mit unternehmensspezifischen Informationen kann der Chatbot genaue und personalisierte Antworten liefern.
- eine Fehlerkontrollkomponente einführt: Automatisierte Filter prüfen die Ausgaben des LLMs auf Konsistenz und Richtigkeit, was die Fehlerquote reduziert.
- menschliche Expertise einbindet (Human-in-the-Loop): Fachkräfte validieren kritische Antworten und geben Feedback, das zur kontinuierlichen Verbesserung des Systems genutzt wird.
Das führt zu besseren Ergebnissen, weil
- die Antwortqualität steigt: Kunden erhalten präzise und relevante Informationen.
- die Kunden zufriedener sind: Durch zuverlässige Antworten steigt das Vertrauen in den Chatbot und das Unternehmen.
- Risiken minimiert werden: Potenzielle falsche Antworten werden frühzeitig erkannt und korrigiert.
Welche Herausforderungen und Lösungen gibt es, wenn Compound AI Systems implementiert werden?
Zerlegung des Anwendungsfalls
Es ist essenziell, den Anwendungsfall in klare Teilaufgaben zu zerlegen und für jede passende Komponenten zu wählen – dabei geht es z. B. um Datenbeschaffung, Verarbeitung und Validierung.
Komplexität und Interoperabilität
Die Integration mehrerer Komponenten erhöht die Systemkomplexität. Hier kann der Einsatz standardisierter Protokolle und Schnittstellen die Kommunikation zwischen den Modulen effizient gestalten.
MLOps und Betrieb
Angepasste MLOps-Strategien sind notwendig, um den Betrieb und die Wartung der modularen Systeme zu gewährleisten. Kontinuierliches Monitoring stellt sicher, dass jedes Modul optimal funktioniert.
Welche besonderen Anforderungen existieren in der Banken- und Versicherungsbranche?
Datenschutz und regulatorische Anforderungen
Gerade Versicherungsunternehmen müssen strenge Datenschutzgesetze wie die EU-Verordnung DORA einhalten. Compound AI Systems – auch KI-Komponentensysteme genannt – ermöglichen eine gezielte Kontrolle des Datenflusses und unterstützen so die Compliance.
Vertrauen und Zuverlässigkeit
Kunden erwarten korrekte und vertrauenswürdige Informationen. Zusätzliche Validierungsmechanismen in Compound AI Systems reduzieren Fehler auf ein Minimum, was gleichzeitig das Kundenvertrauen stärkt.
Zukunftssicherheit
Die Technologie entwickelt sich rasant weiter. Dank ihrer Flexibilität ermöglichen Compound AI Systems die einfache Integration neuer Technologien und bieten so langfristige Investitionssicherheit.
Fazit
Um LLMs und GenAI produktiv und sicher zu nutzen, sind Compound AI Systems unerlässlich. Sie adressieren die Grenzen von LLMs und ermöglichen die Entwicklung sicherer, effizienter und zukunftsfähiger KI-Anwendungen. Unternehmen, die frühzeitig auf diesen modularen Ansatz setzen, sichern sich entscheidende Wettbewerbsvorteile.
Optimiere jetzt Deine KI-Anwendungen durch den Einsatz von KI-Komponentensystemen und bleibe der Konkurrenz einen Schritt voraus.
Kommen wir ins Gespräch

Thomas Löchte
Informationsfabrik PART OF X1F

Dr. Leschek Homann
Informationsfabrik PART OF X1F