Zukunftssichere und vertrauenswürdige KI-Systeme entwickeln und betreiben – wie ist das möglich? Compound AI Systeme als potenzielle Lösung für eine nachhaltige KI-Integration.
Dieser Artikel ist im August 2024 als Gastbeitrag in den Themendossiers der Versicherungsforen Leipzig erschienen.
Generative KI (GenAI) findet immer mehr Anwendung, sowohl im privaten als auch im beruflichen Kontext. Die Ergebnisse basieren häufig auf Large Language Models (LLMs), die immense Datenmengen für das Training benötigen und dazu auf eine enorm leistungsstarke Infrastruktur angewiesen sind.
Versicherer sind nicht zuletzt aufgrund regulatorischer Anforderungen darauf bedacht, ihre (Kunden-)Daten besonders zu schützen. Die neue EU-Verordnung DORA ist nur ein weiterer Schritt der EU zur Stärkung der IT-Sicherheit aufgrund der immer komplexeren Cyberangriffe auf Finanzunternehmen. Außerdem spielt das Vertrauen in die Ergebnisse bei der Nutzung von KI-Anwendungen eine wichtige Rolle und die eingesetzten Technologien sollten nachhaltig und zukunftssicher aufgestellt sein.
Dieser Beitrag rückt in den Fokus, wie Versicherer diese Herausforderungen mit einem passenden Design ihres KI-Anwendungsfalls angehen und lösen können.
Was ist ein Compound AI System?
Die Nutzung von Ergebnissen eines LLMs birgt Risiken, da sich die Trainingsdaten des Modells unvorhergesehen auf dessen Antworten auswirken können. Daher hat sich Retrieval Augmented Generation (RAG) etabliert. Es werden die nötigen Informationen als zusätzlicher Kontext bei der Ergebnisgenerierung mitgegeben, anstatt im Modell-Training. So reduziert RAG den Anpassungsaufwand und erhöht die Ausgabequalität.
RAG-Systeme sind dabei Teil eines neuen Trends, den sogenannten Compound AI Systems (CAS). Die Idee des CAS beruht auf einem modularen Ansatz, mit dem Ziel, miteinander integrierte und kommunizierende Komponenten zur Lösung eines spezifischen KI-Anwendungsfalls zu verwenden. In einem solchen System ist jede Komponente für den Aspekt zuständig, für den sie sich am besten eignet. Der Fokus geht weg von der Optimierung umfassender Modelle, die das Gesamtproblem lösen, hin zu LLMs als Teil eines Systems zur Lösung des Anwendungsfalls. Im System löst jede Komponente ein Teilproblem und liefert so einen wertvollen Beitrag zur Lösung des komplexen Problems. Die Komponenten können KI-Modelle – klassische und generative – oder andere Anwendungen sein, die über Schnittstellen verbunden sind und zusammen das CAS bilden.
Vorteile der Modularität:
Die Qualität der Ergebnisse eines CAS lässt sich einfacher und gezielter verbessern, da die Verbesserung in den Komponenten erfolgt.
CAS sind (z. B. als einfaches RAG) dynamisch. Warum? Sie können aktuelle Daten über Komponenten integrieren.
CAS bieten eine hohe Transparenz hinsichtlich der Ergebnis-Erstellung, wodurch die Qualitätssicherung vereinfacht wird, da z. B. Zwischenergebnisse der einzelnen Komponenten betrachtet werden können.
Doch es existieren auch Nachteile: Der Anwendungsfall muss in passende Teilprobleme zerlegt und die entsprechenden Komponenten müssen entwickelt und integriert werden. Mit jeder zusätzlichen Komponente entstehen zudem zusätzliche Schnittstellen, die die Komplexität erhöhen und sich somit negativ auf Fehlerpotenzial und Testaufwand auswirken können.
Datenschutz & regulatorische Anforderungen
Die Anforderungen an Datenschutz und Datennutzung hängen von der Art der Daten ab. Die strengsten Regularien gelten für besonders schützenswerte personenbezogene Daten. Die leistungsfähigsten LLMs sind oft nur über Hyperscaler verfügbar und nicht frei zugänglich. Um davon zu profitieren, müssen Unternehmen ihre Datenhoheit abgeben – für Anwendungsfälle mit personenbezogenen Daten eine Herausforderung.
Ein Lösungsansatz ist der interne Betrieb lokaler Sprachmodelle. Im eigenen Rechenzentrum ist dies teuer und aufwendig. Neue Ansätze ermöglichen es, auch kleinere und offene Modelle für spezifische Anwendungsfälle zu nutzen. Ein CAS kann dabei unterstützen, optimale Ergebnisse unter Wahrung von Compliance-Anforderungen zu erzielen, da durch die Modularität Datenzugriffe in den einzelnen Komponenten gezielt gesteuert werden können.
Vertrauen schaffen
Das Geschäftsmodell der Versicherer ist die Risikodiversifikation eines individuellen Risikos auf ein Kollektiv und damit der Verkauf von Sicherheit. Kunden haben ein besonderes Vertrauensbedürfnis in den Versicherer und seine fehlerfreie Arbeit.
Fehler zu machen, liegt in der Natur von LLMs – wie damit umgehen?
Ein CAS bietet verschiedene Möglichkeiten, die Belastbarkeit der Ergebnisse zu erhöhen, z. B. RAG-Systeme. Durch die Kombination von LLMs mit ergänzenden Datenquellen können sie Ausgaben erzeugen, die spezifischer und so korrekter sind. Weitere Komponenten, z. B. automatisierte Filter, können das Fehlerrisiko reduzieren. Auch menschliches Feedback kann als Komponente in ein CAS integriert werden.
Zukunftssicherheit
Die rasante Entwicklung von LLMs und generativer KI erschwert es, zukunftssichere Systeme zu entwerfen. Zur Lösung dieser Herausforderung ist es entscheidend, das System durch ein durchdachtes Design möglichst flexibel zu gestalten.
Hyperscaler wie Microsoft und Google bieten fertige, aber geschlossene CAS als Komplettlösungen an. Das heißt, die Komponenten dieser Systeme sind zur einfachen Nutzung hinter Schnittstellen der Anbieter verborgen. Der Vorteil: eine schnelle und einfache Implementierung. Jedoch verstärkt das die Abhängigkeit vom Anbieter und verringert die Flexibilität, jede Komponente einzeln zu steuern.
Alternativ kann ein eigenes CAS aufgebaut werden. Es bietet vollständige Flexibilität, da jede Komponente einzeln ausgewählt wird. Der Ansatz erleichtert es, technologische Innovationen schnell zu integrieren. Aber: Der Aufwand für die initiale Entwicklung und für Aktualisierungen ist höher als die Verwendung einer vorgefertigten Lösung.
Anwendungsbeispiel
Ein Chatbot soll über die Homepage eines Versicherers für den Versicherungsnehmer erreichbar sein und Fragen zu dessen Verträgen u. Ä. beantworten. Es wird gezeigt, wie – ausgehend von einem einfachen LLM – Qualität und Sicherheit des Chatbots durch die Verwendung eines CAS erhöht werden.
In der initialen Variante werden die Fragen direkt von einem LLM beantwortet. Das LLM verfügt nicht über die Informationen der Verträge des Versicherungsunternehmens, sodass die Antworten nur allgemein sind. Die Fragen des VNs können nicht ausreichend beantwortet werden.
Daher wird das System um eine Komponente erweitert, die dem LLM diese Informationen als Kontext aus einer Vektordatenbank liefert. Es besteht die Möglichkeit, abzuwägen, ob die Vektordatenbank als Service oder in der eigenen Infrastruktur bereitgestellt wird.
In der dritten Variante werden zur weiteren Qualitätssicherung über die Komponente „Check“ manuelle Stichprobenkontrollen der Chat-Extrakte an Service-Mitarbeitende ausgelöst. Die Resultate fließen dann in die Optimierung des Systems ein.
So wird durch die Ergänzung von nur zwei Komponenten aus einem fehleranfälligen Chatbot ohne spezifisches Wissen ein vertrauenswürdiger Assistent, der auch individuelle Fragen sicher beantwortet.
Fazit und Ausblick
Ein Compound AI System bietet eine neue Möglichkeit, die Grenzen einzelner LLMs durch die geschickte Integration weiterer Komponenten auszuweiten. So kann auch hohen Anforderungen bzgl. Datenschutz und Sicherheit Rechnung getragen werden.
Bei der Implementierung eines CAS ist es wichtig, die Architektur auf den Anwendungsfall abzustimmen und die erforderliche Flexibilität der einzelnen Komponenten zu berücksichtigen, um ein zukunftssicheres System zu schaffen.
Darüber hinaus ermöglicht die Integration einer qualitätssichernden Instanz (z. B. über die Humanin-the-Loop-Komponente) in einem CAS, das Vertrauen in die Ergebnisse zu erhöhen und die Qualität der Ergebnisse nachhaltig sicherzustellen.
Kommen wir ins Gespräch
Niklas Lümmen
Business Owner AI
Informationsfabrik PART OF X1F
Dr. Leschek Homann
Cluster Lead AI
Informationsfabrik PART OF X1F
