Die Notwendigkeit, Retrieval Augmented Generation (RAG) selbst zu hosten
Wie kann man RAG selbst hosten? Allein im letzten Monat haben wir drei solcher Anfragen von deutschen Unternehmen erhalten. Dieses wachsende Interesse verdeutlicht einen wichtigen Wandel in Richtung Datenschutz und betriebliche Effizienz.
Immer mehr Unternehmen wollen große Sprachmodelle (LLMs) wie ChatGPT mit ihren internen Geschäftsdaten nutzen. Aber wie können sie dies tun und gleichzeitig die Kontrolle über ihre sensiblen Informationen behalten?
Wir haben einen eleganten Ansatz entwickelt: die Nutzung der Cloud-Infrastruktur als Blaupause für Vor-Ort-Konfigurationen. Eine Strategie, die Risiken minimiert und Ressourcen optimiert.
Das Potenzial
Stellen Sie sich vor, das interne Chat-System Ihres Unternehmens kann Mitarbeitern präzise Antworten auf Fragen zu Richtlinien geben. Oder erweitern Sie Ihr Kundensupport-Team mit KI-gesteuertem First-Level-Support. Unternehmen, die RAG zur Lead-Vorbereitung und Dokumentenerstellung einsetzen, steigern Effizienz und Zufriedenheit.
Erschließen Sie Ihre sensibelsten Geschäftsdaten mit KI
Der Cloud Blueprint: Ein strategischer Ansatz
Wenn man selbst Retrieval-Augmented-Generation-Pipelines hostet, braucht man eine starke Rechenleistung. Das bedeutet oft, dass Unternehmen teure Hardware im Bereich von Zehntausenden von Dollar kaufen müssen. Konkret handelt es sich um Grafikkarten wie NVIDIA H100s. Das sind hohe Vorlaufkosten.
Lösung
Bevor Sie RAG selbst hosten, stellen Sie zunächst das Setup in der Cloud bereit und testen Sie es mit weniger sensiblen Daten. Auf diese Weise können Unternehmen ihre KI-Lösung testen und verfeinern. Der cloudbasierte Pilot dient als Blaupause, die später vor Ort gespiegelt werden kann. Wir verwenden hochsensible Daten erst dann, wenn wir von ihrer Wirksamkeit überzeugt sind. Dieser Ansatz verringert die finanziellen Risiken, da das Unternehmen die gleichen Grafikprozessoren kaufen kann, die auch in der Cloud verwendet werden. Außerdem werden der Datenschutz und ein effizienter Ansatz gewährleistet.
Schlüsselkomponenten eines selbst gehosteten Retrieval-Augmented-Generation-Systems
Um erfolgreich RAG selbst hosten zu können, müssen die Unternehmen mehrere wichtige Komponenten verwalten:
- Großes Sprachmodell: Dies ist das Herzstück des Systems, das natürlichsprachliche Anfragen verarbeitet und Antworten generiert (z.B. LLama 3.3 70b).
- Embeddingmodell: Wesentlich für die Umwandlung von Text in numerische Darstellungen, die eine effiziente Datenabfrage ermöglichen (z. B. Nomic Embed Text v1.5)
- Vektorspeicher: Eine Datenbank, die diese Einbettungen speichert und abruft und einen schnellen Zugriff auf relevante Informationen gewährleistet (z. B. Weaviate).
Unternehmen behalten die volle Kontrolle über ihre Daten, indem sie diese Komponenten selbst hosten. Die Unternehmen können die Datenschutzbestimmungen einhalten und gleichzeitig das volle Potenzial der KI ausschöpfen.
Risikominimierung mit dem Cloud Blueprint
Der Cloud Blueprint-Ansatz bietet mehrere Vorteile:
- Kosteneffizienz: Die Vorabinvestition in teure Hardware entfällt. Wir können das System in einer flexiblen, skalierbaren Cloud-Umgebung testen.
- Datenschutz: Ermöglicht es Unternehmen, sensible Daten stets auf ihrem internen System zu halten.
- Anpassung: Bietet eine maßgeschneiderte Lösung, die auf die individuellen Bedürfnisse jedes Unternehmens zugeschnitten ist. Wir sind in der Lage, sie im Laufe der Zeit anzupassen und zu optimieren.
Schritte zur Implementierung des Cloud Blueprint-Ansatzes
- Cloud-Pilot-Einrichtung: Beginnen Sie mit der Bereitstellung Ihres RAG-Systems in der Cloud und konzentrieren Sie sich dabei auf nicht sensible Daten, um die Einhaltung der Vorschriften sicherzustellen.
- Evaluieren und verfeinern: Nutzen Sie die Cloud-Umgebung, um die Systemleistung zu testen. Nehmen Sie notwendige Anpassungen vor, um Ihre betrieblichen Anforderungen zu erfüllen.
- Erstellung eines Blueprints: Dokumentieren Sie die Cloud-Einrichtung und erstellen Sie ein detailliertes Blueprint, das vor Ort gespiegelt werden kann.
- Vor-Ort-Übergang: Sobald Sie mit dem Cloud-Pilotprojekt zufrieden sind, replizieren Sie die Einrichtung auf Ihrer internen Infrastruktur. Das Ergebnis ist, dass alle Komponenten vor Ort selbst gehostet werden.
- Kontinuierliche Optimierung: Reaktivieren Sie Ihre Cloud-Einrichtung, um sie zu verbessern und zukünftige Anwendungsfälle hinzuzufügen, indem Sie sie erneut als Blaupause verwenden.
Über Dentro
Wir von Dentro begleiten Unternehmen durch diesen innovativen Prozess. Wir liefern schnelle und greifbare Ergebnisse. Durch die Anwendung des Cloud Blueprint-Ansatzes können Unternehmen RAG nutzen und gleichzeitig das Risiko minimieren. Setzen Sie sich mit uns in Verbindung, um herauszufinden, wie wir Ihnen helfen können, auf Ihre Bedürfnisse zugeschnittene Retrieval Augmented Generation-Systeme selbst zu hosten.