RAG PDF Dokumente – Übersicht

In der heutigen digitalen Arbeitswelt ist der Bedarf an effizienter Informationsbeschaffung von zentraler Bedeutung. Mitarbeiter sehen sich oft mit unzureichenden Suchsystemen konfrontiert, was zu Frustration und Produktivitätsverlusten führt. Eine aktuelle Studie zeigt, dass 79 % der Angestellten mit den Benutzeroberflächen herkömmlicher Enterprise-Suchsysteme unzufrieden sind.
Um dieser Herausforderung zu begegnen, haben sich künstliche Intelligenz (KI)-basierte Gesprächsagenten und Large Language Models (LLMs) als vielversprechende Lösung herauskristallisiert. Diese intelligenten Assistenten ermöglichen eine natürlichsprachliche Interaktion und bieten maßgeschneiderte Antworten, die traditionelle Systeme überwinden. Insbesondere im Unternehmenskontext ist diese Entwicklung wichtig, da Mitarbeiter schnell und unkompliziert auf interne Daten zugreifen können, beispielsweise bei der Bearbeitung von Verträgen oder komplexen Anforderungen.
Allerdings neigen LLMs ohne zusätzliche Unterstützung dazu, Fakten zu erfinden oder veraltete Informationen wiederzugeben, ein Phänomen, das als "Halluzination" bekannt ist. Um dieses Problem zu adressieren, hat sich der Ansatz "Retrieval-Augmented Generation (RAG)" etabliert. RAG kombiniert die Stärke generativer Modelle mit externem Wissen aus strukturierten Datenbanken und sorgt so für zuverlässigere Antworten, die auf aktuellen Informationen basieren.
In einer kürzlich veröffentlichten Studie untersuchen Klesel und Wittmann das Framework RAG detailliert. Sie zeigen, wie RAG-Architekturen nicht nur die Genauigkeit verbessern, sondern auch neue Forschungsfragen und Anwendungsmöglichkeiten eröffnen. Durch die Verknüpfung von KI-basierten Generierungsmodellen mit unternehmenseigenen Wissensdatenbanken entsteht eine Symbiose, die den Informationsbedarf in Unternehmen effektiv unterstützt und gleichzeitig das Vertrauen in die Ergebnisse erhöht.
Die Autoren betonen, dass RAG nicht nur bestehende Probleme löst, sondern auch neue Chancen für Forschung und Entwicklung schafft. Insbesondere im Bereich der Wirtschaftsinformatik eröffnen sich spannende Forschungsfelder, um RAG-Systeme weiter zu optimieren und an spezifische Unternehmensanforderungen anzupassen.

Die Arbeit stellt MEMERAG vor, einen mehrsprachigen Meta-Evaluierungs-Benchmark für Retrieval Augmented Generation (RAG)-Systeme. Da die automatische Bewertung von RAG-Systemen auf detaillierten Aspekten wie Faktentreue und Relevanz basiert, unterstützt ein Meta-Evaluierungs-Benchmark die Entwicklung automatischer Evaluatoren, die mit menschlichen Urteilen übereinstimmen. Bestehende Benchmarks konzentrieren sich jedoch meistens auf Englisch oder verwenden übersetzte Daten, was kulturelle Nuancen vernachlässigt.
MEMERAG baut auf dem MIRACL-Datensatz auf und verwendet dabei Fragen in Originalsprachen sowie Antworten verschiedener Large Language Models (LLMs), die von Experten hinsichtlich Faktentreue und Relevanz beurteilt werden. Die Ersteller betonen den nativen Ansatz, um eine bessere Übereinstimmung mit der Erfahrung von Nutzern zu erreichen.
Ein Hauptaugenmerk liegt auf der Qualitätssicherung durch einen strukturierten Annotationsprozess, der hohe Übereinstimmungsraten zwischen den Annotatoren erreicht. Das Ergebnis ist ein Benchmark, der zuverlässige Einblicke in die Leistung von RAG-Systemen über verschiedene Sprachen hinweg ermöglicht. Die Forscher demonstrieren anhand von LLM-as-a-Judge Experimenten, wie der Benchmark Verbesserungen durch fortschrittliche Prompting-Techniken und Modelle erkennen kann.
Zusammenfassend lässt sich sagen, dass MEMERAG eine wertvolle Ressource darstellt, um die Qualität und Zuverlässigkeit von mehrsprachigen RAG-Systemen zu verbessern und weiterzuentwickeln.

In der aktuellen Forschung ist die Integration von Wissensgraphen (KGs) in Retrieval Augmented Generation (RAG)-Frameworks stark im Fokus, da sie das Potenzial haben, Halluzinationen zu reduzieren und die Genauigkeit von Sprachmodellen zu verbessern. Bisher fehlt jedoch ein systematisches Verständnis darüber, wann und wie KG-RAG am effektivsten eingesetzt werden kann.
Um diese Forschungslücke zu schließen, präsentieren die Autoren eine Pilotstudie, in der sie sechs verschiedene KG-RAG-Methoden auf neun Datensätzen aus unterschiedlichen Bereichen analysieren und bewerten. Dabei untersuchen sie 17 verschiedene Large Language Models (LLMs) sowie deren Kombination mit Metakognitionstechniken. Die Studie betrachtet dabei zahlreiche Konfigurationen wie die Qualität des Wissensgraphen, die Formulierung von Suchanfragen, die Art der Retrieval-Methoden und das Prompt-Design.
Die Ergebnisse zeigen deutlich, dass die Wahl der richtigen Bedingungen und Komponentenkonfiguration entscheidend für den Erfolg von KG-RAG ist. Besonders hervorzuheben ist ein neuer metacognition-basierter Ansatz (Meta), der in bestimmten Szenarien eine außergewöhnliche Leistungssteigerung erzielt – beispielsweise eine Verbesserung der Genauigkeit bei Prüfungssimulationen um mehr als 20 Prozentpunkte gegenüber anderen kommerziellen Modellen.
Diese Arbeit liefert wertvolle quantitative Erkenntnisse und praktische Richtlinien für Forscher und Anwender, die KG-RAG in ihren Anwendungen einsetzen möchten. Sie betont die Bedeutung eines systematischen Verständnisses der Stärken und Grenzen verschiedener Ansätze, um das volle Potenzial von Wissensgestützter Sprachmodellierung auszuschöpfen.

Die vorliegende Arbeit stellt einen neuen Evaluationsrahmen namens plot-RAG (pRAG) für Retrieval-Augmented Generation (RAG)-Systeme vor, der eine detaillierte Analyse auf Komponentenebene ermöglicht. RAG-Systeme sind zunehmend wichtig, um die Faktentreue von Large Language Models (LLMs) zu verbessern, doch ihre Evaluation bleibt aufgrund ihrer komplexen Architektur herausfordernd. Der pRAG-Framework visualisiert die Performance einzelner Komponenten wie Retrieval und Re-Ranking ohne aufwendige LLM-basierte Bewertungen zurückzugreifen.
Die Autoren demonstrieren die Effektivität von pRAG anhand eines realen Frage-Antwort-Systems für technische Dokumentationen. Ein besonderer Schwerpunkt liegt auf der Erstellung und Validierung synthetischer Evaluationsdatensätze, welche die Qualität manuell erstellter Datensätze erreichen oder übertreffen können. Die Experimente zeigen deutlich, dass der Retrieval-Komponente oft den größten Engpass in RAG-Systemen darstellt. Es wird eine Formel vorgestellt, um die optimale Größe des abgerufenen Dokumentensatzes basierend auf den Anforderungen an Antwortzeiten zu bestimmen.
Diese Beiträge ermöglichen eine effizientere und gezieltere Evaluation von RAG-Systemen, insbesondere in spezialisierten Bereichen, wo die Erstellung hochwertiger Ground-Truth-Daten hohe Expertenressourcen erfordert. Die Forschung adressiert wesentliche Lücken aktueller Evaluationsmethoden, indem sie einen umfassenden Rahmenwerk schafft, der sowohl die technische Komplexität als auch praktische Aspekte berücksichtigt.

In der sich schnell entwickelnden Landschaft von Large Language Models (LLMs) hat Retrieval-Augmented Generation (RAG) als vielversprechende Methode zur Verbesserung der generativen Fähigkeiten durch Einbeziehung externer Wissensquellen an Bedeutung gewonnen. Trotz des Fortschritts bei RAG-Systemen bleibt eine umfassende und detaillierte Bewertung eine Herausforderung, da die Wechselwirkung zwischen den Komponenten „Retrieval“ und „Generation“ komplex ist. Um diese Lücke zu schließen, stellen Chanhee Park et al. im NAACL 2025 Bericht über MIRAGE vor: einen neuen Benchmark, der speziell für die RAG-Evaluierung entwickelt wurde.
MIRAGE besteht aus einem sorgfältig kuratierten Datensatz mit 7.560 Frage-Antwort-Instanzen, die auf einen Wissenspool von 37.800 Einträgen abgestimmt sind. Dies ermöglicht eine effiziente und präzise Bewertung sowohl der Retrieval- als auch der Generierungsaufgaben. Ein besonderer Schwerpunkt liegt dabei auf neuen Evaluationsmetriken, die Aspekte wie „Noise Vulnerability“ (Anfälligkeit für Störinformationen), „Context Acceptibility“ (Kontextakzeptanz), „Context Insensitivity“ (Kontextunabhängigkeit) und „Context Misinterpretation“ (Kontextfehlerinterpretationen) messen.
Die Forscher führten umfangreiche Experimente mit verschiedenen Retriever-LLM-Konfigurationen durch, um Einblicke in die optimale Abstimmung von Modellen und das Zusammenspiel innerhalb von RAG-Systemen zu gewinnen. Die Ergebnisse zeigen deutlich, wie wichtig eine systematische Evaluierung für weitere Fortschritte im Bereich der Retrieval-Augmented Generation ist. MIRAGE wird zusammen mit dem dazugehörigen Evaluationscode öffentlich zugänglich gemacht, um vielfältige Forschungsanwendungen und Anpassungen zu ermöglichen.

# 🤖 Zusammenfassung des Dokuments "airr2025142_162610573.pdf"
Die Arbeit befasst sich mit GraphRAG (Graph Retrieval-Augmented Generation), einer neuen Methode, die strukturierte Informationen aus Graphen nutzt, um die Leistung großer Sprachmodelle (LLMs) zu verbessern.
## 📌 Hauptpunkte:
- **Herausforderungen von LLMs:** Mangel an Fachwissen, Aktualitätsprobleme und Neigung zu "Halluzinationen".
- **GraphRAG Lösung:** Nutzung strukturierter Daten aus Graphen zur Verbesserung der Genauigkeit und Relevanz.
- **Vorteile:**
- Exakte und umfassende Wissensabfrage durch Berücksichtigung von Beziehungen zwischen Entitäten.
- Präzisere Antworten und bessere Kontextverständnis, besonders bei komplexen Aufgaben wie Query-Focused Summarization (QFS).
## 🚀 Methoden:
- Integration externer Knowledge Graphen in den LLM Workflow.
- Verwendung von Graph Neural Networks (GNNs), um relationelles Wissen zu erfassen und aussagekräftige Kontexte für die Generierung zu erstellen.
## 🎯 Ergebnisse & Schlussfolgerung:
GraphRAG verbessert die Qualität der Antworten durch Nutzung relationaler Strukturen, reduziert Halluzinationen und erweitert das Anwendungsgebiet von LLMs auf komplexe Aufgabenbereiche. Zukünftige Forschung soll sich auf eine noch stärkere Integration von Graph- und Sprachmodellen konzentrieren, um das Potenzial voll auszuschöpfen.
## 🔑 Keywords:
`GraphRAG`, `Large Language Model (LLM)`, `Retrieval-Augmented Generation (RAG)`

In der heutigen Wissensarbeitsumgebung sind Entscheidungsträger auf zuverlässige Werkzeuge angewiesen, um große Datenmengen effizient zu verarbeiten und fundierte Entscheidungen treffen zu können. Open-Domain Question Answering (QA)-Systeme spielen hierbei eine immer wichtigere Rolle, insbesondere angesichts des prognostizierten Wachstums der KI-Softwarebranche auf 297,9 Milliarden US-Dollar bis 2027.
Die Arbeit adressiert die Herausforderungen bei komplexen OLAP- und OLTP-Abfragen, wobei traditionelle RAG-Methoden oft an ihre Grenzen stoßen, insbesondere bei Aufgaben, die eine Synthese aus mehreren Dokumenten erfordern. Um dies zu verbessern, schlagen die Autoren einen neuen Ansatz vor, der Wissen als Graph darstellt, um so tiefere semantische Zusammenhänge herzustellen und die Leistung von Sprachmodellen zu steigern.
TREX ist ein neuartiges Retrieval-Augmented Generation (RAG)-System, das graphbasierte und vektorbasierte Techniken kombiniert. Benchmarking auf vier verschiedenen Datensätzen zeigt, dass TREX in der Lage ist, sowohl OLTP- als auch OLAP-Abfragen effektiv zu bearbeiten. Ein Real-World-Anwendungsbeispiel aus dem technischen Support demonstriert, wie TREX Daten aus heterogenen Quellen synthetisieren und so herkömmliche vektorbasierte RAG-Systeme übertreffen kann.
Die Ergebnisse betonen das Potenzial der Erweiterung großer Sprachmodelle durch fortschrittliche Retrieval- und Orchestrierungsfähigkeiten, was zu skalierbaren und effizienten KI-Lösungen führt. Abschließend weisen die Autoren auf Limitationen aktueller Evaluationsmethoden hin und unterstreichen damit die Notwendigkeit weiterer Forschung in diesem Bereich.

In der heutigen Zeit haben sich große Sprachmodelle (LLMs) als äußerst erfolgreich in verschiedenen Bereichen herausgestellt. Sie profitieren von einer enormen Anzahl an Parametern, die Wissen speichern. Trotz ihrer Fortschritte leiden LLMs unter Problemen wie Halluzinationen, Schwierigkeiten bei der Wissensaktualisierung und einem Mangel an domänenspezifischem Fachwissen. Hier setzt das Konzept "Retrieval-Augmented Generation" (RAG) an, indem es ein externes Wissensdatenbank nutzt, um die Fähigkeiten von LLMs zu erweitern und ihre Einschränkungen auszugleichen.
Diese Übersichtsarbeit beleuchtet umfassend alle wesentlichen Techniken des RAG-Ansatzes, insbesondere im Bereich der "Retriever"-Komponente und deren Fusionen. Ergänzend dazu werden praktische Codebeispiele bereitgestellt, um die Implementierung dieser Techniken zu erleichtern. Ein besonderer Fokus liegt auf Strategien zur Aktualisierung von RAG-Systemen, sowohl mit als auch ohne explizite Wissensaktualisierung.
Darüber hinaus widmet sich die Arbeit der Evaluation und des Benchmarking von RAG, sowie praktischen Anwendungen in verschiedenen NLP-Aufgaben und industriellen Szenarien. Abschließend werden zukünftige Richtungen und Herausforderungen für das Feld aufgezeigt, um eine nachhaltige Weiterentwicklung zu fördern. Die Autoren betonen den wachsenden Stellenwert von RAG bei der Verbesserung der Genauigkeit, Zuverlässigkeit und Wissensbasis von LLMs in einer breiten Palette von Anwendungen.

In der aktuellen Forschung wird Retrieval-Augmented Generation (RAG) immer weiter verbessert, um Large Language Models (LLMs) den Zugriff auf externe Tools und APIs zu ermöglichen. Bisherige RAG-Methoden haben jedoch Schwierigkeiten, strukturierte Abhängigkeiten zwischen Tools zu erkennen, was die Genauigkeit bei komplexen Aufgaben einschränkt.
Um diese Einschränkung zu beheben, stellen wir Graph RAG-Tool Fusion vor – einen neuen Ansatz, der vektorbasierte Retrievalmethoden mit effizienter Graphtraversierung kombiniert. Dadurch können alle relevanten Tools und ihre Abhängigkeiten erfasst werden. Um die Leistungsfähigkeit dieser Methode zu demonstrieren, wurde ein neuer Benchmark namens ToolLinkOS entwickelt, welcher 573 fiktionale Tools aus verschiedenen Branchen enthält, deren durchschnittliche Anzahl an Abhängigkeiten bei 6,3 liegt.
Die Ergebnisse zeigen deutlich, dass Graph RAG-Tool Fusion im Vergleich zu traditionellen RAG-Methoden eine deutliche Verbesserung erzielt: absolute Verbesserungen von 71,7 % auf dem ToolLinkOS-Benchmark und 21,1 % auf dem ToolSandbox-Benchmark (mAP@10). Diese Ergebnisse beweisen den Wert des neuen Ansatzes bei der Auswahl und Nutzung von Tools in komplexen LLM-Agenten-Szenarien.

Retrieval Augmented Generation (RAG) hat sich zu einem wichtigen Ansatz entwickelt, um generative KI-Modelle mit externen Daten zu erweitern und so genauere, kontextbezogen relevantere Antworten zu ermöglichen. Im Gegensatz zu früheren Methoden, die auf umfangreiche und kostenintensive Modelltrainings angewiesen waren, ermöglicht RAG es Unternehmen nun, ihre eigenen privaten Datensätze zu nutzen, wodurch die Qualität und Zuverlässigkeit der KI-Antworten verbessert wird. Der traditionelle RAG-Prozess beinhaltet das Abrufen relevanter Informationen aus einer Datenbank und deren anschließende Verwendung durch das Sprachmodell zur Erstellung einer Antwort.
Agentic RAG geht einen Schritt weiter, indem es eine intelligente Entscheidungslogik einführt. Anstatt nur auf die abgerufenen Daten zu reagieren, treffen Agenten aktiv Entscheidungen darüber, wie sie diese nutzen, welche zusätzlichen Informationen benötigt werden und welche Aktionen als nächstes ausgeführt werden sollen. Dies ermöglicht dynamische Planungsprozesse, autonome Iterationen sowie die Integration externer Tools und APIs.
Die Vorteile von Agentic RAG gegenüber traditionellen RAG-Systemen sind vielfältig: verbesserte Skalierbarkeit und Flexibilität durch modulare Architektur, eine höhere Qualität der Antworten durch aktive Überprüfung und Korrektur von Informationen, schnellere Reaktionszeiten sowie eine stärkere Personalisierung. Konkret unterstützt Agentic RAG Bereiche wie Kundensupport durch die Bereitstellung personalisierter und effizienterer Lösungen, Content-Erstellung durch schnelle Anpassung an spezifische Nutzerbedürfnisse und datengetriebene Entscheidungsfindung in Branchen, in denen Echtzeitinformationen entscheidend sind.

Das Dokument stellt SCMRAG vor, ein selbstkorrigierendes System zur erweiterten Generierung durch Abruf (Retrieval-Augmented Generation, RAG), das speziell für LLM-Agenten entwickelt wurde. Traditionelle RAG-Systeme basieren auf statischen Wissensdatenbanken und sind anfällig für veraltete Informationen und Fehler. SCMRAG adressiert diese Schwächen durch die Verwendung eines dynamischen, vom LLM unterstützten Knowledge Graphen, der sich kontinuierlich verbessert und aktualisiert.
Ein wesentliches Merkmal von SCMRAG ist sein selbstkorrigierender Mechanismus, der es dem System ermöglicht, autonom fehlende Informationen zu erkennen und aus externen Quellen (z. B. Web) abzurufen. Ein Reasoning-Agent innerhalb von SCMRAG bestimmt, ob die vorhandenen Informationen ausreichend sind oder ob eine Korrektur notwendig ist, wodurch die Genauigkeit und Effizienz verbessert werden.
Die Leistungsfähigkeit von SCMRAG wurde anhand verschiedener Datensätze demonstriert (MultiHop-RAG, ARC AI2, PopQA, PubHealth, WikiBio), wobei signifikante Verbesserungen bei der Präzision des Abrufs und einer Verringerung von Halluzinationen festgestellt wurden. Die Ergebnisse zeigen das Potenzial von SCMRAG, die Interaktion zwischen LLM-Agenten und Wissensdatenbanken neu zu definieren, indem es eine anpassungsfähigere und zuverlässigere Lösung für vielfältige Anwendungen bietet.
Insgesamt stellt SCMRAG einen wichtigen Fortschritt in der RAG-Technologie dar, da es dynamische Anpassungsfähigkeit, Selbstkorrekturmechanismen und verbesserte Genauigkeit vereint, um die Zuverlässigkeit von LLM-Agenten zu erhöhen.

In der heutigen Forschung spielen große Sprachmodelle (Large Language Models, LLMs) eine immer wichtigere Rolle. Ihre Anwendung in spezialisierten Fachgebieten stellt jedoch eine Herausforderung dar, da sie oft nicht über das notwendige Expertenwissen verfügen. Retrieval-Augmented Generation (RAG) hat sich als vielversprechende Lösung herauskristallisiert, um diese Modelle durch die Integration externer Wissensdatenbanken anzupassen und ihnen Zugriff auf spezialisiertes Wissen im Inferenzprozess zu ermöglichen.
Trotz des Potenzials von RAG stoßen traditionelle, textbasierte Retrieval-Methoden auf Herausforderungen: komplexe Anfrageverständnis in professionellen Kontexten, Schwierigkeiten bei der Integration verteilter Wissensquellen sowie Effizienzengpässe bei steigender Datenmenge. Um diesen zu begegnen, hat sich das neue Paradigma Graph-based Retrieval-Augmented Generation (GraphRAG) entwickelt.
GraphRAG adressiert die genannten Schwächen durch drei Hauptinnovationen: Erstens stellt es Wissen in einer graphbasierten Struktur dar, welche explizit Beziehungen und Hierarchien abbildet. Zweitens werden effiziente Graph-Retrieval-Techniken eingesetzt, die einen kontextbezogenen Wissensabruf mit der Fähigkeit zum Mehrschritt-Reasoning ermöglichen. Drittens integriert GraphRAG dieses Wissen strukturbewusst, um kohärente und logisch korrekte Antworten zu generieren.
Die Autoren analysieren in dieser Übersichtsarbeit systematisch die technischen Grundlagen von GraphRAG und untersuchen aktuelle Implementierungen in verschiedenen Fachbereichen. Dabei identifizieren sie sowohl technische Herausforderungen als auch vielversprechende Forschungsrichtungen. Eine Sammlung relevanter Ressourcen, darunter wissenschaftliche Arbeiten, Open-Source-Daten und Projekte, ist unter https://github.com/DEEP-PolyU/Awesome-GraphRAG verfügbar.
Zusammenfassend lässt sich sagen, dass GraphRAG eine vielversprechende Weiterentwicklung von RAG darstellt, die LLMs besonders für den Einsatz in spezialisierten Domänen weiter verbessert und anpassungsfähig macht.

In der aktuellen Forschung wird Retrieval-Augmented Generation (RAG) als eine Methode zur Verbesserung von Large Language Models (LLMs) hervorgehoben, indem externe Datenquellen einbezogen werden. Während LLMs beeindruckende Fähigkeiten besitzen, stützen sie sich oft auf statische Trainingsdatensätze und können daher keine dynamischen oder privaten Informationen verarbeiten. Traditionelle RAG-Systeme nutzen meist eine Single-Agent-Architektur, was bei diversen Datenformaten (relationale Datenbanken, Dokumentenspeicher, Graphdatenbanken) zu Leistungseinbußen führen kann.
Um diese Einschränkungen zu überwinden, schlagen die Autoren ein Multi-Agent RAG-System vor. Dieses System nutzt spezialisierte Agenten, die auf bestimmte Datentypen zugeschnitten sind und so eine effizientere Abfrage und Verarbeitung ermöglichen. Die Zusammenarbeit dieser Agenten in einem modularen Framework verbessert nicht nur die Genauigkeit der Antworten, sondern reduziert auch den Token-Overhead und die Latenzzeiten.
Das vorgeschlagene System zeichnet sich durch Skalierbarkeit und Anpassungsfähigkeit aus und eignet sich besonders für generative KI-Workflows, die eine Integration mit vielfältigen Datenquellen erfordern. Durch die Spezialisierung der Agenten und Nutzung einer zentralisierten Ausführungsumgebung wird ein robuster und effizienter Ansatz geschaffen, um komplexe heterogene Datenumgebungen in generativen KI-Anwendungen zu bewältigen.

In der sich schnell entwickelnden Landschaft von Large Language Models (LLMs) hat Retrieval-Augmented Generation (RAG) große Aufmerksamkeit erlangt, da sie die Genauigkeit von LLMs durch Integration externen Wissens verbessert. Allerdings leiden bestehende RAG-Methoden oft unter begrenzten Reasoning-Fähigkeiten, insbesondere bei komplexen Abfragen und der Verwendung quelloffener LLMs. Um diese Einschränkung zu beheben, stellen wir OPEN-RAG vor, ein neuartiges Framework, das darauf abzielt, die Reasoning-Fähigkeiten von RAG-Systemen mit Open-Source-LLMs zu verbessern.
OPEN-RAG wandelt beliebige dichte LLMs in effiziente, spärliche Mixture-of-Experts (MoE)-Modelle um, wodurch sie komplexe Reasoning-Aufgaben bewältigen können, einschließlich Single- und Multi-Hop-Abfragen. Das Framework trainiert das Modell einzigartig darauf, herausfordernde Ablenkungen zu erkennen und zu ignorieren, die zwar relevant erscheinen, aber dennoch irreführend sind. Durch diese latente Lernstrategie wählt OPEN-RAG dynamisch Experten aus und integriert externes Wissen effektiv, was zu genaueren und kontextuell relevanteren Antworten führt.
Um das Gleichgewicht zwischen Leistung und Geschwindigkeit weiter zu optimieren, führen wir eine hybride adaptive Retrieval-Methode ein, die bestimmt, wann ein Abruf notwendig ist. Unsere experimentellen Ergebnisse zeigen, dass OPEN-RAG, basierend auf Llama2-7B, in verschiedenen wissensintensiven Aufgaben führende LLMs und RAG-Modelle wie ChatGPT, Self-RAG und Command R+ übertrifft.
Um die Forschung weiter voranzutreiben, stellen wir unseren Code und unsere Modelle öffentlich unter https://openragmoe.github.io/ zur Verfügung.

In der neuesten Forschung zur Verarbeitung natürlicher Sprache wird die Frage untersucht, ob Retrieval Augmented Generation (RAG) oder Long-Context Large Language Models (LLMs) besser geeignet sind. Aktuelle LLMs wie Gemini-1.5 und GPT-4 zeigen beeindruckende Fähigkeiten im Umgang mit langen Kontexten direkt. Eine umfassende Studie vergleicht RAG und LC auf verschiedenen öffentlichen Datensätzen unter Verwendung neuer Sprachmodelle.
Die Ergebnisse zeigen, dass Long-Context LLMs bei ausreichendem Ressourcenstand durchgehend eine bessere Leistung erzielen als RAG. Gleichzeitig bleibt RAG aufgrund seiner deutlich geringeren Kosten ein attraktiver Vorteil. Basierend darauf wird eine neue hybride Methode namens SELF-ROUTE vorgestellt, die Anfragen dynamisch entweder an RAG oder LC weiterleitet, je nach Selbstbewertung des Modells.
SELF-ROUTE reduziert so die Rechenkosten erheblich (bis zu 65 % bei Gemini-1.5-Pro und 39 % bei GPT-4O), während gleichzeitig eine vergleichbare Leistung wie bei reinen Long-Context-Modellen gehalten wird. Die Studie zeigt, dass RAG und LC ihre Stärken kombinieren können, um ein optimales Gleichgewicht zwischen Kosten und Leistung zu erreichen.
Diese Erkenntnisse geben wichtige Anleitungen für die praktische Anwendung von LLMs in Szenarien mit langen Kontexten und fördern so weiterführende Entwicklungen im Bereich der Retrieval-basierten Sprachmodellierung.

In der heutigen, zunehmend vernetzungsdurchsetzten Welt ist die Integration von großen Sprachmodellen (LLMs) und Graph Neural Networks (GNNs) zu einem wichtigen Forschungsbereich geworden. Die vorliegende Arbeit stellt G-Retriever vor, eine neuartige Methode, die speziell darauf abzielt, das Verständnis und die Nutzung realer Textgraphen zu verbessern. Im Gegensatz zu früheren Ansätzen, welche sich meist auf traditionelle Graphaufgaben oder einfache Abfragen kleiner, synthetischer Graphen konzentrierten, ermöglicht G-Retriever einen flexiblen, dialogorientierten Umgang mit komplexen, textbasierten Graphen in verschiedenen Anwendungsbereichen wie Szenengraphverständnis, Common-Sense-Reasoning und Wissensgraphabfragen.
Um die Entwicklung und Bewertung solcher Systeme voranzutreiben, stellen die Autoren ein neues Benchmark-Dataset namens GraphQA bereit. G-Retriever selbst basiert auf dem Retrieval-Augmented Generation (RAG)-Prinzip und nutzt eine Technik des "Soft Promptings", um das Verständnis von Textgraphen zu verbessern. Ein besonderer Fokus liegt dabei auf der Bewältigung größerer Graphen, die den Kontextfenstergrößen herkömmlicher LLMs entsprechen könnten. Hierzu wird ein neuartiger Ansatz vorgestellt, der die Retrieval-Aufgabe als Prize-Collecting Steiner Tree Optimierungsproblem formuliert.
Die Ergebnisse zeigen, dass G-Retriever in verschiedenen Domänen und Anwendungsfällen besser abschneidet als bestehende Methoden, insbesondere bei komplexeren Abfragen und größeren Graphstrukturen. Darüber hinaus reduziert das System Halluzinationen, ein häufiges Problem bei LLMs, und ermöglicht so zuverlässigere Antworten. Die entwickelten Datasets und der Code sind öffentlich zugänglich, um weitere Forschung und Anwendung in diesem vielversprechenden Bereich zu fördern.

In der aktuellen Forschung steht die Entwicklung zuverlässiger und faktengetreuer Sprachmodelle (LLMs) im Fokus, da diese Modelle bekanntermaßen zu Halluzinationen neigen oder faktische Fehler produzieren. Um diesem Problem zu begegnen, wird Retrieval-Augmented Generation (RAG) eingesetzt, bei der LLMs durch externe Wissensquellen ergänzt werden. Allerdings hängt die Effektivität von RAG maßgeblich von der Qualität und Relevanz der abgerufenen Dokumente ab.
Um dieses Problem anzugehen, schlagen die Autoren eine neue Methode namens Corrective Retrieval Augmented Generation (CRAG) vor. CRAG zielt darauf ab, die Robustheit und Zuverlässigkeit von LLMs zu verbessern, indem es die Qualität der abgerufenen Informationen aktiv überprüft und korrigiert. Ein zentraler Bestandteil ist ein leichter „Retrieval Evaluator“, der die Qualität der Dokumente bewertet und dabei eine Art Vertrauenswürdigkeitswert ermittelt. Basierend auf diesem Wert werden unterschiedliche Maßnahmen ergriffen, wie z.B. das Auslösen zusätzlicher Websuchen zur Korrektur oder Ergänzung suboptimaler Ergebnisse aus statischen Wissensquellen.
Ein weiterer wichtiger Aspekt von CRAG ist ein „Decompose-then-Recompose“-Algorithmus, der darauf abzielt, nur die relevantesten Informationen aus den abgerufenen Dokumenten zu extrahieren und irrelevante Inhalte herauszufiltern. Dies verbessert nicht nur die Effizienz des RAG-Prozesses, sondern hilft auch, das Risiko von Verwirrung oder Fehlleitung des Sprachmodells durch unnötige Informationen zu reduzieren.
Die Ergebnisse zeigen, dass CRAG in verschiedenen Aufgabenstellungen – sowohl bei kurzen als auch langen Textgenerierungen – die Leistung im Vergleich zu herkömmlichen RAG-Ansätzen signifikant verbessert und somit einen wichtigen Schritt hin zu zuverlässigeren LLMs darstellt.

# 📚 Zusammenfassung: GraphRAG mit Ontotext GraphDB und Neo4j
In der heutigen wissenschaftlichen Arbeit wird GraphRAG vorgestellt, eine innovative Weiterentwicklung des Retrieval-Augmented-Generation (RAG)-Ansatzes. RAG hat sich als vielversprechende Lösung herauskristallisiert, indem es externes Wissen in Sprachmodelle integriert, um so Genauigkeit, Glaubwürdigkeit und Aktualität zu verbessern.
## 💡 Wie funktioniert GraphRAG?
GraphRAG erweitert den traditionellen Ansatz durch die Nutzung von Graphen-Datenbanken (wie Ontotext GraphDB oder Neo4j) als Wissensquelle. Dies ermöglicht einen reichhaltigeren Kontext, insbesondere bei fachspezifischen Inhalten und Terminologien, was zu besseren Antworten und höherer Qualität der generierten Texte führt.
## ⚙️ Typen von GraphRAG:
- **Graph als Inhaltsspeicher:** Hier werden relevante Textfragmente aus Dokumenten extrahiert und dem LLM zur Verfügung gestellt.
- **Graph als Fachwissender:** Der Graph liefert zusätzlichen "semantischen Kontext" durch Beschreibungen von Konzepten und Entitäten, die für die Frage relevant sind.
- **Graph als Datenbank:** Die natürliche Sprache wird in eine Graphdatenbankabfrage umgewandelt, ausgeführt, und das Ergebnis dem LLM zur Zusammenfassung gegeben.
## 🚀 Vorteile:
- Bessere Kontextqualität und Faktentreue durch die Struktur des Graphenwissens.
- Keine Notwendigkeit für kostspieliges Nachschulen (Retraining) großer Sprachmodelle bei speziellen Aufgaben.
- Flexibilität, da GraphRAG modular aufgebaut ist und sich leicht an verschiedene Anwendungsfälle anpassen lässt.
## 🎯 Fazit:
GraphRAG stellt einen wichtigen Schritt in der Weiterentwicklung von RAG-Systemen dar, indem es die Vorteile von Knowledge Graphen nutzt, um Sprachmodelle präziser, zuverlässiger und kontextbezogener zu machen.

In der jüngsten Entwicklung von Large Language Models (LLMs) hat Retrieval-Augmented Generation (RAG) sich als vielversprechender Ansatz erwiesen, um die Herausforderungen von LLMs zu bewältigen, ohne diese neu trainieren zu müssen. Durch die Nutzung externer Wissensdatenbanken verfeinern RAG-Systeme die Modellausgaben und reduzieren so Probleme wie Halluzinationen, mangelnde Fachkenntnisse oder veraltete Informationen.
Die Struktur komplexer Beziehungen zwischen Entitäten stellt jedoch eine Herausforderung dar. Hier setzt GraphRAG an: Durch die Berücksichtigung von strukturellen Zusammenhängen ermöglicht es präzisere Abfragen und umfassendere Antworten, wobei relationelles Wissen genutzt und der Kontext besser berücksichtigt wird.
Diese Übersichtsarbeit bietet den ersten systematischen Überblick über bestehende GraphRAG-Methodologien. Der Workflow wird formalisiert in Phasen wie Graphbasiertes Indexieren, Graphgesteuerte Suche und Graphverstärkte Generierung. Die Autoren geben einen detaillierten Überblick über Technologien, Trainingsmethoden, Anwendungsbereiche, Evaluationsverfahren und industrielle Nutzungsszenarien von GraphRAG. Abschließend werden zukünftige Forschungsrichtungen aufgezeigt, um weitere Entwicklungen in diesem vielversprechenden Feld zu inspirieren und voranzutreiben.
Die Ergebnisse dieser Arbeit sind öffentlich zugänglich unter https://github.com/pengboci/GraphRAG-Survey.

In der heutigen Zeit stellen Large Language Models (LLMs) eine Schlüsseltechnologie für zahlreiche Anwendungen dar, darunter Chatbots, virtuelle Assistenten und Code-Generatoren. Trotz ihrer beeindruckenden Fähigkeiten weisen LLMs auch Einschränkungen auf: Ihr Wissen ist auf bestimmte Datenstände beschränkt, sie neigen zu Ungenauigkeiten oder "Halluzinationen" und haben keinen Zugriff auf private Unternehmensdaten. Um diese Probleme zu überwinden, wird Retrieval-Augmented Generation (RAG) immer beliebter.
RAG ergänzt das Wissen eines LLMs durch zusätzliche, spezifische Informationsquellen, ohne dass ein zeitaufwändigen und kostspieligen Fine-Tuning-Prozess erforderlich ist. Bei RAG werden Benutzeranfragen mit Informationen aus einer vorgegebenen Wissensdatenbank angereichert, wodurch genauere, aktuellere Antworten entstehen. Dies ermöglicht es Unternehmen beispielsweise, Chatbots zu erstellen, die auf dem neuesten Stand ihres Produktwissens oder Serviceangeboten sind und Kunden präzise Auskünfte geben können.
Ein typischer RAG-Workflow besteht aus mehreren Phasen: Zunächst werden Dokumente geladen, in Textabschnitte unterteilt und anschließend mithilfe von Vektoreinbettungen in numerische Form gebracht. Diese Vektorrepräsentationen werden dann in einer Datenbank gespeichert, um schnell durchsucht werden zu können. Bei einer Benutzeranfrage wird diese ebenfalls in einen Vektor umgewandelt, der dann mit den Dokumentenvektoren verglichen wird, um relevante Informationen abzurufen und dem LLM als Kontext zur Generierung einer Antwort zu dienen.
Durch den Einsatz von OpenVINO™ und LangChain lässt sich eine effiziente RAG-Pipeline aufbauen, die von Best-in-Class Leistung bis hinunter zur einfachen Bereitstellung in Cloud- oder Serverumgebungen reicht. Der Ansatz verbessert nicht nur die Qualität der Antworten durch Faktenbasiertheit und Aktualität, sondern schafft auch Transparenz, da Quellenangaben möglich sind. Zusammenfassend lässt sich sagen, dass RAG eine kostengünstige und effektive Möglichkeit darstellt, das Potenzial von LLMs optimal zu nutzen und gleichzeitig deren Einschränkungen in Bezug auf Wissen, Genauigkeit und Zugriff auf aktuelle Informationen zu beheben.

Die vorliegende Arbeit stellt einen umfassenden Evaluationsrahmen für Retrieval-Augmented Generation (RAG) Systeme zur Fragebeantwortung mit großen Sprachmodellen (LLMs) dar. Das Framework umfasst die Phasen der Dokumentenaufnahme, Informationsbeschaffung, Antwortgenerierung und Bewertung. Es werden sowohl Ground-Truth-basierte als auch referenzfreie Evaluationsmetriken implementiert, um eine vielseitige Beurteilung zu gewährleisten.
Die Forscher führten umfangreiche Experimente mit verschiedenen Datensätzen durch, darunter NarrativeQA und ein proprietäres Finanzdatenset (FinAM-it), um die Zuverlässigkeit bestehender Metriken im Vergleich zu menschlichen Bewertungen zu untersuchen. Die Ergebnisse zeigen, dass Ground-Truth-basierte Metriken wie BEM und RAGAS Answer Correctness eine moderate Übereinstimmung mit menschlichen Urteilen aufweisen. Referenzfreie Metriken haben jedoch weiterhin Schwierigkeiten, die Qualität von Antworten ohne vordefinierte korrekte Antworten vollständig zu erfassen.
Eine detaillierte Analyse der Spearman-Korrelationskoeffizienten verdeutlichte die Beziehungen und den relativen Nutzen verschiedener Evaluationsansätze über mehrere Domänen hinweg. Die Studie betont die Notwendigkeit fortschrittlicherer, insbesondere referenzfreier Techniken, um menschliche Wahrnehmungen von Relevanz und Korrektheit besser abzubilden.
Insgesamt leistet diese Forschung einen wichtigen Beitrag zu zuverlässigen Evaluationsrahmen für RAG-Systeme, wodurch Fortschritte in der Verarbeitung natürlicher Sprache ermöglicht werden, die den Weg für genaue und menschenähnliche KI-Systeme ebnen.

In der medizinischen Datenanalyse stellt die Umwandlung unstrukturierter Texte in ein strukturiertes Format eine große Herausforderung dar. Diese Studie präsentiert eine automatisierte, lokal betriebene und datenschutzkonforme Pipeline, die Open-Source-Large-Language-Modelle (LLMs) mit Retrieval-Augmented-Generation (RAG)-Architektur nutzt, um medizinische Dokumente auf Deutsch zu verarbeiten und in strukturierte Daten zu überführen.
Die entwickelte Pipeline wurde anhand eines proprietären Datensatzes von 800 Originaluntersuchungsberichten getestet. Die Ergebnisse zeigten eine Genauigkeit von bis zu 90 % bei der Datenextraktion im Vergleich zur manuellen Bearbeitung durch Ärzte und medizinische Studenten. Dies unterstreicht das Potenzial des Systems als wertvolles Werkzeug, um relevante Informationen aus unstrukturierten Quellen effizient zu extrahieren.
Die Methode basiert auf einer Pipeline, die deutsche Dokumente zunächst in englische übersetzt, anschließend mithilfe von RAG wichtige Informationen identifiziert und diese schließlich in strukturierter Form für weitere Nutzungen bereitstellt. Die Genauigkeit der Extraktion wurde durch Vergleich mit manuell extrahierten Daten medizinischer Experten bewertet.
Die Autoren betonen, dass ihre Lösung nicht nur eine hohe Genauigkeitsrate erreicht, sondern auch Datenschutzaspekte berücksichtigt, da die Verarbeitung vollständig lokal und ohne externe Datentransfers erfolgt. Zukünftige Forschungsarbeiten sollen sich auf weitere Verbesserungen der Modellgenauigkeit bei unterschiedlichen Dokumentformaten und medizinischen Fachterminologien konzentrieren.
Zusammenfassend lässt sich sagen, dass diese automatisierte Pipeline eine effiziente Lösung darstellt, um unstrukturierte medizinische Daten zu strukturieren, was besonders im Hinblick auf die zunehmende Digitalisierung des Gesundheitswesens von großem Nutzen sein kann.

# 📚 Zusammenfassung des Dokuments "2024.ccl-2.9.pdf"
Die Arbeit befasst sich mit der wichtigen Frage, wie große Sprachmodelle (LLMs) durch den Einsatz von externen Wissensquellen verbessert werden können, insbesondere im Hinblick auf ihre Einschränkungen bei veraltetem Wissen und spezifischen Domänenbeschränkungen.
## 🔍 **Methoden & Trends**
- **Aktuelle Entwicklung:** Integration von Retrieval-Augmented Generation (RAG)-Techniken zur Verbesserung der LLMs.
- **Schwerpunkte:**
- Wann ist es sinnvoll, externe Informationen durchzuziehen? (Retrieval Timing)
- Wie kann man relevante Inhalte effizient beschaffen? (Retrieval Paradigms)
- Wie nutzt man die abgerufenen Informationen optimal zur Verbesserung der Generierungsergebnisse?
## 🎯 **Zentrale Ergebnisse & Schlussfolgerungen**
- LLMs zeigen trotz ihrer Größe Einschränkungen bei Aktualität und Spezialwissen.
- Externe Wissensquellen, intelligent beschafft und verarbeitet, verbessern die Qualität und Zuverlässigkeit von LLM-Antworten deutlich.
- Die Forschungsgemeinschaft konzentriert sich zunehmend auf automatisierte Strategien zur Verbesserung der Effizienz und Genauigkeit von RAG-Systemen.
## 💡 **Ausblick & Potenziale**
Die Autoren betonen das große Potenzial für zukünftige Forschungsarbeiten, insbesondere in den Bereichen:
- Entwicklung adaptiver Retrieval-Strategien, die sich dynamisch an den Kontext anpassen.
- Verbesserung der Methoden zur Konflikterkennung und -lösung zwischen internem Modellwissen und externen Quellen.
- Schaffung besserer Datensätze und Evaluationsmethoden, um Fortschritte in diesem Bereich zuverlässig zu messen.
## 🔑 **Schlüsselwörter**
Retrieval-Augmented Generation, Große Sprachmodelle, Information Retrieval, Künstliche Intelligenz, Natural Language Processing

Die Arbeit befasst sich mit der Bewertung von Retrieval Augmented Generation (RAG) Metriken für Frage-Antwort-Systeme im Telekommunikationsbereich. Aktuelle Frameworks wie RAGAS nutzen Large Language Models (LLMs), um die Qualität generierter Antworten zu bewerten, jedoch fehlt es oft an Transparenz bezüglich der Ableitung der numerischen Werte dieser Metriken.
Die Autoren präsentieren eine modifizierte Version des RAGAS-Frameworks, das Zwischenergebnisse und Prompt-Ausgaben offenlegt, was eine bessere Nachvollziehbarkeit und Anpassbarkeit ermöglicht. Sie analysieren die Leistung von Expertenbewertungen in Bezug auf diese Metriken (Faithfulness, Relevanz von Kontext/Antworten, Korrektheit usw.) und identifizieren Herausforderungen bei der Anwendung im Telekommunikationsbereich.
Ein Schwerpunkt liegt auf der Untersuchung, wie sich korrekte bzw. fehlerhafte Retrieval-Ergebnisse auf die Metrikwerte auswirken. Weiterhin wird analysiert, ob domänenspezifische Anpassungen von Embeddings oder das Instruction Tuning von LLMs die Qualität und Aussagekraft der RAGAS-basierten Evaluation verbessern.
Die Ergebnisse zeigen, dass die Eignung und Effektivität dieser Metriken im Telekommunikationsbereich kritisch hinterfragt werden muss. Die Arbeit identifiziert wichtige Aspekte für eine robuste Bewertung von RAG-Systemen in technischen Domänen und liefert Empfehlungen zur Verbesserung der Evaluationsmethodik.

Das vorliegende Masterarbeitsprojekt befasst sich mit der Entwicklung eines intelligenten Suchsystems, das auf der Retrieval-Augmented Generation (RAG)-Methode basiert. Ziel ist es, die Genauigkeit und Relevanz von Suchergebnissen zu verbessern, insbesondere bei offiziellen Dokumenten wie dem Boletín Oficial de la Universidad de La Laguna (BOULL).
Im Rahmen des Projekts wurde eine Datenverarbeitungs-Pipeline implementiert, welche die Dokumente in sinnvolle Textabschnitte unterteilt. Diese Abschnitte werden dann mithilfe vortrainierter Sprachmodelle in Vektorrepräsentationen umgewandelt und in einer Vektordatenbank (ChromaDB) gespeichert. Bei Suchanfragen nutzt das System fortgeschrittene Distanzberechnungsmethoden, um relevante Textfragmente zu identifizieren. Diese werden dann als Kontext für ein generatives KI-Modell verwendet, um präzise und kohärente Antworten zu formulieren.
Die Evaluation des Systems erfolgte anhand eines Fragenkatalogs, der sowohl die Qualität der Informationsrückgewinnung als auch die Nützlichkeit der generierten Antworten bewertete. Die Ergebnisse zeigen eine deutliche Verbesserung hinsichtlich Genauigkeit und Relevanz im Vergleich zu traditionellen Methoden. Dies bestätigt die Effektivität der RAG-Methode in diesem Kontext.
Neben der technischen Lösung für das Problem der Informationsbeschaffung bietet diese Arbeit auch eine solide Grundlage für zukünftige Forschungsarbeiten, insbesondere im Bereich Natural Language Processing und intelligentes Management öffentlicher Informationen.

Die Retrieval-Augmented Generation (RAG) ist eine innovative Methode der Künstlichen Intelligenz, die im Bereich der Verarbeitung natürlicher Sprache eingesetzt wird. Sie kombiniert Techniken zur Informationsbeschaffung mit Sprachmodellen, um präzisere und detailliertere Texte zu generieren. Im Kern nutzt RAG relevante Dokumente als zusätzlichen Kontext, was besonders in Anwendungen wichtig ist, bei denen exakte und vollständige Informationen erforderlich sind.
Ziel des Projekts war es, die Effizienzsteigerung durch den Einsatz von RAG-Techniken bei der Informationsgewinnung aus Dokumenten zu untersuchen. Die Autoren beschreiben notwendige Systeme für eine praktische Implementierung und zeigen auf, wie sich diese Technik positiv auf Arbeitsabläufe auswirken kann.
Die Arbeit betont zudem, wie künstliche Intelligenz zunehmend unseren Alltag und unsere Arbeitsmethoden verändert. Werkzeuge wie RAG ermöglichen es, große Informationsmengen schneller und präziser zu bearbeiten. Das Projekt hebt hervor, dass die Integration von KI-Technologien in den beruflichen und privaten Bereich unser Potenzial zur schnellen und genauen Bearbeitung großer Datenmengen deutlich verbessert.
Zusammenfassend lässt sich sagen, dass RAG eine Schlüsseltechnologie darstellt, um die Effizienz bei der Informationsgewinnung zu steigern und gleichzeitig einen Mehrwert für viele Bereiche unseres Lebens zu schaffen.

In der automatisierten Bewertung von Retrieval-Augmented Generation (RAG)-Systemen bestehen Herausforderungen wie Halluzinationen bei domänenspezifischem Wissen und das Fehlen standardisierter Benchmarks für unternehmensinterne Aufgaben. Dies erschwert die Bewertung von RAG-Varianten, beispielsweise RAG-Fusion (RAGF), insbesondere in Produkt-QA-Szenarien wie bei Infineon Technologies.
Um diese Probleme zu lösen, schlagen die Autoren ein umfassendes Bewertungsframework vor, das Large Language Models (LLMs) zur Erstellung großer Datensätze synthetischer Fragen nutzt, basierend auf realen Benutzeranfragen und domänenspezifischen Dokumenten. Mittels LLM-as-a-Judge wird die Qualität der abgerufenen Dokumente und Antworten bewertet, um schließlich verschiedene RAG-Agentenvarianten mithilfe des automatisierten Elo-basierten Wettbewerbs (RAGElo) zu ranken.
Die Bewertung durch den LLM-als-Richter korreliert moderat positiv mit der Expertenbewertung in Bezug auf Relevanz, Genauigkeit, Vollständigkeit und Präzision. RAGF zeigte im Elo-Score eine bessere Leistung als einfaches RAG, jedoch wurde bei näherer Betrachtung festgestellt, dass RAGF in der Vollständigkeit deutlich besser ist, während es hinsichtlich der Präzision leicht schlechter abschneidet. Das Infineon-RAGF-Assistentenmodell demonstrierte zudem höhere Punktzahlen bei der Dokumentrelevanz (MRR@5).
Die Ergebnisse zeigen, dass RAGElo die menschlichen Annotationspräferenzen positiv widerspiegelt, wobei jedoch weiterhin Vorsicht geboten ist. Insgesamt führt der Ansatz von RAGF zu vollständigeren Antworten und besserer Qualität gemäß der Expertenannotation und den Kriterien von RAGElo.

Retrieval-Augmented Generation (RAG) hat sich im vergangenen Jahr zu einer zentralen Strategie entwickelt, um die Zuverlässigkeit und Kontrollierbarkeit von Anwendungen großer Sprachmodelle (LLMs) in industriellen Umgebungen zu verbessern. Dieses White Paper fasst aktuelle Entwicklungen, Herausforderungen und bewährte Verfahren zusammen, um Unternehmen bei der erfolgreichen Einführung und Nutzung von RAG-Technologien zu unterstützen.
RAG ermöglicht es Unternehmen, LLMs mit eigenen Daten zu erweitern, wodurch Antworten präziser, nachvollziehbarer und auf den neuesten Stand gebracht werden können. Eine naive Implementierung von RAG ist jedoch oft nicht ausreichend; daher betont das White Paper die Notwendigkeit fortgeschrittener Techniken wie HyDE (Hybrid Document Embedding) oder adaptive Retrieval-Methoden zur nachhaltigen Verbesserung der Qualität.
Um eine erfolgreiche Industrialisierung von RAG zu gewährleisten, werden fünf detaillierte "RAG-Rezepte" vorgestellt, die auf reale Herausforderungen zugeschnitten sind:
1. **Cold Start Recipe**: Strategien für das Chunking und Embedding ohne umfangreichen Evaluationsdatensatz.
2. **Virtual Havruta Recipe**: Optimierung der Abfrageformulierungen zur Unterstützung komplexer Kontexte und präziser Quellenangaben.
3. **Deepset Recipe**: Nutzung von Metadaten zur Verbesserung der Filterung, Suche und Reihenfolgezuordnung.
4. **Jina AI Recipe**: Agentenbasierte Ansätze für spezifische Aufgaben wie die Patentaktenrecherche unter Verwendung strukturierter Daten (SQL).
5. **RAGAR Recipe**: Multimodale RAG-gestützte Argumentation zur Unterstützung von Faktenchecks und komplexen Reasoning-Aufgaben.
Neben den technischen Aspekten betont das White Paper auch die Bedeutung einer systematischen Evaluierung von RAG-Systemen. Es werden aktuelle Evaluationsframeworks analysiert, ihre Stärken und Schwächen aufgezeigt und ein klarer Bedarf nach standardisierten Metriken gefordert, um Qualität, Zuverlässigkeit und Skalierbarkeit konsistent zu messen und sicherzustellen.
Zusammenfassend lässt sich sagen, dass dieses White Paper einen praktischen Leitfaden für Unternehmen darstellt, die RAG-Technologien strategisch einsetzen wollen: von der initialen Planung über konkrete Implementierungsstrategien bis hin zur kontinuierlichen Verbesserung durch strukturierte Evaluation.

Die Arbeit stellt eine neue Methode zur automatisierten Bewertung von Retrieval-Augmented Language Models (RAG) vor, die auf der Erstellung einer aufgabenspezifischen Aufgabenprüfung basiert. Die Prüfung besteht aus Multiple-Choice-Fragen, die automatisch anhand des Korpus an Dokumenten erstellt werden, die mit der jeweiligen Aufgabe verbunden sind. Diese Methode ermöglicht eine effiziente, interpretierbare und skalierbare Bewertung von RAG-Systemen, ohne dass menschliche Annotatoren erforderlich sind.
Die Forscher nutzen Item Response Theory (IRT), um die Qualität und Informationsgehaltigkeit der Prüfung zu schätzen und diese iterativ durch Verbesserung oder Entfernung weniger informativer Fragen zu optimieren. Der Ansatz wurde auf vier neuen Aufgabenstellungen demonstriert: AWS DevOps Troubleshooting Guides, Arxiv Abstracts, StackExchange-Fragen und SEC-Einreichungen.
Die Ergebnisse zeigen, dass die Wahl des richtigen Retrieval-Algorithmus oft größere Leistungsgewinne erzielt als alleinige Verwendung größerer Sprachmodelle. Die entwickelte Methode bietet nicht nur eine automatisierte Möglichkeit zur Auswahl optimaler RAG-Komponenten, sondern liefert auch allgemeine Einblicke in Faktoren wie Modellgröße, Prompt-Techniken und Fine-Tuning-Strategien.
Zusammenfassend lässt sich sagen, dass die Arbeit einen wichtigen Beitrag zur automatisierten, effizienten und aufgabenorientierten Bewertung von Retrieval-Augmented Language Models leistet und gleichzeitig wertvolle Erkenntnisse für deren Leistungsoptimierung liefert.

Das Whitepaper von Dell mit dem Titel "Skalierbare Architektur für Retrieval-Augmented Generation (RAG) mit NVIDIA Microservices" beschreibt eine umfassende Lösung zum Einsatz generativer KI-Modelle auf Dell Infrastruktur. Ziel ist es, Unternehmen eine Enterprise-Grade-End-to-End-Lösung zu bieten, die Ressourcen effizient nutzt und somit Kosten reduziert sowie den Return on Investment verbessert.
Das Dokument beleuchtet die Bedeutung von LLMs (Large Language Models) und RAG (Retrieval Augmented Generation), insbesondere im Hinblick auf generative KI-Chatbots. Es wird gezeigt, wie Dell Technologien in Partnerschaft mit NVIDIA eine optimierte Umgebung schaffen, um Unternehmen bei der Bewältigung ihrer speziellen Herausforderungen zu unterstützen – sei es durch die Verbesserung des Kundensupports, die Automatisierung interner Prozesse oder die Bereitstellung schneller Informationszugriffswege für Mitarbeiter.
Im Kern wird eine Kubernetes-basierte Architektur vorgestellt, die Dell PowerScale Storage und NVIDIA Cloud Native Stack nutzt. Diese Kombination ermöglicht eine effiziente Orchestrierung, Skalierbarkeit und optimierte Leistung von KI-Anwendungen. Die Lösung umfasst alle Phasen des RAG-Workflows: Dokumentenaufnahme, Verarbeitung und Indexierung sowie die Generierung präziser und kontextbezogener Antworten durch fortschrittliche LLMs.
Ein besonderer Fokus liegt auf praktischer Anwendbarkeit: Das Whitepaper gibt detaillierte Einblicke in Hardware- und Softwarearchitektur, Implementierungsrichtlinien und Voraussetzungen für eine erfolgreiche Bereitstellung. Abschließend werden Testergebnisse vorgestellt, die zeigen, wie diese Architektur die Leistung und Effizienz von RAG-basierten KI-Anwendungen verbessert.

In der schnelllebigen Welt der Technik und des Vertriebs besteht für Ingenieure, Kundenbetreuer und Kunden die ständige Notwendigkeit, rasch auf Produktinformationen zuzugreifen. Um dieser Herausforderung zu begegnen, hat Infineon das Retrieval-Augmented Generation (RAG)-Framework in seinen virtuellen Assistenten implementiert. Eine aktuelle Weiterentwicklung ist nun RAG-Fusion, eine Methode, die RAG mit dem Prinzip der „Reciprocal Rank Fusion“ (RRF) kombiniert.
Der Kern von RAG-Fusion liegt in der Generierung mehrerer Suchanfragen aus einer ursprünglichen Benutzerfrage, deren Rangfolge durch RRF bestimmt wird. Anschließend werden Dokumente und Ergebnisse zusammengeführt, um umfassendere Antworten zu erstellen. In manuellen Tests zeigte sich, dass RAG-Fusion präzisere, relevantere und vollständigere Antworten liefert als traditionelle RAG-Chatbots. Gelegentlich schlichen sich jedoch themenfremde Antworten ein, wenn die generierten Suchanfragen nicht ausreichend auf die ursprüngliche Frage bezogen waren.
Diese Innovation ermöglicht es Infineon, seine Kunden umfassender zu unterstützen, indem sie vielfältige Perspektiven und Detailinformationen berücksichtigt. RAG-Fusion stellt einen bedeutenden Fortschritt in der Anwendung von künstlicher Intelligenz (KI) und Natural Language Processing (NLP) dar und verändert die Art und Weise, wie Unternehmen weltweit mit ihren Kunden interagieren und Informationen bereitstellen.

Im Rahmen der ICLR 2023 präsentierten Yao et al. eine neue Methode namens ReAct, die Reasoning (Denken) und Acting (Handeln) in Sprachmodellen kombiniert. Bisher wurden diese beiden Aspekte meist getrennt betrachtet. ReAct ermöglicht es dem Modell, sowohl überlegende als auch handlungsorientierte Schritte auszuführen, wodurch ein synergistischer Effekt entsteht: Die Reasoning-Traces unterstützen die Planung von Aktionen und das Anpassen an unerwartete Situationen, während die Actions eine Interaktion mit externen Quellen wie Wissensdatenbanken oder Umgebungen ermöglichen.
Die Forscher demonstrierten ReAct in verschiedenen Aufgabenbereichen, darunter Question Answering (HotpotQA), Fact Verification (Fever), sowie in interaktiven Entscheidungsumgebungen (ALFWorld und WebShop). Dabei zeigte sich, dass ReAct die Leistung im Vergleich zu aktuellen Methoden deutlich verbessert: Bei HotpotQA und Fever reduzierte es Halluzinationen und Fehlerursachen durch Wissensabfragen von Wikipedia. In den interaktiven Umgebungen übertraf ReAct Imitations- und Reinforcement-Learning-Methoden um bis zu 34 % bei der Erfolgsquote, selbst wenn nur wenige Beispiele im Kontext gegeben waren.
Ein weiterer Vorteil von ReAct ist die erhöhte Interpretierbarkeit: Die Kombination aus Reasoning-Traces und Actions erzeugt nachvollziehbare Lösungswege, die den menschlichen Kognitionsprozessen stärker ähneln als bisherige Ansätze. Insgesamt stellt ReAct einen wichtigen Schritt dar, um Sprachmodelle intelligenter, robuster und menschenähnlicher zu machen.

In der Forschung zur Informationsrückgewinnung ist es schwierig, ohne explizite Relevanzkennzeichnungen effektive Methoden für die dichte Retrieval-Suche zu entwickeln. Um dieses Problem anzugehen, schlagen die Autoren in diesem Dokument eine neue Methode vor, die auf "Hypothetical Document Embeddings" (HyDE) basiert.
Bei HyDE wird zunächst ein Instruction-Following-Sprachmodell (wie InstructGPT), das dem Benutzer zur Verfügung steht, verwendet, um basierend auf der Suchanfrage ein hypothetisches Dokument zu erstellen. Dieses Dokument simuliert Relevanzmuster, muss aber nicht unbedingt faktisch korrekt sein. Anschließend kodiert ein kontrastiv trainierter Encoder (z.B. Contriever) dieses generierte Dokument in einen Vektor-Embedding. Dieser Embedding identifiziert dann eine Umgebung im Korpus-Vektorraumbereich, und ähnliche reale Dokumente werden anhand der Vektorähnlichkeit abgerufen. Durch diesen zweistufigen Ansatz wird die Generierung durch den Sprachmodellteil mit dem anschließenden Abgleich im echten Dokumentenkorpus kombiniert.
Die Experimente zeigen, dass HyDE deutlich besser abschneidet als aktuelle Methoden wie Contriever und vergleichbare Ergebnisse erzielt oder sogar übertrifft, die durch Finetuning erreicht wurden. Dies gilt insbesondere für verschiedene Aufgaben (z.B. Websuche, Frage-Antwort-Systeme, Faktenüberprüfung) und Sprachen (darunter auch Swahili, Koreanisch und Japanisch). HyDE bietet somit eine vielversprechende Möglichkeit für effektive Zero-Shot-Retrieval-Systeme ohne die Notwendigkeit von Relevanzkennzeichnungen oder Finetuning.

Reciprocal Rank Fusion (RRF) ist eine einfache, aber effektive Methode zur Kombination von Dokumentenranglisten aus mehreren Informationssystemen. In einer Reihe von Experimenten hat sich RRF als überlegen erwiesen gegenüber etablierten Methoden wie Condorcet Fusion und CombMNZ sowie individuellen Ranking-Algorithmen.
Die Autoren demonstrierten dies anhand von TREC-Experimenten und des LETOR 3-Datensatzes, wobei RRF durchweg bessere Ergebnisse erzielte. Die Methode basiert auf einer intuitiven Formel zur Berechnung der RRF-Punktzahl eines Dokuments, die den Einfluss höherrangiger Dokumente berücksichtigt, aber auch die Bedeutung niedrigerer Positionen erhält. Ein konstanter Faktor (k = 60) wurde eingeführt, um den Einfluss von Ausreißern zu reduzieren und eine ausgewogene Bewertung sicherzustellen.
In Pilotstudien und TREC-Tests übertraf RRF konkurrierende Ansätze durchgängig um etwa 4–5 %. Signifikanztests bestätigten diese Verbesserungen statistisch bedeutsam (p < 0,05). Selbst im Vergleich zu Methoden, die menschliche Eingaben nutzten, war der Leistungsunterschied gering oder zugunsten von RRF.
Zusammenfassend lässt sich sagen, dass RRF eine einfache, robuste und effektive Metamethode darstellt, die ohne aufwändiges Training auskommt und stets zuverlässig hochwertige Ergebnisse liefert.