RAG PDF Dokumente – Übersicht

In der heutigen Zeit stellen Large Language Models (LLMs) eine Schlüsseltechnologie für zahlreiche Anwendungen dar, darunter Chatbots, virtuelle Assistenten und Code-Generatoren. Trotz ihrer beeindruckenden Fähigkeiten weisen LLMs auch Einschränkungen auf: Ihr Wissen ist auf bestimmte Datenstände beschränkt, sie neigen zu Ungenauigkeiten oder "Halluzinationen" und haben keinen Zugriff auf private Unternehmensdaten. Um diese Probleme zu überwinden, wird Retrieval-Augmented Generation (RAG) immer beliebter.
RAG ergänzt das Wissen eines LLMs durch zusätzliche, spezifische Informationsquellen, ohne dass ein zeitaufwändigen und kostspieligen Fine-Tuning-Prozess erforderlich ist. Bei RAG werden Benutzeranfragen mit Informationen aus einer vorgegebenen Wissensdatenbank angereichert, wodurch genauere, aktuellere Antworten entstehen. Dies ermöglicht es Unternehmen beispielsweise, Chatbots zu erstellen, die auf dem neuesten Stand ihres Produktwissens oder Serviceangeboten sind und Kunden präzise Auskünfte geben können.
Ein typischer RAG-Workflow besteht aus mehreren Phasen: Zunächst werden Dokumente geladen, in Textabschnitte unterteilt und anschließend mithilfe von Vektoreinbettungen in numerische Form gebracht. Diese Vektorrepräsentationen werden dann in einer Datenbank gespeichert, um schnell durchsucht werden zu können. Bei einer Benutzeranfrage wird diese ebenfalls in einen Vektor umgewandelt, der dann mit den Dokumentenvektoren verglichen wird, um relevante Informationen abzurufen und dem LLM als Kontext zur Generierung einer Antwort zu dienen.
Durch den Einsatz von OpenVINO™ und LangChain lässt sich eine effiziente RAG-Pipeline aufbauen, die von Best-in-Class Leistung bis hinunter zur einfachen Bereitstellung in Cloud- oder Serverumgebungen reicht. Der Ansatz verbessert nicht nur die Qualität der Antworten durch Faktenbasiertheit und Aktualität, sondern schafft auch Transparenz, da Quellenangaben möglich sind. Zusammenfassend lässt sich sagen, dass RAG eine kostengünstige und effektive Möglichkeit darstellt, das Potenzial von LLMs optimal zu nutzen und gleichzeitig deren Einschränkungen in Bezug auf Wissen, Genauigkeit und Zugriff auf aktuelle Informationen zu beheben.

Die vorliegende Arbeit stellt einen umfassenden Evaluationsrahmen für Retrieval-Augmented Generation (RAG) Systeme zur Fragebeantwortung mit großen Sprachmodellen (LLMs) dar. Das Framework umfasst die Phasen der Dokumentenaufnahme, Informationsbeschaffung, Antwortgenerierung und Bewertung. Es werden sowohl Ground-Truth-basierte als auch referenzfreie Evaluationsmetriken implementiert, um eine vielseitige Beurteilung zu gewährleisten.
Die Forscher führten umfangreiche Experimente mit verschiedenen Datensätzen durch, darunter NarrativeQA und ein proprietäres Finanzdatenset (FinAM-it), um die Zuverlässigkeit bestehender Metriken im Vergleich zu menschlichen Bewertungen zu untersuchen. Die Ergebnisse zeigen, dass Ground-Truth-basierte Metriken wie BEM und RAGAS Answer Correctness eine moderate Übereinstimmung mit menschlichen Urteilen aufweisen. Referenzfreie Metriken haben jedoch weiterhin Schwierigkeiten, die Qualität von Antworten ohne vordefinierte korrekte Antworten vollständig zu erfassen.
Eine detaillierte Analyse der Spearman-Korrelationskoeffizienten verdeutlichte die Beziehungen und den relativen Nutzen verschiedener Evaluationsansätze über mehrere Domänen hinweg. Die Studie betont die Notwendigkeit fortschrittlicherer, insbesondere referenzfreier Techniken, um menschliche Wahrnehmungen von Relevanz und Korrektheit besser abzubilden.
Insgesamt leistet diese Forschung einen wichtigen Beitrag zu zuverlässigen Evaluationsrahmen für RAG-Systeme, wodurch Fortschritte in der Verarbeitung natürlicher Sprache ermöglicht werden, die den Weg für genaue und menschenähnliche KI-Systeme ebnen.

In der medizinischen Datenanalyse stellt die Umwandlung unstrukturierter Texte in ein strukturiertes Format eine große Herausforderung dar. Diese Studie präsentiert eine automatisierte, lokal betriebene und datenschutzkonforme Pipeline, die Open-Source-Large-Language-Modelle (LLMs) mit Retrieval-Augmented-Generation (RAG)-Architektur nutzt, um medizinische Dokumente auf Deutsch zu verarbeiten und in strukturierte Daten zu überführen.
Die entwickelte Pipeline wurde anhand eines proprietären Datensatzes von 800 Originaluntersuchungsberichten getestet. Die Ergebnisse zeigten eine Genauigkeit von bis zu 90 % bei der Datenextraktion im Vergleich zur manuellen Bearbeitung durch Ärzte und medizinische Studenten. Dies unterstreicht das Potenzial des Systems als wertvolles Werkzeug, um relevante Informationen aus unstrukturierten Quellen effizient zu extrahieren.
Die Methode basiert auf einer Pipeline, die deutsche Dokumente zunächst in englische übersetzt, anschließend mithilfe von RAG wichtige Informationen identifiziert und diese schließlich in strukturierter Form für weitere Nutzungen bereitstellt. Die Genauigkeit der Extraktion wurde durch Vergleich mit manuell extrahierten Daten medizinischer Experten bewertet.
Die Autoren betonen, dass ihre Lösung nicht nur eine hohe Genauigkeitsrate erreicht, sondern auch Datenschutzaspekte berücksichtigt, da die Verarbeitung vollständig lokal und ohne externe Datentransfers erfolgt. Zukünftige Forschungsarbeiten sollen sich auf weitere Verbesserungen der Modellgenauigkeit bei unterschiedlichen Dokumentformaten und medizinischen Fachterminologien konzentrieren.
Zusammenfassend lässt sich sagen, dass diese automatisierte Pipeline eine effiziente Lösung darstellt, um unstrukturierte medizinische Daten zu strukturieren, was besonders im Hinblick auf die zunehmende Digitalisierung des Gesundheitswesens von großem Nutzen sein kann.

# 📚 Zusammenfassung des Dokuments "2024.ccl-2.9.pdf"
Die Arbeit befasst sich mit der wichtigen Frage, wie große Sprachmodelle (LLMs) durch den Einsatz von externen Wissensquellen verbessert werden können, insbesondere im Hinblick auf ihre Einschränkungen bei veraltetem Wissen und spezifischen Domänenbeschränkungen.
## 🔍 **Methoden & Trends**
- **Aktuelle Entwicklung:** Integration von Retrieval-Augmented Generation (RAG)-Techniken zur Verbesserung der LLMs.
- **Schwerpunkte:**
- Wann ist es sinnvoll, externe Informationen durchzuziehen? (Retrieval Timing)
- Wie kann man relevante Inhalte effizient beschaffen? (Retrieval Paradigms)
- Wie nutzt man die abgerufenen Informationen optimal zur Verbesserung der Generierungsergebnisse?
## 🎯 **Zentrale Ergebnisse & Schlussfolgerungen**
- LLMs zeigen trotz ihrer Größe Einschränkungen bei Aktualität und Spezialwissen.
- Externe Wissensquellen, intelligent beschafft und verarbeitet, verbessern die Qualität und Zuverlässigkeit von LLM-Antworten deutlich.
- Die Forschungsgemeinschaft konzentriert sich zunehmend auf automatisierte Strategien zur Verbesserung der Effizienz und Genauigkeit von RAG-Systemen.
## 💡 **Ausblick & Potenziale**
Die Autoren betonen das große Potenzial für zukünftige Forschungsarbeiten, insbesondere in den Bereichen:
- Entwicklung adaptiver Retrieval-Strategien, die sich dynamisch an den Kontext anpassen.
- Verbesserung der Methoden zur Konflikterkennung und -lösung zwischen internem Modellwissen und externen Quellen.
- Schaffung besserer Datensätze und Evaluationsmethoden, um Fortschritte in diesem Bereich zuverlässig zu messen.
## 🔑 **Schlüsselwörter**
Retrieval-Augmented Generation, Große Sprachmodelle, Information Retrieval, Künstliche Intelligenz, Natural Language Processing

Die Arbeit befasst sich mit der Bewertung von Retrieval Augmented Generation (RAG) Metriken für Frage-Antwort-Systeme im Telekommunikationsbereich. Aktuelle Frameworks wie RAGAS nutzen Large Language Models (LLMs), um die Qualität generierter Antworten zu bewerten, jedoch fehlt es oft an Transparenz bezüglich der Ableitung der numerischen Werte dieser Metriken.
Die Autoren präsentieren eine modifizierte Version des RAGAS-Frameworks, das Zwischenergebnisse und Prompt-Ausgaben offenlegt, was eine bessere Nachvollziehbarkeit und Anpassbarkeit ermöglicht. Sie analysieren die Leistung von Expertenbewertungen in Bezug auf diese Metriken (Faithfulness, Relevanz von Kontext/Antworten, Korrektheit usw.) und identifizieren Herausforderungen bei der Anwendung im Telekommunikationsbereich.
Ein Schwerpunkt liegt auf der Untersuchung, wie sich korrekte bzw. fehlerhafte Retrieval-Ergebnisse auf die Metrikwerte auswirken. Weiterhin wird analysiert, ob domänenspezifische Anpassungen von Embeddings oder das Instruction Tuning von LLMs die Qualität und Aussagekraft der RAGAS-basierten Evaluation verbessern.
Die Ergebnisse zeigen, dass die Eignung und Effektivität dieser Metriken im Telekommunikationsbereich kritisch hinterfragt werden muss. Die Arbeit identifiziert wichtige Aspekte für eine robuste Bewertung von RAG-Systemen in technischen Domänen und liefert Empfehlungen zur Verbesserung der Evaluationsmethodik.

Das vorliegende Masterarbeitsprojekt befasst sich mit der Entwicklung eines intelligenten Suchsystems, das auf der Retrieval-Augmented Generation (RAG)-Methode basiert. Ziel ist es, die Genauigkeit und Relevanz von Suchergebnissen zu verbessern, insbesondere bei offiziellen Dokumenten wie dem Boletín Oficial de la Universidad de La Laguna (BOULL).
Im Rahmen des Projekts wurde eine Datenverarbeitungs-Pipeline implementiert, welche die Dokumente in sinnvolle Textabschnitte unterteilt. Diese Abschnitte werden dann mithilfe vortrainierter Sprachmodelle in Vektorrepräsentationen umgewandelt und in einer Vektordatenbank (ChromaDB) gespeichert. Bei Suchanfragen nutzt das System fortgeschrittene Distanzberechnungsmethoden, um relevante Textfragmente zu identifizieren. Diese werden dann als Kontext für ein generatives KI-Modell verwendet, um präzise und kohärente Antworten zu formulieren.
Die Evaluation des Systems erfolgte anhand eines Fragenkatalogs, der sowohl die Qualität der Informationsrückgewinnung als auch die Nützlichkeit der generierten Antworten bewertete. Die Ergebnisse zeigen eine deutliche Verbesserung hinsichtlich Genauigkeit und Relevanz im Vergleich zu traditionellen Methoden. Dies bestätigt die Effektivität der RAG-Methode in diesem Kontext.
Neben der technischen Lösung für das Problem der Informationsbeschaffung bietet diese Arbeit auch eine solide Grundlage für zukünftige Forschungsarbeiten, insbesondere im Bereich Natural Language Processing und intelligentes Management öffentlicher Informationen.

Die Retrieval-Augmented Generation (RAG) ist eine innovative Methode der Künstlichen Intelligenz, die im Bereich der Verarbeitung natürlicher Sprache eingesetzt wird. Sie kombiniert Techniken zur Informationsbeschaffung mit Sprachmodellen, um präzisere und detailliertere Texte zu generieren. Im Kern nutzt RAG relevante Dokumente als zusätzlichen Kontext, was besonders in Anwendungen wichtig ist, bei denen exakte und vollständige Informationen erforderlich sind.
Ziel des Projekts war es, die Effizienzsteigerung durch den Einsatz von RAG-Techniken bei der Informationsgewinnung aus Dokumenten zu untersuchen. Die Autoren beschreiben notwendige Systeme für eine praktische Implementierung und zeigen auf, wie sich diese Technik positiv auf Arbeitsabläufe auswirken kann.
Die Arbeit betont zudem, wie künstliche Intelligenz zunehmend unseren Alltag und unsere Arbeitsmethoden verändert. Werkzeuge wie RAG ermöglichen es, große Informationsmengen schneller und präziser zu bearbeiten. Das Projekt hebt hervor, dass die Integration von KI-Technologien in den beruflichen und privaten Bereich unser Potenzial zur schnellen und genauen Bearbeitung großer Datenmengen deutlich verbessert.
Zusammenfassend lässt sich sagen, dass RAG eine Schlüsseltechnologie darstellt, um die Effizienz bei der Informationsgewinnung zu steigern und gleichzeitig einen Mehrwert für viele Bereiche unseres Lebens zu schaffen.

In der automatisierten Bewertung von Retrieval-Augmented Generation (RAG)-Systemen bestehen Herausforderungen wie Halluzinationen bei domänenspezifischem Wissen und das Fehlen standardisierter Benchmarks für unternehmensinterne Aufgaben. Dies erschwert die Bewertung von RAG-Varianten, beispielsweise RAG-Fusion (RAGF), insbesondere in Produkt-QA-Szenarien wie bei Infineon Technologies.
Um diese Probleme zu lösen, schlagen die Autoren ein umfassendes Bewertungsframework vor, das Large Language Models (LLMs) zur Erstellung großer Datensätze synthetischer Fragen nutzt, basierend auf realen Benutzeranfragen und domänenspezifischen Dokumenten. Mittels LLM-as-a-Judge wird die Qualität der abgerufenen Dokumente und Antworten bewertet, um schließlich verschiedene RAG-Agentenvarianten mithilfe des automatisierten Elo-basierten Wettbewerbs (RAGElo) zu ranken.
Die Bewertung durch den LLM-als-Richter korreliert moderat positiv mit der Expertenbewertung in Bezug auf Relevanz, Genauigkeit, Vollständigkeit und Präzision. RAGF zeigte im Elo-Score eine bessere Leistung als einfaches RAG, jedoch wurde bei näherer Betrachtung festgestellt, dass RAGF in der Vollständigkeit deutlich besser ist, während es hinsichtlich der Präzision leicht schlechter abschneidet. Das Infineon-RAGF-Assistentenmodell demonstrierte zudem höhere Punktzahlen bei der Dokumentrelevanz (MRR@5).
Die Ergebnisse zeigen, dass RAGElo die menschlichen Annotationspräferenzen positiv widerspiegelt, wobei jedoch weiterhin Vorsicht geboten ist. Insgesamt führt der Ansatz von RAGF zu vollständigeren Antworten und besserer Qualität gemäß der Expertenannotation und den Kriterien von RAGElo.

Retrieval-Augmented Generation (RAG) hat sich im vergangenen Jahr zu einer zentralen Strategie entwickelt, um die Zuverlässigkeit und Kontrollierbarkeit von Anwendungen großer Sprachmodelle (LLMs) in industriellen Umgebungen zu verbessern. Dieses White Paper fasst aktuelle Entwicklungen, Herausforderungen und bewährte Verfahren zusammen, um Unternehmen bei der erfolgreichen Einführung und Nutzung von RAG-Technologien zu unterstützen.
RAG ermöglicht es Unternehmen, LLMs mit eigenen Daten zu erweitern, wodurch Antworten präziser, nachvollziehbarer und auf den neuesten Stand gebracht werden können. Eine naive Implementierung von RAG ist jedoch oft nicht ausreichend; daher betont das White Paper die Notwendigkeit fortgeschrittener Techniken wie HyDE (Hybrid Document Embedding) oder adaptive Retrieval-Methoden zur nachhaltigen Verbesserung der Qualität.
Um eine erfolgreiche Industrialisierung von RAG zu gewährleisten, werden fünf detaillierte "RAG-Rezepte" vorgestellt, die auf reale Herausforderungen zugeschnitten sind:
1. **Cold Start Recipe**: Strategien für das Chunking und Embedding ohne umfangreichen Evaluationsdatensatz.
2. **Virtual Havruta Recipe**: Optimierung der Abfrageformulierungen zur Unterstützung komplexer Kontexte und präziser Quellenangaben.
3. **Deepset Recipe**: Nutzung von Metadaten zur Verbesserung der Filterung, Suche und Reihenfolgezuordnung.
4. **Jina AI Recipe**: Agentenbasierte Ansätze für spezifische Aufgaben wie die Patentaktenrecherche unter Verwendung strukturierter Daten (SQL).
5. **RAGAR Recipe**: Multimodale RAG-gestützte Argumentation zur Unterstützung von Faktenchecks und komplexen Reasoning-Aufgaben.
Neben den technischen Aspekten betont das White Paper auch die Bedeutung einer systematischen Evaluierung von RAG-Systemen. Es werden aktuelle Evaluationsframeworks analysiert, ihre Stärken und Schwächen aufgezeigt und ein klarer Bedarf nach standardisierten Metriken gefordert, um Qualität, Zuverlässigkeit und Skalierbarkeit konsistent zu messen und sicherzustellen.
Zusammenfassend lässt sich sagen, dass dieses White Paper einen praktischen Leitfaden für Unternehmen darstellt, die RAG-Technologien strategisch einsetzen wollen: von der initialen Planung über konkrete Implementierungsstrategien bis hin zur kontinuierlichen Verbesserung durch strukturierte Evaluation.

Die Arbeit stellt eine neue Methode zur automatisierten Bewertung von Retrieval-Augmented Language Models (RAG) vor, die auf der Erstellung einer aufgabenspezifischen Aufgabenprüfung basiert. Die Prüfung besteht aus Multiple-Choice-Fragen, die automatisch anhand des Korpus an Dokumenten erstellt werden, die mit der jeweiligen Aufgabe verbunden sind. Diese Methode ermöglicht eine effiziente, interpretierbare und skalierbare Bewertung von RAG-Systemen, ohne dass menschliche Annotatoren erforderlich sind.
Die Forscher nutzen Item Response Theory (IRT), um die Qualität und Informationsgehaltigkeit der Prüfung zu schätzen und diese iterativ durch Verbesserung oder Entfernung weniger informativer Fragen zu optimieren. Der Ansatz wurde auf vier neuen Aufgabenstellungen demonstriert: AWS DevOps Troubleshooting Guides, Arxiv Abstracts, StackExchange-Fragen und SEC-Einreichungen.
Die Ergebnisse zeigen, dass die Wahl des richtigen Retrieval-Algorithmus oft größere Leistungsgewinne erzielt als alleinige Verwendung größerer Sprachmodelle. Die entwickelte Methode bietet nicht nur eine automatisierte Möglichkeit zur Auswahl optimaler RAG-Komponenten, sondern liefert auch allgemeine Einblicke in Faktoren wie Modellgröße, Prompt-Techniken und Fine-Tuning-Strategien.
Zusammenfassend lässt sich sagen, dass die Arbeit einen wichtigen Beitrag zur automatisierten, effizienten und aufgabenorientierten Bewertung von Retrieval-Augmented Language Models leistet und gleichzeitig wertvolle Erkenntnisse für deren Leistungsoptimierung liefert.

Das Whitepaper von Dell mit dem Titel "Skalierbare Architektur für Retrieval-Augmented Generation (RAG) mit NVIDIA Microservices" beschreibt eine umfassende Lösung zum Einsatz generativer KI-Modelle auf Dell Infrastruktur. Ziel ist es, Unternehmen eine Enterprise-Grade-End-to-End-Lösung zu bieten, die Ressourcen effizient nutzt und somit Kosten reduziert sowie den Return on Investment verbessert.
Das Dokument beleuchtet die Bedeutung von LLMs (Large Language Models) und RAG (Retrieval Augmented Generation), insbesondere im Hinblick auf generative KI-Chatbots. Es wird gezeigt, wie Dell Technologien in Partnerschaft mit NVIDIA eine optimierte Umgebung schaffen, um Unternehmen bei der Bewältigung ihrer speziellen Herausforderungen zu unterstützen – sei es durch die Verbesserung des Kundensupports, die Automatisierung interner Prozesse oder die Bereitstellung schneller Informationszugriffswege für Mitarbeiter.
Im Kern wird eine Kubernetes-basierte Architektur vorgestellt, die Dell PowerScale Storage und NVIDIA Cloud Native Stack nutzt. Diese Kombination ermöglicht eine effiziente Orchestrierung, Skalierbarkeit und optimierte Leistung von KI-Anwendungen. Die Lösung umfasst alle Phasen des RAG-Workflows: Dokumentenaufnahme, Verarbeitung und Indexierung sowie die Generierung präziser und kontextbezogener Antworten durch fortschrittliche LLMs.
Ein besonderer Fokus liegt auf praktischer Anwendbarkeit: Das Whitepaper gibt detaillierte Einblicke in Hardware- und Softwarearchitektur, Implementierungsrichtlinien und Voraussetzungen für eine erfolgreiche Bereitstellung. Abschließend werden Testergebnisse vorgestellt, die zeigen, wie diese Architektur die Leistung und Effizienz von RAG-basierten KI-Anwendungen verbessert.

In der schnelllebigen Welt der Technik und des Vertriebs besteht für Ingenieure, Kundenbetreuer und Kunden die ständige Notwendigkeit, rasch auf Produktinformationen zuzugreifen. Um dieser Herausforderung zu begegnen, hat Infineon das Retrieval-Augmented Generation (RAG)-Framework in seinen virtuellen Assistenten implementiert. Eine aktuelle Weiterentwicklung ist nun RAG-Fusion, eine Methode, die RAG mit dem Prinzip der „Reciprocal Rank Fusion“ (RRF) kombiniert.
Der Kern von RAG-Fusion liegt in der Generierung mehrerer Suchanfragen aus einer ursprünglichen Benutzerfrage, deren Rangfolge durch RRF bestimmt wird. Anschließend werden Dokumente und Ergebnisse zusammengeführt, um umfassendere Antworten zu erstellen. In manuellen Tests zeigte sich, dass RAG-Fusion präzisere, relevantere und vollständigere Antworten liefert als traditionelle RAG-Chatbots. Gelegentlich schlichen sich jedoch themenfremde Antworten ein, wenn die generierten Suchanfragen nicht ausreichend auf die ursprüngliche Frage bezogen waren.
Diese Innovation ermöglicht es Infineon, seine Kunden umfassender zu unterstützen, indem sie vielfältige Perspektiven und Detailinformationen berücksichtigt. RAG-Fusion stellt einen bedeutenden Fortschritt in der Anwendung von künstlicher Intelligenz (KI) und Natural Language Processing (NLP) dar und verändert die Art und Weise, wie Unternehmen weltweit mit ihren Kunden interagieren und Informationen bereitstellen.

Im Rahmen der ICLR 2023 präsentierten Yao et al. eine neue Methode namens ReAct, die Reasoning (Denken) und Acting (Handeln) in Sprachmodellen kombiniert. Bisher wurden diese beiden Aspekte meist getrennt betrachtet. ReAct ermöglicht es dem Modell, sowohl überlegende als auch handlungsorientierte Schritte auszuführen, wodurch ein synergistischer Effekt entsteht: Die Reasoning-Traces unterstützen die Planung von Aktionen und das Anpassen an unerwartete Situationen, während die Actions eine Interaktion mit externen Quellen wie Wissensdatenbanken oder Umgebungen ermöglichen.
Die Forscher demonstrierten ReAct in verschiedenen Aufgabenbereichen, darunter Question Answering (HotpotQA), Fact Verification (Fever), sowie in interaktiven Entscheidungsumgebungen (ALFWorld und WebShop). Dabei zeigte sich, dass ReAct die Leistung im Vergleich zu aktuellen Methoden deutlich verbessert: Bei HotpotQA und Fever reduzierte es Halluzinationen und Fehlerursachen durch Wissensabfragen von Wikipedia. In den interaktiven Umgebungen übertraf ReAct Imitations- und Reinforcement-Learning-Methoden um bis zu 34 % bei der Erfolgsquote, selbst wenn nur wenige Beispiele im Kontext gegeben waren.
Ein weiterer Vorteil von ReAct ist die erhöhte Interpretierbarkeit: Die Kombination aus Reasoning-Traces und Actions erzeugt nachvollziehbare Lösungswege, die den menschlichen Kognitionsprozessen stärker ähneln als bisherige Ansätze. Insgesamt stellt ReAct einen wichtigen Schritt dar, um Sprachmodelle intelligenter, robuster und menschenähnlicher zu machen.

In der Forschung zur Informationsrückgewinnung ist es schwierig, ohne explizite Relevanzkennzeichnungen effektive Methoden für die dichte Retrieval-Suche zu entwickeln. Um dieses Problem anzugehen, schlagen die Autoren in diesem Dokument eine neue Methode vor, die auf "Hypothetical Document Embeddings" (HyDE) basiert.
Bei HyDE wird zunächst ein Instruction-Following-Sprachmodell (wie InstructGPT), das dem Benutzer zur Verfügung steht, verwendet, um basierend auf der Suchanfrage ein hypothetisches Dokument zu erstellen. Dieses Dokument simuliert Relevanzmuster, muss aber nicht unbedingt faktisch korrekt sein. Anschließend kodiert ein kontrastiv trainierter Encoder (z.B. Contriever) dieses generierte Dokument in einen Vektor-Embedding. Dieser Embedding identifiziert dann eine Umgebung im Korpus-Vektorraumbereich, und ähnliche reale Dokumente werden anhand der Vektorähnlichkeit abgerufen. Durch diesen zweistufigen Ansatz wird die Generierung durch den Sprachmodellteil mit dem anschließenden Abgleich im echten Dokumentenkorpus kombiniert.
Die Experimente zeigen, dass HyDE deutlich besser abschneidet als aktuelle Methoden wie Contriever und vergleichbare Ergebnisse erzielt oder sogar übertrifft, die durch Finetuning erreicht wurden. Dies gilt insbesondere für verschiedene Aufgaben (z.B. Websuche, Frage-Antwort-Systeme, Faktenüberprüfung) und Sprachen (darunter auch Swahili, Koreanisch und Japanisch). HyDE bietet somit eine vielversprechende Möglichkeit für effektive Zero-Shot-Retrieval-Systeme ohne die Notwendigkeit von Relevanzkennzeichnungen oder Finetuning.

Reciprocal Rank Fusion (RRF) ist eine einfache, aber effektive Methode zur Kombination von Dokumentenranglisten aus mehreren Informationssystemen. In einer Reihe von Experimenten hat sich RRF als überlegen erwiesen gegenüber etablierten Methoden wie Condorcet Fusion und CombMNZ sowie individuellen Ranking-Algorithmen.
Die Autoren demonstrierten dies anhand von TREC-Experimenten und des LETOR 3-Datensatzes, wobei RRF durchweg bessere Ergebnisse erzielte. Die Methode basiert auf einer intuitiven Formel zur Berechnung der RRF-Punktzahl eines Dokuments, die den Einfluss höherrangiger Dokumente berücksichtigt, aber auch die Bedeutung niedrigerer Positionen erhält. Ein konstanter Faktor (k = 60) wurde eingeführt, um den Einfluss von Ausreißern zu reduzieren und eine ausgewogene Bewertung sicherzustellen.
In Pilotstudien und TREC-Tests übertraf RRF konkurrierende Ansätze durchgängig um etwa 4–5 %. Signifikanztests bestätigten diese Verbesserungen statistisch bedeutsam (p < 0,05). Selbst im Vergleich zu Methoden, die menschliche Eingaben nutzten, war der Leistungsunterschied gering oder zugunsten von RRF.
Zusammenfassend lässt sich sagen, dass RRF eine einfache, robuste und effektive Metamethode darstellt, die ohne aufwändiges Training auskommt und stets zuverlässig hochwertige Ergebnisse liefert.