Feinabstimmung

In einer aktuellen Studie hat Nvidia herausgefunden, dass die Kontrolle von AI-Agenten wichtiger ist als die reine Leistungsfähigkeit der zugrunde liegenden Modelle. Diese Erkenntnis fordert Unternehmen dazu auf, ihre Strategien zur Implementierung von AI-Agenten zu überdenken. Durch gezielte Feinabstimmung und effektive Kontrollmechanismen können auch weniger leistungsstarke Modelle zuverlässige Ergebnisse liefern. Dies könnte die Dynamik im AI-Markt verändern, da Unternehmen nicht mehr auf die neuesten Modelle warten müssen, sondern bestehende Technologien besser nutzen können. Nvidia könnte von dieser Erkenntnis profitieren, indem es seine Strategie von reinen Chipverkäufen hin zu einer umfassenderen AI-Infrastruktur und -Werkzeugen anpasst. Auch Startups, die sich auf AI-Agenten-Plattformen konzentrieren, können durch überlegene Feinabstimmungstechniken Wettbewerbsvorteile erlangen. Letztlich zeigt die Studie, dass der Fokus auf die Optimierung der Kontrollmechanismen verlagert werden sollte, was Unternehmen einen praktischen Ansatz zur Implementierung von AI-Agenten bietet.

Calgary App Developer hat sein Angebot an KI-Dienstleistungen erweitert, um kanadischen Unternehmen den Übergang von KI-Prototypen zu produktionsreifen Systemen zu erleichtern. Die neuen Services umfassen die Entwicklung von KI-Proof-of-Concepts und die Feinabstimmung von KI-Modellen, die darauf abzielen, Unternehmen bei der schnellen Validierung und Anpassung von KI-Konzepten an reale Geschäftsdaten zu unterstützen. In einem Umfeld, in dem viele Firmen konkrete, zuverlässige Lösungen suchen, ermöglichen die Proof-of-Concept-Dienste das Testen spezifischer KI-Anwendungsfälle innerhalb eines definierten Rahmens. Zudem verbessert die Feinabstimmung bestehender Modelle deren Genauigkeit und reduziert die Abhängigkeit von generischen Lösungen. Die neuen Dienstleistungen orientieren sich an Cloud-nativen Architekturen und berücksichtigen Sicherheits- sowie Datenschutzstandards. Mit über 12 Jahren Erfahrung und einem Team von mehr als 230 Entwicklern hat Calgary App Developer bereits über 840 Projekte erfolgreich in verschiedenen Sektoren umgesetzt.

Der Artikel "Beyond Bots: Rethinking AI Support with a Hybrid AI Architecture" thematisiert die Herausforderungen herkömmlicher Chatbots und großer Sprachmodelle in KI-gestützten Support-Systemen, insbesondere hinsichtlich Datensicherheit und Antwortqualität. Um diesen Problemen zu begegnen, wird ein hybrider Ansatz empfohlen, der Retrieval-Augmented Generation (RAG) mit feinabgestimmten Sprachmodellen kombiniert. RAG sorgt für präzise Informationen, während das feinabgestimmte Modell die Kommunikation dieser Informationen optimiert. Durch die Erstellung einer kuratierten Wissensdatenbank wird die Genauigkeit der Antworten erhöht und die Rate von Halluzinationen verringert. Dennoch reicht RAG allein nicht aus, um Konsistenz und Tonalität der Antworten zu gewährleisten, weshalb eine Feinabstimmung des Modells erforderlich ist. Diese verbessert zwar die Struktur und den Ton der Antworten, kann jedoch die faktische Genauigkeit bei spezifischen Anfragen beeinträchtigen. Insgesamt führt die Kombination beider Ansätze zu einer signifikanten Verbesserung der Antwortqualität, indem sowohl faktische Richtigkeit als auch Kommunikationskonsistenz optimiert werden.

In dem Artikel "Do We Need to Fine-tune Every LLM?" wird die gängige Praxis von AI-Teams hinterfragt, bei Problemen mit Sprachmodellen sofort eine Feinabstimmung in Betracht zu ziehen. Stattdessen wird empfohlen, zunächst die spezifischen Ursachen für die Probleme zu analysieren, da diese variieren können. Mögliche Ursachen sind der Bedarf an aktuellen Informationen, Schwierigkeiten mit dem Format oder fehlende Fähigkeiten für bestimmte Aufgaben. Um diese Probleme zu beheben, stehen verschiedene Ansätze zur Verfügung, wie retrieval-augmented generation (RAG), low-rank adaptation (LoRA) und vollständige Feinabstimmung. RAG ergänzt das Modell mit nützlichen Informationen, während LoRA nur Teile des Modells anpasst. Die vollständige Feinabstimmung hingegen verändert alle Gewichtungen des Modells. Die Wahl der Methode sollte auf den spezifischen Anforderungen basieren, um den Erfolg des Modells zu gewährleisten.

In der Implementierung von Retrieval-Augmented Generation (RAG) zeigt sich, dass Teams oft viel Zeit in die Auswahl und Feinabstimmung von Sprachmodellen investieren, jedoch häufig ungenaue Ergebnisse erhalten. Das Problem liegt nicht im Sprachmodell, sondern in der Retrieval-Schicht, die entscheidend dafür ist, welche Informationen dem Modell zur Verfügung stehen. Traditionelle Keyword-Suchmethoden versagen, da sie die Nutzerintention nicht erkennen und oft irrelevante Informationen liefern. Im Gegensatz dazu ermöglicht die KI-gestützte semantische Suche, die Bedeutung hinter den Fragen zu erfassen, was zu relevanteren Ergebnissen führt. Hybrid-Suchansätze, die semantische und Keyword-Suche kombinieren, verbessern die Qualität der Retrieval-Ergebnisse erheblich. Die Effizienz der Retrieval-Schicht ist entscheidend für die Qualität der Antworten in einem RAG-System, weshalb Teams ihre Systeme um diese Schicht herum aufbauen sollten. Eine sorgfältige Evaluierung der Retrieval-Qualität und Datenpflege sind notwendig, um die Systemleistung zu optimieren. KI-Suche ist somit nicht nur ein zusätzliches Feature, sondern die grundlegende Infrastruktur für RAG-Systeme.

In dem Artikel "Unsloth vs Axolotl vs TRL: 87% of Your Fine-Tuning VRAM Goes to a Tensor You Never Wrote" wird aufgezeigt, dass bei der Feinabstimmung von KI-Modellen wie Llama 3.1 und gpt-oss-20b ein überwältigender Teil des VRAMs, nämlich 87,3% beziehungsweise 95,2%, für einen nicht sichtbaren Tensor verwendet wird. Dieser Tensor, der für die Berechnung des Kreuzentropieverlusts zuständig ist, existiert nur kurzzeitig und liefert lediglich einen einzelnen Wert, was zu einem viermal höheren Speicherbedarf für den Verlust im Vergleich zum eigentlichen Modell führt. Dies wirft Fragen zur Effizienz der Ressourcenverwendung auf. Die drei Frameworks Unsloth, Axolotl und TRL unterscheiden sich nicht nur in der Geschwindigkeit, sondern auch in ihrem Umgang mit diesem Tensor. Der Autor hat einen 120-zeiligen Rechner entwickelt, um die Speicherkosten zu analysieren und die Ergebnisse mit bestehenden Benchmark-Daten zu vergleichen. Diese Erkenntnisse könnten die Perspektive von Entwicklern und Forschern auf die Effizienz von Modellen und deren Feinabstimmung grundlegend verändern.

Am Launchtag hat das neue 975B-Parameter-Modell „Inkling“ von Mira Murati’s Thinking Machines Lab eine bemerkenswerte Selbstoptimierung durch Feinabstimmung vorgenommen. Ziel des Modells war es, ein Lipogramm zu erstellen, das den Buchstaben „e“ konsequent vermeidet, was mit herkömmlichen Methoden nicht zuverlässig erreicht werden kann. Innerhalb weniger Stunden nach der Veröffentlichung am 15. Juli erzielte Inkling eine Punktzahl von 41 im Intelligence Index und übertraf damit Konkurrenzmodelle wie NVIDIA’s Nemotron 3 Ultra und Gemma 4 31B. Trotz dieser beeindruckenden Leistung räumte das Labor ein, dass Inkling nicht das stärkste verfügbare Modell ist, was Fragen zur tatsächlichen Leistungsfähigkeit aufwirft. Diese ehrliche Einschätzung folgt auf 18 Monate Entwicklungszeit und Investitionen von 2 Milliarden Dollar. Der Artikel behandelt die technischen Details des Modells sowie die Reaktionen der Community auf dessen Veröffentlichung.

Der Artikel "DPO Fine-Tuning from First Principles in Python" erläutert das Direct Preference Optimization (DPO) Verfahren als vereinfachte Methode zur Feinabstimmung großer Sprachmodelle (LLMs). Im Gegensatz zum traditionellen Reinforcement Learning from Human Feedback (RLHF), das mehrere Modelle und zahlreiche Hyperparameter erfordert, integriert DPO alle Schritte in einen einzigen überwachten Verlust über Präferenzpaare. Dadurch entfällt die Notwendigkeit eines Belohnungsmodells und eines RL-Loops. Diese Vereinfachung reagiert auf die Herausforderungen des Standard-RLHF, wie die Sammlung menschlicher Bewertungen und das Training eines Belohnungsmodells, die oft zu Instabilität und Schwierigkeiten bei der Feinabstimmung führen. DPO bietet somit eine effizientere und stabilere Alternative, die die Feinabstimmung von LLMs erleichtert und die Abhängigkeit von komplexen Modellen reduziert.

In der Präsentation "Fine Tuning the Enterprise: Reinforcement Learning in Practice" stellen Will Hang und Wenjie Zi von OpenAI die Agent Reinforcement Fine-Tuning (RFT) Plattform vor, die darauf abzielt, die Leistung autonomer Agenten in unterschiedlichen Anwendungen zu optimieren. Im Gegensatz zu herkömmlichen Modellen können diese Agenten eigenständig mit der Außenwelt interagieren und spezifische Aufgaben mithilfe von Werkzeugen erledigen. Zur Leistungssteigerung kommen Methoden wie Prompt-Optimierung, Tool-Anpassungen und Fine-Tuning zum Einsatz. Die RFT-Plattform ermöglicht es Agenten, aus eigenen Erfahrungen zu lernen und Belohnungen für erfolgreiches Verhalten zu erhalten, während sie mit externen Werkzeugen interagieren. Dies führt zu einer effizienteren Nutzung der Werkzeuge und verbessert die Gesamtleistung der Agenten. Erfolgreiche Anwendungsbeispiele in Bereichen wie Codierung, Finanzanalyse und Kundenservice zeigen, dass die Agent RFT signifikante Fortschritte erzielt hat, indem sie komplexe Probleme effektiver löst und die Interaktionen optimiert.

Target hat ein innovatives, KI-gestütztes System entwickelt, das auf großen Sprachmodellen basiert, um die Prognose von Marketingkampagnen zu optimieren. Das System identifiziert und bewertet ähnliche historische Kampagnen, bevor neue Kampagnen gestartet werden. Es wird von internen Marketing- und Analytikteams genutzt, um die Planung über verschiedene Kampagnentypen und -kanäle zu unterstützen. Durch die Kombination von Embeddings und einer retrieval-augmentierten Architektur konnte Target die Effizienz steigern und den manuellen Aufwand zur Identifizierung vergleichbarer Kampagnen erheblich reduzieren. Bei der Evaluierung erzielte das System eine Abdeckungsrate von 75 % für die beste Empfehlung und sogar 100 %, wenn die drei besten Empfehlungen berücksichtigt wurden. Im Vergleich zu früheren, regelbasierten Systemen bietet die neue Methode eine flexiblere Handhabung von Kampagnenvariationen. Die Architektur ermöglicht eine unabhängige Feinabstimmung der Phasen der Embedding-Generierung, Abfrage und Bewertung, was die Nachvollziehbarkeit verbessert. Ein integrierter Feedback-Mechanismus sorgt dafür, dass das System sich kontinuierlich an neue Kampagnenergebnisse anpasst und die Relevanz der historischen Übereinstimmungen optimiert.

In einem Experiment wurde ein 8B-Modell auf drei verschiedene Arten feinjustiert: vollständige Feinabstimmung, LoRA und QLoRA. Die kostspielige Methode, die 50.000 Dollar kostete, zeigte zwar bei einem Benchmark eine leichte Überlegenheit, beeinträchtigte jedoch die allgemeinen Fähigkeiten des Modells stärker als die kostengünstige Variante, die mit einer RTX 4090 für 1.500 Dollar trainiert wurde. Trotz identischer Daten und Epochen variierte lediglich die Anzahl der beweglichen Gewichte. Die Ergebnisse widersprechen der Annahme, dass vollständige Feinabstimmung die beste Methode sei, während LoRA und QLoRA als Budgetoptionen gelten. Zahlreiche peer-reviewed Studien belegen, dass vollständige Feinabstimmung zwar mehr lernt, aber auch mehr vergisst, während LoRA weniger lernt und vergisst. Diese Erkenntnisse sind für Forscher und Entwickler von Bedeutung, die Modelle feinjustieren möchten, da sie die strukturellen Unterschiede zwischen den Methoden verdeutlichen. Der Artikel bietet zudem detaillierte Informationen über die Gewichtsmatrizen und Anleitungen zur Reproduktion der kostengünstigen Methode auf einer Verbraucher-GPU.

Der Artikel "RAG from Scratch [Part 2]: Loading — The Step Everyone Skips and Everyone Regrets" beleuchtet die oft vernachlässigte, aber entscheidende Phase des Ladens in der Entwicklung von RAG-Pipelines. Viele Entwickler orientieren sich an Tutorials mit einfachen Daten und sind frustriert, wenn sie auf komplexe, inkonsistente Datenquellen stoßen. Diese Diskrepanz führt dazu, dass das Laden als unbedeutend betrachtet wird, obwohl es für 80% der Misserfolge in RAG-Projekten verantwortlich ist. Statt sich auf die Feinabstimmung von Prompts zu konzentrieren, sollten Teams die Qualität der Datenaufnahme priorisieren. Der Artikel betont, dass die meisten Probleme nicht im LLM oder Vektorstore liegen, sondern bereits bei der Datenintegration beginnen. Durch die Anerkennung der Bedeutung des Ladens können Entwickler die Effizienz ihrer Projekte steigern und häufige Fehler vermeiden.

In dem Artikel "Zero-Shot SAR-Optical Matching" wird die Fähigkeit vortrainierter Vision-Modelle untersucht, Satellitenbilder aus verschiedenen Sensoren, insbesondere Synthetic Aperture Radar (SAR) und optischen Bildern, ohne vorheriges Training zuzuordnen. Der Autor hebt die Unterschiede zwischen den beiden Bildgebungsverfahren hervor: SAR kann durch Wolken hindurchsehen, während optische Sensoren auf reflektiertes Sonnenlicht angewiesen sind. Diese Unterschiede stellen eine Herausforderung für die Bildzuordnung dar, die jedoch für Umweltüberwachung und Katastrophenreaktion entscheidend ist. Der Artikel analysiert fünf Merkmale vortrainierter Modelle, die ohne Feinabstimmung auf SAR- oder optische Daten angewendet werden. Ziel der Untersuchung ist es, das Modell mit den besten merkmalsinvarianten Eigenschaften für die Zuordnung zwischen SAR- und optischen Bildern zu identifizieren und den Einfluss der Merkmals-Extraktionsschicht zu bewerten.

Die Forschung des Toyota Research Institute zeigt, dass Multitask-KI-Modelle, auch große Verhaltensmodelle (LBMs) genannt, traditionelle Einzelaufgabenansätze in der Robotik deutlich übertreffen. Diese Modelle benötigen für vergleichbare Ergebnisse nur 3 bis 5 Mal weniger Trainingsdaten, was die Kosten und den Zeitaufwand für das Training erheblich reduziert. Mit fast 1.700 Stunden Trainingsdaten und 1.800 realen Tests konnten die Systeme komplexe Manipulationsaufgaben erfolgreich meistern. Die Ergebnisse deuten darauf hin, dass Multitasking-Ansätze die Entwicklung anpassungsfähigerer und effizienterer Robotersysteme beschleunigen könnten. Während traditionelle Modelle oft Schwierigkeiten haben, sich an neue Aufgaben anzupassen, zeigen LBMs eine verbesserte Flexibilität. Dennoch betonen die Forscher, dass Multitask-Modelle ohne Feinabstimmung nicht immer überlegen sind, was auf Einschränkungen in der Architektur zurückzuführen ist. Die Studie hebt die Herausforderungen bei der Evaluierung robotischer Systeme hervor und betont die Notwendigkeit großer Stichprobengrößen für zuverlässige Vergleiche. Insgesamt unterstützt die Forschung die Idee, dass Multitasking-Pretraining ein vielversprechender Ansatz zur Entwicklung leistungsfähigerer Roboter ist.

Der Artikel "RAG Chunking That Works: Semantic Splitting, Overlap, and Eval-Driven Tuning" behandelt innovative Ansätze zur Verbesserung der Chunking-Techniken in der Retrieval-Augmented Generation (RAG). Die Autoren präsentieren Methoden zur semantischen Aufteilung von Texten, die es ermöglichen, relevante Informationen effektiver zu extrahieren. Ein zentraler Aspekt ist die Implementierung von Überlappungen zwischen den Chunks, um den Kontext zu bewahren und die Qualität der generierten Inhalte zu erhöhen. Zudem wird ein evaluierungsgetriebener Ansatz zur Feinabstimmung der Chunking-Strategien vorgestellt, der auf empirischen Ergebnissen basiert. Die Ergebnisse zeigen, dass diese Techniken die Leistung von RAG-Modellen signifikant steigern können, indem sie die Relevanz und Kohärenz der generierten Texte verbessern. Der Artikel schließt mit Empfehlungen für die praktische Anwendung dieser Methoden in der Forschung und Industrie.

Der Artikel "RAG vs MCP: The Architectural Difference Every AI Developer Must Understand" beleuchtet die grundlegenden Unterschiede zwischen den beiden Architekturansätzen RAG (Retrieval-Augmented Generation) und MCP (Model-Centric Paradigm). RAG kombiniert die Stärken von Informationsabruf und generativer KI, indem es externe Datenquellen nutzt, um die Qualität und Relevanz der generierten Inhalte zu verbessern. Im Gegensatz dazu fokussiert sich MCP auf die Optimierung und Feinabstimmung von Modellen, um deren Leistung in spezifischen Anwendungen zu maximieren. Der Artikel diskutiert die Vor- und Nachteile beider Ansätze und hebt hervor, wie wichtig es für KI-Entwickler ist, diese Unterschiede zu verstehen, um die geeignete Architektur für ihre Projekte auszuwählen. Letztlich wird betont, dass die Wahl der Architektur entscheidend für den Erfolg von KI-Anwendungen ist.