KI Suche
Die Suche durchsucht Rubriken, Unterrubriken, Cluster, importierte Artikel, Firmen, Quellen und die wichtigsten Service-Seiten der KI-Linksammlung.
Suchergebnisse
25 Treffer für die aktuelle Abfrage.
Nota AI hat zwei Beiträge zur MoE-Quantisierung für den ICML 2026 Workshop eingereicht und beweist damit seine weltweite Wettbewerbsfähigkeit bei der Optimierung groß angelegter KI-Projekte
Nota AI hat zwei Beiträge zu MoE-spezifischen Quantisierungsalgorithmen für den ICML 2026 Workshop eingereicht, was die internationale Wettbewerbsfähigkeit des Unternehmens in der Optimierung groß angelegter KI-Projekte unterstreicht. Diese Einreichungen folgen dem Gesamtsieg von Nota AI beim NVIDIA
Quantisierung
Aktuelle Links, Zusammenfassungen und Marktinformationen zu Quantisierung innerhalb von Optimierung auf JetztStarten.de.
LLM Inference Explained: How Models Generate Responses Faster
Der Artikel "LLM Inference Explained: How Models Generate Responses Faster" erläutert den Inferenzprozess von großen Sprachmodellen (LLMs), bei dem diese Antworten auf neue Eingaben generieren, ohne ihre Modellgewichte zu verändern. Während der Inferenz bleibt die Anzahl der Parameter konstant, und
Geschrumpfte Chatbots: So passt die KI plötzlich in 4 GByte RAM
Die Quantisierung von Large Language Models (LLMs) ermöglicht deren Betrieb auf Consumer-Hardware mit nur 4 GByte RAM, was besonders für mobile Geräte von Bedeutung ist. Durch die Reduzierung der Genauigkeit der gespeicherten Gewichte können große Modelle wie Bonsai, die 27 Milliarden Parameter umfa
Stop the Download-and-Crash Cycle: Choose the Right Local AI Model with llmfit
Der Artikel "Stop the Download-and-Crash Cycle: Choose the Right Local AI Model with llmfit" behandelt die Schwierigkeiten bei der Auswahl geeigneter lokaler KI-Modelle und stellt das Open-Source-Tool llmfit vor. Viele Nutzer erleben, dass heruntergeladene Modelle nicht mit ihrer Hardware kompatibel
What really happens when you click ‘Send’ on ChatGPT
Wenn ein Nutzer eine Anfrage an ChatGPT sendet, durchläuft diese eine komplexe Infrastruktur. Zunächst wird der eingegebene Text in Token umgewandelt, die dann von einem Modellserver verarbeitet werden, der die Anfragen verwaltet und Berechnungen auf GPUs durchführt. Der Prozess besteht aus zwei Pha
Run 100B+ AI Models Locally? The Hardware You’ll Need
Der Artikel "Run 100B+ AI Models Locally? The Hardware You’ll Need" beleuchtet, wie moderne Technologien wie Modellquantisierung und Mixture-of-Experts-Architekturen in Verbindung mit leistungsstarken Verbraucher-GPUs es ermöglichen, KI-Modelle mit über 100 Milliarden Parametern lokal zu betreiben.
How Sub-2-Bit and 1-Bit Quantization Are Rewriting AI Infrastructure
In den letzten Jahren hat die AI-Infrastruktur durch Sub-2-Bit- und 1-Bit-Quantisierung einen grundlegenden Wandel erfahren, der die Betriebsweise von KI-Modellen revolutioniert. Diese neuen Ansätze ersetzen traditionelle Python-Orchestrierungsframeworks durch vortrainierte Modell-Schwärme, formale
Nota AI erhält internationale Anerkennung für seine Optimierungsforschung
Nota AI hat kürzlich internationale Anerkennung für seine bahnbrechende Optimierungsforschung erhalten, nachdem zwei Fachbeiträge zur Optimierung großer KI-Modelle bei der renommierten EMNLP 2026-Konferenz angenommen wurden. Diese Arbeiten, die innovative Verfahren zur Quantisierung von MoE-Modellen
Liquid AI LFM2.5 QAD: 97% de calidad en 4 bits
Am 19. August 2026 stellte Liquid AI die QAD Q40-Modelle der LFM2.5-Familie vor, die eine beeindruckende 97%ige Qualität im Vergleich zu BF16 bei einer Quantisierung auf 4 Bit erreichen. Dies wurde durch die innovative Technik der Quantization-Aware Distillation (QAD) ermöglicht, bei der ein hochprä
DeepSeek V4-Flash Broke 4-Bit Quantization: Q4 Is Only 4% Smaller Than Q8
Die Studie zu DeepSeek V4 zeigt, dass die 4-Bit-Quantisierung (Q4) in der Praxis nur geringfügige Vorteile gegenüber der 8-Bit-Quantisierung (Q8) bietet. Insbesondere wird festgestellt, dass Q4 lediglich 4% kleiner ist als Q8, was die Erwartungen an signifikante Speicher- und Leistungsgewinne in Fra
Muse Glimmer: Metas 30-Milliarden-KI läuft lokal auf Heimcomputern
Meta hat mit Muse Glimmer ein innovatives KI-Modell entwickelt, das 30 Milliarden Parameter umfasst und auf handelsüblicher Hardware betrieben werden kann. Durch gezielte Optimierungen und die Quantisierung auf 4 Bit wurde der Speicherbedarf von über 55 GB auf unter 20 GB gesenkt, was den Einsatz au
How Kimi k3 Runs 2.8 Trillion Parameters on Consumer Hardware in 2026
Moonshot AI hat mit Kimi k3 ein innovatives KI-Modell entwickelt, das in der Lage ist, 2,8 Billionen Parameter auf Consumer-Hardware mit lediglich 4 GB VRAM zu betreiben. Dies wird durch eine spezielle Architektur erreicht, die MoE-Routing (Mixture of Experts), aggressive Quantisierung und CPU-Offlo
The Complete Technical Guide to Running LLMs Locally in 2026
Der Artikel "The Complete Technical Guide to Running LLMs Locally in 2026" bietet eine detaillierte Anleitung zum lokalen Betrieb von großen Sprachmodellen (LLMs) im Jahr 2026. Anders als viele herkömmliche Anleitungen, die sich auf grundlegende Schritte beschränken, teilt der Autor seine persönlich
Month in 4 Papers (May 2026)
Im Mai 2026 wurden in der NLP-Forschung bedeutende Fortschritte präsentiert, die in vier zentralen Forschungsarbeiten zusammengefasst sind. Eine herausragende Entwicklung ist die Einführung von TurboQuant, einer innovativen Technik zur Vektorquantisierung. TurboQuant optimiert die Speicherkapazität
Why Your LLM Is Slow — KV Cache, Batching, and Quantization
Moderne Sprachmodelle wie ChatGPT sind aufgrund der Aktivierung komplexer neuronaler Netzwerke mit Milliarden von Parametern bei jeder Wortgenerierung ineffizient. Die langsame Leistung resultiert aus den unterschiedlichen Anforderungen der Prefill- und Decode-Phasen: Während die Prefill-Phase paral
I Shrank a 428B Model From 855GB to 128GB and It Still Beats GPT-5.5 at Coding
Das MiniMax M3, ein 428-Milliarden-Parameter-Modell, wurde erfolgreich von 855 GB auf nur 128 GB komprimiert und übertrifft dabei die Programmierfähigkeiten von GPT-5.5. Mit einer Punktzahl von 59,0 % auf dem SWE-Bench Pro schlägt es die 58,6 % von GPT-5.5 und bietet eine kostengünstige API-Nutzung
Building an Offline “Life Memorizer” with Gemini 2.0 & Qdrant Edge
Der Artikel behandelt die Entwicklung eines Offline-Systems namens "Life Memorizer", das darauf abzielt, multimodale Erinnerungen wie Bilder, Audio und Text lokal zu speichern und zu verarbeiten, ohne auf Cloud-Dienste angewiesen zu sein. Das System nutzt die Gemini Embedding 2-Technologie und speic
Quantization Is Quietly Eating the AI Hardware Business. Where Next?
Der Artikel „Quantization Is Quietly Eating the AI Hardware Business. Where Next?“ untersucht die transformative Rolle der Quantisierung in der AI-Hardware-Branche. Diese Technologie verbessert die Effizienz von KI-Modellen, indem sie die Präzision von Berechnungen reduziert, was zu erheblichen Eins
Video: So installiert und nutzt ihr lokale KI-Modelle
Im Jahr 2026 wird es möglich sein, leistungsstarke KI-Modelle wie ChatGPT und Stable Diffusion direkt auf Windows-PCs zu betreiben, ohne auf Cloud-Dienste angewiesen zu sein. Dies wird durch die Unterstützung von NVIDIA- und AMD-Grafikkarten erleichtert, insbesondere durch den aktuellen Adrenalin-Tr
Gemma 4 12B: Google veröffentlicht Open-Source-KI unter 1 GB
Am 5. Juni 2026 hat Google das Open-Source-KI-Modell Gemma 4 12B veröffentlicht, das speziell für Laptops und mobile Geräte entwickelt wurde und ohne Cloud-Anbindung funktioniert. Durch quantisierungsbewusstes Training wird der Arbeitsspeicherbedarf auf unter 1 GB gesenkt, was die Nutzung auf ältere
How LLM Quantization Works: INT8, INT4, GPTQ, and AWQ Explained
Der Artikel "How LLM Quantization Works: INT8, INT4, GPTQ, and AWQ Explained" behandelt die Technik der Quantisierung, die es ermöglicht, große KI-Modelle, wie beispielsweise ein 70 Milliarden Parameter umfassendes Modell, effizient auf Consumer-GPUs mit begrenztem Speicher auszuführen. Durch die Re
The Tech Job Nobody Listed Two Years Ago. Now It Decides Whether Your AI Product Survives.
Im Jahr 2026 hat sich das Berufsfeld des Inference Engineering als entscheidend für den Erfolg von KI-Produkten etabliert. Während die Trainingskosten eines Modells einmalig sind, machen die laufenden Inferenzkosten über 90 % der Gesamtkosten aus, was ihre wirtschaftliche Rentabilität beeinflusst. I
Breaking the Memory Wall: TurboQuant KV Cache Quantization on Apple Silicon
Der Artikel "Breaking the Memory Wall: TurboQuant KV Cache Quantization on Apple Silicon" behandelt die Herausforderungen und Lösungen im Bereich der Quantisierung von Schlüssel-Wert-Caches (KV-Caches) auf Apple Silicon. Die Autoren präsentieren TurboQuant, eine innovative Methode zur Optimierung de
Google's TurboQuant saves memory, but won't save us from DRAM-pricing hell
Google hat mit TurboQuant eine innovative Technologie zur Datenkompression vorgestellt, die den Speicherbedarf für KI-Modelle während der Inferenz erheblich reduzieren soll. Durch die Quantisierung könnte der Speicherverbrauch um das Sechsfache gesenkt werden, indem die Präzision der Daten verringer