Modellkompression

Microsoft verfolgt mit seiner Strategie "Yield Imperative" einen grundlegenden Wandel in der AI-Infrastruktur, indem der Fokus von der Menge an Infrastruktur auf die tatsächliche Nutzbarkeit der erzeugten Intelligenz verschoben wird. Rani Borkar, Leiterin der Hardware-Abteilung, kritisiert den Ressourcenzyklus der Branche, der Effizienz und Ertrag vernachlässigt. Angesichts der rasanten Verbreitung von AI, die bereits 18% der globalen Arbeitsbevölkerung erreicht hat, ist die bestehende Infrastruktur nicht auf die Herausforderungen komplexer Systeme vorbereitet. Microsoft hat in Azure innovative Ansätze zur Effizienzsteigerung implementiert, darunter Modellkompression und optimiertes Speichermanagement. Ein einheitliches Netzwerkdesign senkt die Hardwarekosten und optimiert die Rechenleistung. Borkar betont die Bedeutung der Zusammenarbeit in der Lieferkette, um physikalische Grenzen zu überwinden und AI für alle zugänglich zu machen. Microsoft positioniert sich somit nicht nur als Wettbewerber im AI-Markt, sondern möchte auch die Diskussion über die zukünftige Infrastrukturentwicklung prägen. Die kommenden Monate werden zeigen, ob die neuen Technologien die versprochenen Effizienzgewinne liefern können.

Apple hat eine bahnbrechende Methode entwickelt, um ein KI-Modell mit 20 Milliarden Parametern auf iPhones zu integrieren, trotz der begrenzten RAM-Kapazitäten dieser Geräte. Anstatt das gesamte Modell im Arbeitsspeicher zu speichern, nutzt Apple den Flash-Speicher und lädt nur die benötigten Teile in den schnellen RAM. Diese Technik, bekannt als Instruction-Following Pruning, optimiert den Datenfluss und schont sowohl Zeit als auch Akkuleistung. Das multimodale Modell kann Text, Bilder und Audio gleichzeitig verarbeiten, was die Siri-Stimmen und die Diktierfunktion erheblich verbessert. Allerdings ist diese Technologie nur für neuere iPhone-Modelle wie das iPhone 17 Pro und das iPhone Air verfügbar, was eine klare Unterscheidung zwischen den KI-Fähigkeiten älterer und neuerer Geräte schafft. Dies könnte Nutzer dazu bewegen, auf neuere Hardware umzusteigen, während Apple Entwicklern gleichzeitig neue Cloud-Modelle kostenlos anbietet.

Apple hat mit der Einführung von macOS 27 seine KI-Strategie revolutioniert, indem es Hochleistungs-KI auf Macs mit nur 12 GB RAM ermöglicht. Auf der WWDC26 wurde ein multimodales KI-Modell mit 20 Milliarden Parametern vorgestellt, das lokal Texte, Bilder und Audio verarbeitet. Die innovative Architektur des Instruction-Following Pruning (IFP) umgeht die Speichergrenze und ermöglicht den Betrieb auf Geräten mit begrenztem Arbeitsspeicher. Mit macOS 27 wird die Intel-Ära beendet, da das Betriebssystem ausschließlich Apple Silicon unterstützt, was bedeutet, dass Nutzer einen Mac mit M3-Chip benötigen, um die fortschrittlichsten KI-Funktionen zu nutzen. Entwickler profitieren von neuen Werkzeugen wie Xcode 27, das eine lokale Code-Vervollständigung bietet und die Privatsphäre durch lokale Verarbeitung schützt. Komplexere Anfragen werden in die Private Cloud Compute oder ein neues AFM Cloud Pro-Modell ausgelagert, wobei Apple auf Nvidia-GPUs für die Server-Infrastruktur setzt. Die neuen Funktionen sind bereits als Beta verfügbar, der öffentliche Release ist für Herbst 2026 geplant.

Apple hat auf seiner Entwicklerkonferenz die dritte Generation seiner Apple Foundation Models vorgestellt, die entscheidend zur Verbesserung von Siri beitragen. Im Mittelpunkt steht das AFM 3 Core Advanced, ein beeindruckendes 20-Milliarden-Parameter-Modell, das normalerweise in Rechenzentren betrieben wird, aber dank innovativer Ingenieurskunst auf dem iPhone läuft. Durch die Technik des Instruction-Following Pruning kann Apple nur einen Teil der Parameter in den Arbeitsspeicher laden, was die Nutzung über die traditionellen DRAM-Grenzen hinaus ermöglicht. Die Cloud-Modelle basieren auf Apple’s Private Cloud Compute und gewährleisten den Datenschutz der Nutzer. Zudem hat Apple ein neues Foundation Models-Framework eingeführt, das Drittanbieter-Modelle einfach integrierbar macht und eine offenere Unternehmenshaltung signalisiert. Trotz positiver interner Bewertungen bleibt abzuwarten, wie die Modelle in unabhängigen Tests abschneiden. Insgesamt demonstriert Apple mit diesen Entwicklungen eine signifikante Verbesserung seiner KI-Technologie, um im Wettbewerb mithalten zu können.

Der Artikel "Edge engineering: crucial enabler of physical AI in vehicles" beleuchtet die fortschrittliche Implementierung physischer KI-Lösungen in der Automobilindustrie, insbesondere durch KI-gestützte Fahrerassistenzsysteme, die das Fahrerlebnis verbessern. Angesichts steigender Erwartungen der Fahrer an digitale Erlebnisse sind Hersteller gefordert, innovative Lösungen zu entwickeln, um sich im Wettbewerb abzuheben. Eine zentrale Herausforderung besteht darin, dass physische KI in Echtzeit funktioniert, ohne auf Cloud-Konnektivität angewiesen zu sein. Techniken wie Modellkompression und Quantisierung sind hierbei entscheidend. Ein Beispiel ist die Entwicklung einer sprachgesteuerten Massagesitzlösung durch einen Automobilzulieferer, die Ablenkungen minimiert und die Sicherheit erhöht. Fortschritte in der Technologie, wie leistungsärmere GPUs und KI-Beschleuniger, ermöglichen eine effizientere Ressourcennutzung, während verteilte Edge-Architekturen die Arbeitslast auf nahegelegene Geräte verlagern. Die frühzeitige Integration von Edge-Beschränkungen in den Entwicklungsprozess ist entscheidend, um eine optimale Verbindung zwischen Software, Hardware und Fahrzeugarchitektur zu gewährleisten. Diese Herangehensweise ermöglicht es Herstellern, KI-Projekte skalierbar zu gestalten und die Erwartungen der Fahrzeugbesitzer zu erfüllen, was ihnen einen Wettbewerbsvorteil verschafft.