Cloud-KI
Probleme mit lokalen Sprachmodellen auf Mac-Modellen
Einige Mac-Modelle, insbesondere die neuesten MacBook Pros, haben lokale Sprachmodelle (LLMs) auf einer suboptimalen Engine betrieben. Dies geschah aufgrund von Softwareproblemen bei Ollama, LM Studio und MLX, die nicht die leistungsstarken Matrix-Engines des Chips nutzten. Ein Nutzer bemerkte, dass die App, die seine Modelle ausführte, diese Engines deaktiviert hatte, was die Lesezeit der Eingabeaufforderungen beeinträchtigte. Der Fehler wurde durch eine Software-Update behoben. Die Probleme betrafen insbesondere die Modelle, die mit den leistungsstarken Matrix-Engines arbeiten sollten. Die Nutzer der betroffenen Modelle mussten sich mit langsamen Lesezeiten der Eingabeaufforderungen abfinden. Die Probleme wurden durch eine Software-Update behoben. Die Nutzer der betroffenen Modelle können sich jetzt wieder mit schnellen Lesezeiten der Eingabeaufforderungen freuen. Die Probleme betrafen insbesondere die Modelle, die mit den leistungsstarken Matrix-Engines arbeiten sollten. Die Nutzer der betroffenen Modelle mussten sich mit langsamen Lesezeiten der Eingabeaufforderungen abfinden. Die Probleme wurden durch eine Software-Update behoben. Die Nutzer der betroffenen Modelle können sich jetzt wieder mit schnellen Lesezeiten der Eingabeaufforderungen freuen.
Wichtigste Punkte
- Einige Mac-Modelle haben lokale Sprachmodelle (LLMs) auf einer suboptimalen Engine betrieben.
- Die Probleme entstanden aufgrund von Softwareproblemen bei Ollama, LM Studio und MLX.
- Die leistungsstarken Matrix-Engines des Chips wurden nicht genutzt.
- Ein Nutzer bemerkte, dass die App, die seine Modelle ausführte, diese Engines deaktiviert hatte.
Chronologie / Entwicklungen
- Einige Mac-Modelle, insbesondere die neuesten MacBook Pros, haben lokale Sprachmodelle (LLMs) auf einer suboptimalen Engine betrieben.
- Die Probleme entstanden aufgrund von Softwareproblemen bei Ollama, LM Studio und MLX.
- Ein Nutzer bemerkte, dass die App, die seine Modelle ausführte, diese Engines deaktiviert hatte.
- Die Probleme wurden durch eine Software-Update behoben.
Originallinks
Alle Artikel, die in diese Summary eingeflossen sind. So können Leser jederzeit die Originalquelle öffnen.
Your Mac Is Running Local LLMs on the Wrong Engine
In einem aktuellen Artikel wird aufgezeigt, dass einige Mac-Modelle, insbesondere die neuesten MacBook Pros, lokale Sprachmodelle (LLMs) auf einer suboptimalen Engine betrieben haben. Dies geschah aufgrund von Softwareproblemen bei Ollama, LM Studio und MLX, die nicht die leistungsstarken Matrix-Engines des Chips nutzten, die für komplexe Berechnungen zuständig sind. Ein Nutzer bemerkte, dass die App, die seine Modelle ausführte, diese Engines deaktiviert hatte, was die Lesezeit der Eingabeaufforderungen verdoppelte, während die Antwortgeschwindigkeit unverändert blieb. Der Fehler wurde erst Anfang September behoben, fast zehn Monate nach der Einführung des Chips. Der Artikel erklärt, dass Macs über einen Chip mit verschiedenen Prozessorarten verfügen, einschließlich Grafik- und Neural-Engines, wobei die Matrix-Einheiten erst mit der M5-Serie eingeführt wurden. Die unzureichende Nutzung dieser neuen Technologie hatte somit direkte negative Auswirkungen auf die Effizienz der Sprachmodellverarbeitung.