Microsoft bringt DeepSeek R1 für Copilot+ PCs

Microsoft macht mit der Einführung der distillierten DeepSeek R1 Modelle einen weiteren Schritt in die mobile und Desktop-Welt. Überraschen wird dabei die volle Unterstützung durch den Software-Riesen, der seine Azure AI Foundry um das DeepSeek R1 Modell erweitert hat. Damit können Entwickler cloudbasierte Apps und Services testen und entwickeln.

Die ersten distillierten Modelle werden zunächst für Geräte verfügbar sein, die mit Snapdragon X Chips ausgestattet sind, gefolgt von PCs mit Intel Core Ultra 200V Prozessoren und AMD Ryzen AI 9.

Das erste Modell, das in die Freigabe geht, ist das DeepSeek-R1-Distill-Qwen-1.5B, ein Modell mit 1,5 Milliarden Parametern. Größere und leistungsfähigere Varianten mit 7B und 14B Modellen sind bereits in Planung und werden bald über Microsofts AI Toolkit herunterladbar sein.

Um die Modelle optimal auf Geräten mit NPUs laufen zu lassen, musste Microsoft einige Anpassungen vornehmen. Speicherintensive Operationen laufen auf der CPU, während rechenintensive Aufgaben, wie der Transformer-Block, über die NPU abgewickelt werden. Diese Optimierungen ermöglichen es, dass Microsoft eine schnelle Zeit bis zum ersten Token (130 ms) sowie eine Durchsatzrate von 16 Tokens pro Sekunde für kurze Eingaben (unter 64 Tokens) erzielt. Ein „Token“ kann man sich ähnlich wie einen Vokal vorstellen, wobei ein Token in der Regel mehr als ein Zeichen umfasst.

Microsoft bezieht eine klare Haltung zu OpenAI, den Entwicklern von ChatGPT und GPT-4o, und investiert stark in deren Technologien, spielt jedoch keine Favoritenrolle. In ihrem Azure Playground finden sich neben GPT-Modellen von OpenAI auch Llama (Meta) und Mistral, und jetzt auch DeepSeek.

Für alle, die eher an lokaler KI interessiert sind, ist die Empfehlung, zunächst das AI Toolkit für VS Code herunterzuladen. Von dort aus kann das DeepSeek R1 Modell lokal gespeichert werden (beispielsweise „deepseek_r1_1_5“ für das 1.5B Modell). Schließlich kann man im Playground testen, wie intelligent dieses distillierte R1 Modell ist.

Der Prozess der „Modelldestillation“, auch bekannt als „Wissensdestillation“, bezieht sich darauf, Wissen aus einem großen KI-Modell (das vollständige DeepSeek R1 hat 671 Milliarden Parameter) auf ein kleineres Modell (z.B. 1,5 Milliarden Parameter) zu übertragen. Obwohl diese Methode nicht perfekt ist und das distillierte Modell weniger Leistungsfähigkeit aufweist als das Vollmodell, sorgt seine geringere Größe dafür, dass es direkt auf Consumer-Hardware laufen kann, im Gegensatz zu dedizierter KI-Hardware, die zehntausende Dollar kostet.