Mithilfe der LM Studio-Software haben wir die Leistung des Deepseek-R1 LLM auf dem SER9 Pro HX370 und dem SER9 Pro AI 365 über verschiedene Parameterskalen und Quantisierungsstufen hinweg getestet, um eine umfassende Leistungsreferenz bereitzustellen.
Testübersicht:
Dieser Test wurde auf zwei PCs durchgeführt : dem SER9 Pro HX370 (mit 64 GB RAM) und dem SER9 Pro AI 365 (mit 32 GB RAM). Es wurde das destillierte Modell Deepseek-R1 verwendet, mit Parameterskalen von 1,5 B bis 14 B und Quantisierungsstufen von Q2 bis Q8.
Die Testergebnisse zeigten, dass beide PCs bei der lokalen Bereitstellung von LLMs eine hervorragende Leistung zeigten . Der SER9 Pro kann nicht nur die CPU für Berechnungen nutzen , sondern priorisiert auch die Verwendung der integrierten GPU.
Leistungsvergleich:
Leistung im GPU-Modus:
Bei der Verarbeitung der 1,5B- und 7B-Modelle zeigte der SER9 Pro HX370 aufgrund seiner leistungsstärkeren Radeon 890M iGPU eine überlegene Leistung.
- Beim Modell 14B war der Leistungsunterschied zwischen den beiden PCs minimal, beide liefen stabil.
-Der GPU-Modus bietet Vorteile hinsichtlich VRAM-Nutzung und Reaktionsgeschwindigkeit und eignet sich daher für Szenarien mit höheren Leistungsanforderungen.
Leistung im CPU-Modus:
Im CPU-Modus war die Leistung beider PCs beim Ausführen von LLMs ähnlich.
Speicher- und VRAM-Konfiguration:
-Der SER9 Pro mit 64 GB RAM kann bis zu 48 GB als dedizierten VRAM zuweisen, während die 32-GB-Version bis zu 24 GB dedizierten VRAM unterstützt.
-Dieses Design ermöglicht die Ausführung größerer Modelle im Parametermaßstab auf der GPU.
Empfehlungen:
-Täglicher Gebrauch: Das 8B-Modell ist die beste Wahl, da es ein perfektes Gleichgewicht zwischen Leistung und Hardwarenutzung bietet und für die meisten Szenarien geeignet ist.
-Hohe Leistungsanforderungen: Das 14B-Modell kann komplexere Aufgaben bewältigen und ist ideal für Szenarien, die eine höhere Leistung erfordern.
