Mit der LM Studio Software haben wir die Leistung des Deepseek-R1 getestet LLM auf dem SER9 Pro HX370 und Die SER9 Pro AI 365 über verschiedene Parameterskalen und Quantisierung Ebenen, um eine umfassende Leistungsreferenz bereitzustellen.
Testübersicht:
Dieser Test wurde an zwei PCs: der SER9 Pro HX370 (mit 64 GB RAM) und der SER9 Pro AI 365 (mit 32 GB RAM). Es wurde das destillierte Modell Deepseek-R1 verwendet, mit Parameterskalen von 1,5 B bis 14 B und Quantisierung Ebenen von Q2 bis Q8.
Die Testergebnisse zeigten, dass beide PC hervorragende Leistung beim Einsatz LLMs lokal. Der SER9 Pro Ist nicht nur in der Lage nutzt die CPU für Berechnungen, priorisiert aber auch die Verwendung der integrierten GPU.
Leistungsvergleich:
Leistung im GPU-Modus:
-Bei der Verarbeitung der 1.5B- und 7B-Modelle zeigte der SER9 Pro HX370 eine überlegene Leistung aufgrund seiner leistungsstärkeren Radeon 890M iGPU.
-Für das 14B-Modell ist der Leistungsunterschied zwischen den beiden PCs war minimal, beide liefen stabil.
-Der GPU-Modus bietet Vorteile hinsichtlich VRAM-Nutzung und Reaktionsgeschwindigkeit und eignet sich daher für Szenarien mit höheren Leistungsanforderungen.
Leistung im CPU-Modus:
Im CPU-Modus ist die Leistung beider PCs beim Ausführen LLMs war ähnlich.
Speicher- und VRAM-Konfiguration:
-Der SER9 Pro mit 64 GB RAM kann bis zu 48 GB zuweisen als dedizierter VRAM, während die 32-GB-Version bis zu 24 GB dedizierten VRAM unterstützt.
-Dieses Design ermöglicht das Laufen größere Parameterskalenmodelle auf die GPU.
Empfehlungen:
-Täglicher Gebrauch: Das Modell 8B ist die beste Wahl und bietet eine perfekt Balance zwischen Leistung und Hardware Verwendung, geeignet für die meisten Szenarien.
-Hohe Leistungsanforderungen: Das 14B-Modell kann komplexere Aufgaben bewältigen und ist ideal für Szenarien, die eine höhere Leistung erfordern.
