Mithilfe der LM Studio-Software haben wir die Leistung des Deepseek-R1 getestet. LLM auf dem SER9 Pro HX370 und Die SER9 Pro KI 365 über verschiedene Parameterskalen und Quantisierung Ebenen, um eine umfassende Leistungsreferenz bereitzustellen.
Testübersicht:
Dieser Test wurde an zwei Personen durchgeführt. PCs: Die SER9 Pro HX370 (mit 64 GB RAM) und die SER9 Pro AI 365 (mit 32 GB RAM) wurden verwendet. Es kam das Deepseek-R1-Destillatmodell zum Einsatz, mit Parameterskalen von 1,5 Mrd. bis 14 Mrd. und Quantisierung. Niveaus vom zweiten bis zum achten Quartal.
Die Testergebnisse zeigten, dass beide PC hat bei der Bereitstellung hervorragend funktioniert LLMs lokal. Der SER9 Pro Ist nicht nur in der Lage zu Die CPU wird für Berechnungen genutzt, aber auch die Nutzung der integrierten GPU wird priorisiert.
Leistungsvergleich:
Leistung im GPU-Modus:
-Bei der Verarbeitung der Modelle 1,5B und 7B zeigte der SER9 Pro HX370 aufgrund seiner höheren Leistung eine überlegene Performance. Radeon 890M iGPU.
-Beim Modell 14B beträgt der Leistungsunterschied zwischen den beiden PCs war minimal, beide liefen stabil.
Der GPU-Modus bietet Vorteile hinsichtlich VRAM-Nutzung und Reaktionsgeschwindigkeit und eignet sich daher für Szenarien mit höheren Leistungsanforderungen.
Leistung im CPU-Modus:
Im CPU-Modus die Leistung beider PCs beim Ausführen LLMs war ähnlich.
Speicher- und VRAM-Konfiguration:
-Das SER9 Pro mit 64 GB RAM kann bis zu 48 GB zuweisen. als dedizierter VRAM, während die 32-GB-Version bis zu 24 GB dedizierten VRAM unterstützt.
Diese Konstruktion ermöglicht den Betrieb größere Parameter-Skalenmodelle auf die GPU.
Empfehlungen:
-Täglicher Gebrauch: Das Modell 8B ist die beste Wahl und bietet eine perfekt Ausgewogenheit zwischen Leistung und Hardware Anwendungsbereich, geeignet für die meisten Szenarien.
-Hohe Leistungsanforderungen: Das Modell 14B ist in der Lage, komplexere Aufgaben zu bewältigen und eignet sich ideal für Szenarien, die eine höhere Leistung erfordern.
