Select Your Country/Region

Leistungsvergleich zwischen Beelink SER9 Pro HX370 und SER9 Pro AI 365 bei der lokalen Bereitstellung von Deepseek-R1 LLM

February 28, 2025

Mithilfe der LM Studio-Software haben wir die Leistung des Deepseek-R1 getestet. LLM auf dem SER9 Pro HX370 und Die SER9 Pro KI 365 über verschiedene Parameterskalen und Quantisierung Ebenen, um eine umfassende Leistungsreferenz bereitzustellen.

Testübersicht:

Dieser Test wurde an zwei Personen durchgeführt. PCs: der SER9 Pro HX370 (mit 64GB (von RAM) und der SER9 Pro AI 365 (mit 32GB (von RAM). Es wurde das Deepseek-R1-destillierte Modell mit Parameterskalen von 1,5 B bis 14 B und Quantisierung verwendet. Niveaus vom zweiten bis zum achten Quartal.

Die Testergebnisse zeigten, dass beide PC hat bei der Bereitstellung hervorragend funktioniert LLMs lokal. Der SER9 Pro Ist nicht nur in der Lage zu Die CPU wird für Berechnungen genutzt, aber auch die Nutzung der integrierten GPU wird priorisiert.

Leistungsvergleich:

Leistung im GPU-Modus:

-Bei der Verarbeitung der Modelle 1,5B und 7B zeigte der SER9 Pro HX370 aufgrund seiner höheren Leistung eine überlegene Performance. Radeon 890M iGPU.

-Beim Modell 14B beträgt der Leistungsunterschied zwischen den beiden PCs war minimal, beide liefen stabil.

Der GPU-Modus bietet Vorteile hinsichtlich VRAM-Nutzung und Reaktionsgeschwindigkeit und eignet sich daher für Szenarien mit höheren Leistungsanforderungen.

Leistung im CPU-Modus:

Im CPU-Modus die Leistung beider PCs beim Ausführen LLMs war ähnlich.

Speicher- und VRAM-Konfiguration:

-Der SER9 Pro mit 64GB RAM kann bis zu 48 zuweisenGB als dedizierter VRAM, während die 32GB Die Version unterstützt bis zu 24GB dedizierten VRAM.

Diese Konstruktion ermöglicht den Betrieb größere Parameter-Skalenmodelle auf die GPU.

Empfehlungen:

-Täglicher Gebrauch: Das Modell 8B ist die beste Wahl und bietet eine perfekt Ausgewogenheit zwischen Leistung und Hardware Anwendungsbereich, geeignet für die meisten Szenarien.

-Hohe Leistungsanforderungen: Das Modell 14B ist in der Lage, komplexere Aufgaben zu bewältigen und eignet sich ideal für Szenarien, die eine höhere Leistung erfordern.

Cannot place order, conditions not met:
OK