LM Studio 소프트웨어를 사용하여 Deepseek-R1의 성능을 테스트했습니다. 법학 석사 SER9 Pro HX370에서 그만큼 SER9 프로 다양한 파라미터 스케일 및 양자화에 걸친 AI 365 종합적인 성능 기준을 제공하기 위한 수준입니다.
테스트 개요:
이 테스트는 두 가지를 대상으로 실시되었습니다. PC: SER9 Pro HX370(64GB RAM)과 SER9 Pro AI 365(32GB RAM)를 사용했습니다. Deepseek-R1 정제 모델을 사용했으며, 파라미터 스케일은 1.5B에서 14B까지, 양자화는 1.5B에서 14B까지 설정했습니다. 2분기부터 8분기까지의 수준입니다.
시험 결과는 두 가지 모두에 대해 다음과 같이 나타냈습니다. PC 배포 시 탁월한 성능을 발휘했습니다. 법학 석사(LLM) 현지에서. SER9 Pro ~이다 비단 할 수 있다 연산에는 CPU를 활용하지만, 내장 GPU 사용을 우선시합니다.
성능 비교:
성능 GPU 모드에서:
-1.5B 및 7B 모델을 처리할 때 SER9 Pro HX370은 더 강력한 성능 덕분에 우수한 성능을 보여주었습니다. 라데온 890M iGPU.
-14B 모델의 경우, 두 PC 간의 성능 차이는 다음과 같습니다. 두 시스템 모두 안정적으로 작동하여 문제는 최소화되었습니다.
- GPU 모드는 VRAM 사용량 및 응답 속도 측면에서 이점을 제공하므로 고성능이 요구되는 시나리오에 적합합니다.
성능 CPU 모드에서:
CPU 모드에서 실행 시 두 PC의 성능 법학 석사(LLM) 비슷했다.
메모리 및 VRAM 구성:
- 64GB RAM을 탑재한 SER9 Pro는 최대 48GB까지 할당할 수 있습니다. ~처럼 32GB 버전은 최대 24GB의 전용 VRAM을 지원하는 반면, 32GB 버전은 최대 24GB의 전용 VRAM을 지원합니다.
-이 디자인은 실행을 가능하게 합니다 더 큰 매개변수 규모 모델에 대해 GPU.
권장 사항:
-일상적인 사용: 8B 모델은 최적의 선택이며, 다음과 같은 기능을 제공합니다. 완벽한 성능과 하드웨어 간의 균형 대부분의 시나리오에 적합한 사용성.
-고성능 요구 사항: 14B 모델은 더욱 복잡한 작업을 처리할 수 있어 고성능이 요구되는 시나리오에 이상적입니다.
