近日，聯(lián)想集團宣布基于聯(lián)想問天 WA7780 G3服務(wù)器，在行業(yè)內(nèi)首次實現(xiàn)單機部署DeepSeek-R1/V3 671B大模型，以低于行業(yè)公認1TGB顯存（實際768GB）承載100并發(fā)用戶流暢體驗，可以滿足千人以上企業(yè)的使用需求，為行業(yè)樹立了企業(yè)級大模型部署新基準。

聯(lián)想問天 WA7780 G3大模型訓推一體服務(wù)器

01

突破性能限制，樹立DeepSeek-R1大模型部署新基準

作為全球關(guān)注的焦點，眾多企業(yè)正準備在本地化部署DeepSeek大模型。然而，在落地實施過程中用戶普遍面臨以下關(guān)鍵決策難題：單機能否部署滿血版DeepSeek R1？所需最低配置是什么？如何確保高并發(fā)與吞吐量下的優(yōu)質(zhì)體驗？如何避免采購陷阱？

聯(lián)想此次突破為企業(yè)提供科學選型指南。針對行業(yè)公認1TB顯存是千億參數(shù)大模型運行基線的背景下，聯(lián)想研發(fā)團隊通過專家并行優(yōu)化、智能訪存架構(gòu)升級及PCIe 5.0全互聯(lián)架構(gòu)創(chuàng)新，大幅提升了顯存利用率，從而實現(xiàn)了性能的提升。

聯(lián)想實測數(shù)據(jù)顯示，在512 token標準測試環(huán)境下，該系統(tǒng)可支持100個并發(fā)用戶持續(xù)獲得每秒10 token的穩(wěn)定輸出，首token響應(yīng)時間壓縮至30秒內(nèi)。即便面對4K長序列復雜場景，仍能保持25個并發(fā)用戶同等性能表現(xiàn)。

尤為值得關(guān)注的是，這臺服務(wù)器僅配置了8張96GB顯存的GPU卡。而DeepSeek-R1大模型的模型參數(shù)就需占用約700GB顯存，僅余不到100GB顯存空間可需用于KV-Cache等計算，如果不做專門優(yōu)化，僅能支持2、3個用戶接入。

聯(lián)想在萬全異構(gòu)智算平臺的加持下通過精心優(yōu)化實現(xiàn)了突破，成功達成了用戶最為關(guān)注的三項關(guān)鍵指標：

首token延遲小于30秒、單token延遲小于100毫秒、支持2K以上長序列問題處理，同時實現(xiàn)了20%以上的成本節(jié)約，充分彰顯了聯(lián)想在服務(wù)器領(lǐng)域的深厚技術(shù)積累與創(chuàng)新實力。

02

持續(xù)優(yōu)化升級，解決用戶體驗難題

聯(lián)想的這一創(chuàng)新成果揭示了設(shè)備選型的新維度，也提醒企業(yè)審慎評估各種測試數(shù)據(jù)，摒棄對總吞吐量和總并發(fā)數(shù)等指標的片面追求，而應(yīng)從用戶體驗出發(fā)，關(guān)注這些指標背后的隱藏信息，如數(shù)據(jù)精度等。實際上，如果將數(shù)據(jù)精度從FP8轉(zhuǎn)為int8或int4（即量化），雖能明顯改善性能表現(xiàn)（如更高并發(fā)量和高吞吐量），但會犧牲結(jié)果的準確性，顯然這不是用戶所期望的。

需要特別指出的是，高吞吐量和高并發(fā)量也并不等同于用戶體驗好。若服務(wù)器GPU卡配置不高，局部通信瓶頸可能引發(fā)響應(yīng)延遲使體驗降級，這正是聯(lián)想著力解決的難點之一。

毫無疑問，聯(lián)想技術(shù)突破將有效破除大模型落地瓶頸，顯著加速大模型在企業(yè)的落地進程。未來，聯(lián)想基礎(chǔ)設(shè)施業(yè)務(wù)群與聯(lián)想研究院先進計算實驗室將繼續(xù)攜手合作，依托聯(lián)想萬全異構(gòu)智算平臺對DeepSeek平臺從AI預訓練、后訓練到推理的全流程進行持續(xù)優(yōu)化，為客戶奉獻出性能更佳、性價比更高的產(chǎn)品和解決方案，以加速DeepSeek大模型的落地，推動新一輪生產(chǎn)力革命。