憑借超強(qiáng)性能表現(xiàn)與開(kāi)源優(yōu)勢(shì),DeepSeek 正迅速成為全球擴(kuò)展大模型應(yīng)用實(shí)踐的“頂流”。在這一創(chuàng)新旅程中,智微智能AI工作站搭載了英特爾銳炫?顯卡,為DeepSeek注入了強(qiáng)心劑。
本文將在 DeepSeek-R1- Distill-Qwen-32B 推理場(chǎng)景下,以面向企業(yè)級(jí)應(yīng)用,且成本最低可控制在 5-6 萬(wàn)元人民幣的智微智能至強(qiáng)W系列工作站+4 路英特爾銳炫? A770 顯卡的解決方案為例,闡述搭建硬件環(huán)境與軟件配置。
軟硬件安裝配置
01
硬件安裝配置
02
軟件安裝配置
創(chuàng)新不止步:全新產(chǎn)品與滿(mǎn)血版 DeepSeek R1 方案正在路上
智微智能提供詳盡的部署指南,方便用戶(hù)部署。該解決方案可對(duì) DeepSeek 各個(gè)蒸餾版提供同樣靈活的支持。使用者可通過(guò)調(diào)整輸入模型名稱(chēng),以及設(shè)定并行使用的顯卡數(shù)量來(lái)進(jìn)行調(diào)整。
另一方面,智微智能至強(qiáng)W系列工作站+4 路英特爾銳炫? A770 顯卡的解決方案的關(guān)鍵目標(biāo),還是鎖定在 DeepSeek- R1-671B 這一性能巔峰版本上,其配置與優(yōu)化方法很快就會(huì)與大家見(jiàn)面。預(yù)計(jì)其技術(shù)路徑會(huì)同時(shí)覆蓋基于 KTransformer,能更充分發(fā)揮至強(qiáng)? 處理器內(nèi)置 AI 加速技術(shù) AMX 潛能的方案,以及 GPU 配置密度更高的單機(jī) 16 路英特爾銳炫?顯卡的方案。