研華邊緣AI平臺(tái)測(cè)試DeepSeek蒸餾版模型數(shù)據(jù)大公開(kāi)!
隨著Deepseek大模型的橫空出世,預(yù)計(jì)對(duì)整個(gè)工業(yè)領(lǐng)域會(huì)產(chǎn)生顛覆性的影響力,尤其針對(duì)邊緣部署部分獨(dú)創(chuàng)動(dòng)態(tài)剪枝與量化技術(shù),DeepSeek大模型支持在邊緣設(shè)備低功耗運(yùn)行(最低適配5 TOPS算力硬件),推理速度提升3倍。
研華選擇了多款基于英偉達(dá)技術(shù)邊緣AI產(chǎn)品,針對(duì)目前DeepSeek-R1 系列的蒸餾模型,從1.5B~32B,進(jìn)行了對(duì)應(yīng)機(jī)型測(cè)試,下面讓我們來(lái)看下最新測(cè)試數(shù)據(jù)!
微型邊緣端推理應(yīng)用(算力100 TOPS):
推薦型號(hào):
基于ARM平臺(tái)AI Box:ICAM-540 /MIC-711 / MIC-713
支持DeepSeek-R1蒸餾模型版本:
? DeepSeek-R1-Distill-Qwen-1.5B
? DeepSeek-R1-Distill-Qwen-7B
? DeepSeek-R1-Distill-Llama-8B
測(cè)試型號(hào):MIC-711
*同時(shí)在MIC-711-OX4A 開(kāi)啟了Super Mode來(lái)跑同樣的模型, 在整體效能上有提升了
將近25%, 這也表示了 Jetson super mode在AI應(yīng)用上有明顯的效能增強(qiáng)。
邊緣端推理應(yīng)用(算力100-500 TOPS)
推薦型號(hào):
基于ARM平臺(tái)Edge AI Box:MIC-732/MIC-733/736
基于X86平臺(tái) Edge AI Box:MIC-770V3
Edge AI 服務(wù)器 :HPC-6240/HPC-7420/SKY-602E3 (支持1-4張GPU卡)
支持DeepSeek-R1蒸餾模型版本:
? DeepSeek-R1-Distill-Qwen-1.5B
? DeepSeek-R1-Distill-Qwen-7B
? DeepSeek-R1-Distill-Qwen-14B
? DeepSeek-R1-Distill-Llama-8B
測(cè)試型號(hào):MIC-770V3
*DeepSeek-R1:32b于此系統(tǒng)配置下使用約18GB VRAM,可正常運(yùn)行,但相同LLM model放在較高階顯卡上測(cè)試時(shí)VRAM使用達(dá)到21GB 故猜測(cè)模型會(huì)自動(dòng)調(diào)整參數(shù)降低VRAM使用量,但在效能會(huì)有其影響。
高性能邊緣AI服務(wù)器(算力500-1000+ TOPS)
推薦型號(hào):
Edge AI 服務(wù)器 :HPC-6240 /HPC-7420/SKY-602E3 (支持1-4張GPU卡)
支持DeepSeek-R1蒸餾模型版本:
?DeepSeek-R1-Distill-Qwen-14B
?DeepSeek-R1-Distill-Qwen-32B
?DeepSeek-R1-Distill-Llama-70B
測(cè)試型號(hào):SKY-602E3
研華全棧式邊緣AI平臺(tái),以“邊緣原生智能”重塑工業(yè)生產(chǎn)力
研華打造了全棧式邊緣AI硬件矩陣,從微端到邊緣云:包括AI模塊、AI板卡、AI 加速卡、AI 嵌入式和工業(yè)平臺(tái),AI邊緣平臺(tái)、邊緣AI服務(wù)器,乃至邊緣整機(jī)柜服務(wù)器。算力范圍從5 TOPS至2000+TOPS,用戶可根據(jù)業(yè)務(wù)場(chǎng)景靈活選型,實(shí)現(xiàn)精度與效率的最佳平衡。研華希望與伙伴攜手,以“邊緣原生智能”重塑工業(yè)生產(chǎn)力!
如果您對(duì)研華邊緣AI平臺(tái)產(chǎn)品感興趣,可聯(lián)系研華在地業(yè)務(wù),或者關(guān)注研華官方微信【研華工業(yè)物聯(lián)網(wǎng)】了解更多產(chǎn)品咨詢。
關(guān)于研華 –研華科技成立于1983年,以“智能地球的推手”作為企業(yè)品牌愿景,一直專注于工業(yè)物聯(lián)網(wǎng)、嵌入式物聯(lián)網(wǎng)及智慧城市三大市場(chǎng)。為迎接物聯(lián)網(wǎng)、大數(shù)據(jù)與人工智能的大趨勢(shì),研華提出以邊緣智能和WISE-PaaS工業(yè)云平臺(tái)為核心的物聯(lián)網(wǎng)軟、硬件解決方案,協(xié)助客戶伙伴串接產(chǎn)業(yè)鏈。研華業(yè)務(wù)分布全球27個(gè)國(guó)家,擁有約8,300名員工,憑借強(qiáng)大的技術(shù)服務(wù)及營(yíng)銷網(wǎng)絡(luò),為客戶提供本土化響應(yīng)的便捷服務(wù)。此外,研華積極推進(jìn)產(chǎn)業(yè)伙伴共創(chuàng),加速AIoT生態(tài)圈布建與發(fā)展。

提交
研華推出GenAI Studio邊緣AI軟件平臺(tái)
研華模塊化電腦SOM-7583:打造人形機(jī)器人超強(qiáng)“小腦”控制器
為什么選擇Windows on Arm?
新品 | 研華攜手高通,引領(lǐng)工業(yè)Wi-Fi 7解決方案新時(shí)代
研華以Edge Computing & Edge AI ,助力工業(yè)AI從技術(shù)創(chuàng)新到應(yīng)用落地