望獲實時Linux系統(tǒng)運行DeepSeek R1大模型,成本低至千元內(nèi)!
DeepSeek憑借其V3和新推出的R1兩款模型,實現(xiàn)了與OpenAI 4o和o1比肩的性能,同時成本僅為十分之一,為AI技術(shù)的普及提供了經(jīng)濟高效的解決方案。DeepSeek的崛起,不僅標志著中國AI技術(shù)的突破,更預示著全球AI市場將迎來一場新革命。
以下是詳細的部署步驟,幫助您快速實現(xiàn)這一國產(chǎn)技術(shù)組合的落地應(yīng)用。
硬件準備:
RK3588開發(fā)板:京博航友善NanoPC-T6(預裝望獲實時Linux)
工作主機:ubuntu筆記本電腦
部署步驟
從Hugging Face拉取DeepSeek-R1的1.5B蒸餾模型到x86平臺:
二、配置模型轉(zhuǎn)換腳本
執(zhí)行模型轉(zhuǎn)換腳本,等待轉(zhuǎn)換完成:
四、部署模型
在RK3588平臺,進入rknn-llm/rkllm-runtime/examples/rkllm_api_demo目錄,生成llm_demo運行文件:
六、運行模型
在user : 后輸入對話內(nèi)容,測試模型的運行效果。
關(guān)于望獲實時Linux系統(tǒng)
望獲實時Linux系統(tǒng)是國科環(huán)宇重點研發(fā)的嵌入式實時操作系統(tǒng),具備強實時、高可靠、功能安全、智能化、兼容性強和國產(chǎn)生態(tài)的特性。不同于傳統(tǒng)的微內(nèi)核實時操作系統(tǒng),完整兼容Linux生態(tài)環(huán)境的同時,提供強大的行業(yè)中間件支持,助力客戶快速完成行業(yè)解決方案的構(gòu)建。望獲實時Linux系統(tǒng)致力于國產(chǎn)基礎(chǔ)軟硬件的產(chǎn)業(yè)鏈構(gòu)建,與國產(chǎn)主流芯片及硬件平臺適配,提供完整的國產(chǎn)化解決方案,保證功能和性能的同時,避免關(guān)鍵領(lǐng)域的卡脖子問題。

提交
如何安裝望獲實時Linux系統(tǒng)鏡像 - 飛騰&x86版
如何安裝望獲實時Linux系統(tǒng)鏡像 - Rockchip版
工控重磅|低空視頻傳輸在望獲實時linux系統(tǒng)上的應(yīng)用
工控重磅|如何不需1秒就能啟動Linux系統(tǒng)?
工控重磅|微秒級實時在無人機控制中的重要性