技術實戰|飛淩RK3588開發闆上部署DeepSeek-R1大模型的完整指南（一）
RK3588作為瑞芯微推出的旗艦級芯片，憑借多核異構計算能力以及強大的CPU、GPU和NPU性能，成為嵌入式AI應用的理想平台。DeepSeek-R1與OK3588-C開發闆的深度融合，标志着國産AI大模型從雲端向邊緣端的延伸。這種“先進算法+定制化芯片”的協同模式，不僅解決了邊緣側實時性、隐私保護等關鍵需求，更構建起從技術研發到産業賦能的完整價值鍊條，為各行業智能化轉型提供可複用的創新範式。接下來，讓我們深入探讨這一過程是如何具體實現的。
一、移植過程
（1）下載DeepSeek-R1源碼
在Ubuntu虛拟機上從DeepSeek-R1官網地址下載DeepSeek-R1-Distill-Qwen-1.5B權重文件。
（2）安裝轉換工具
在Ubuntu創建虛拟環境并安裝RKLLM-Toolkit，以便将DeepSeek-R1大語言模型轉換為RKLLM模型格式和編譯闆端推理的可執行程序。
（3）模型轉換
使用RKLLM-Toolkit對模型進行轉換，RKLLM-Toolkit提供模型的轉換、量化功能。作為RKLLM-Toolkit的核心功能之一，它允許用戶将Hugging Face或GGUF格式的大語言模型轉換為RKLLM模型，從而将RKLLM模型在Rockchip NPU上加載運行。
（4）編譯DeepSeek-R1程序
安裝交叉編譯工具鍊，以編譯RKLLM Runtime可執行文件，該程序包含模型初始化、模型推理、回調函數處理輸出和模型資源釋放等全部流程。
（5）模型部署
将編譯好的RKLLM模型和可執行文件上傳至闆端即可執行，這樣就可以在OK3588-C開發闆的調試串口上和DeepSeek-R1對話了，而且無需聯網。
二、效果展示
DeepSeek-R1是一款多功能的人工智能助手，它在多個領域内均能提供高效而全面的支持。即便是本地離線版本，無論是日常的信息檢索需求、專業設備的維修指導建議、複雜數學問題的解答，還是編程任務的輔助完成，R1都能憑借其強大的數據處理能力和廣博的知識儲備庫，給出既準确且實用的建議，成為用戶在各領域探索時的可靠夥伴。
（1）普通信息搜索
DeepSeek-R1能夠快速檢索并提供準确的信息。例如，當詢問“保定飛淩嵌入式技術有限公司”時，DeepSeek-R1可以詳細介紹該公司的背景、主營業務、産品特點等，幫助用戶全面了解該公司的情況。
（2）專業設備問題維修意見
對于專業設備問題，DeepSeek-R1能夠提供詳細的故障分析和解決方案。例如，針對PLC報錯誤碼E01的問題，R1分析可能造成故障的原因，如電源問題、接線錯誤或硬件故障，并提供相應的解決步驟，幫助用戶快速排除故障。
（3）數學題解答
DeepSeek-R1擁有卓越的數學運算能力，擅長解決各類數學難題。舉例來說，在面對紅藍鉛筆的采購問題時，它能夠巧妙地構建方程組并迅速求解，精确計算出紅鉛筆與藍鉛筆的應購數量，為用戶提供即時且準确的解決方案。不僅如此，DeepSeek-R1還附帶了詳盡的驗證步驟，确保結果的準确無誤。
（4）編程任務
DeepSeek-R1在編程方面表現出色，能夠根據用戶需求編寫代碼。例如，針對OK3588-C開發闆的串口通信需求，R1可以提供完整的C語言示例程序，包括串口初始化、數據接收和發送等功能，幫助用戶實現串口通信。
從上述視頻中不難發現，DeepSeek-R1在衆多領域内彰顯了其卓越的實用價值與高效性能，已然成為用戶工作中不可或缺的智能夥伴。
三、性能測評
在完成移植後我們進行了全面的性能評測，以驗證 DeepSeek-R1在OK3588-C開發闆上的運行效果。經過詳細的測試與對比，歸納了以下幾個關鍵性能指标：
實時性：從上文視頻播放中可以看到，DeepSeek-R1輸出的回答結果清晰且流暢，未出現任何延遲或卡頓現象。
CPU占用：DeepSeek-R1在OK3588-C開發闆上運行的CPU占用為12%~17%，這一表現證明了框架的高效性，使其即便在資源受限的設備上也能順利運行，擴展了其應用場景和商業潛力。
内存占用：在進行上述功能測試時，DeepSeek-R1的内存使用量約為825MB。這保證了系統的流暢運行，避免了由于内存不足引起的性能問題，使得用戶的應用體驗更加順暢。
NPU占用：由下圖可見DeepSeek-R1在OK3588-C開發闆上運行時，能夠更高效地分配計算資源，其NPU（神經處理單元）的三個核心負載均達到了83%。
在此次演示中，我們全面展示了DeepSeek-R1的實際應用成效，其強大功能與高效能表現得到了有力證明。後續文章中将詳細介紹DeepSeek-R1向OK3588-C開發闆的移植細節，包括多樣化的移植方式及操作步驟。如果您對這一過程感興趣，歡迎随時與我們聯系，飛淩嵌入式将為您提供全面的技術支持和詳細指導，期待與您共同探索更多可能性！點擊下圖進入飛淩嵌入式官網，即可了解有關OK3588-C開發闆的更多産品詳情。
相關産品 >
-
FET3568-C核心闆
RK3568性能強而穩 國産芯|飛淩嵌入式RK3568系列核心闆，采用瑞芯微國産高性能AI處理器RK3568設計生産，RK3568兼具CPU、GPU、NPU、VPU于一身，RK3568 性能、性價比在同類産品中具有較高優勢，RK3568處理器是一款定位中高端的通用型SoC， 飛淩RK3568核心闆主要面向工業互聯網、HMI、NVR存儲、車載中控、工業網關等領域。目前RK3568系列已經批量穩定出貨
了解詳情
-
FET3588-C核心闆
RK3588芯片系列是Rockchip推出的旗艦級工業級産品，采用先進的8nm制程工藝，集成4核Cortex-A76+4核Cortex-A55架構，A76主頻高達2.4GHz，A55核主頻高達1.8GHz，能夠提供強大的性能支撐。飛淩FET3588-C核心闆經過了嚴苛的環境溫度測試和壓力測試，确保在高端應用中能夠穩定運行。您可以通過飛淩提供的rk3588開發套件充分評估和驗證其性能。
了解詳情
換一批
