📄️ 生成式AI环境搭建
RKLLM 是 Rockchip 面向大语言模型(LLM)推出的一整套软件栈,目标是把 HuggingFace、PyTorch、ONNX 等格式的 千亿级参数大模型 快速、低比特、低延迟地部署到 RK3576 / RK3588 等 NPU 上。
📄️ DeepSeek-R1
1.编译可执行程序
📄️ Qwen-VL
1.编译可执行程序
5 minutes to learn the most important Docusaurus concepts.
RKLLM 是 Rockchip 面向大语言模型(LLM)推出的一整套软件栈,目标是把 HuggingFace、PyTorch、ONNX 等格式的 千亿级参数大模型 快速、低比特、低延迟地部署到 RK3576 / RK3588 等 NPU 上。
1.编译可执行程序
1.编译可执行程序