<p class="ql-align-justify"><span style="color: rgb(39, 64, 119);">2月25日，第四范式推出大模型推理端侧解决方案ModelHub AIoT，用户在端侧可轻松部署如DeepSeek R1、Qwen 2.5、Llama 2/3系列等小尺寸蒸馏模型，离线运行，并可灵活在多个模型之间切换，兼顾了模型压缩、推理性能，解决了部署与优化的复杂性。该方案在端侧部署模型，数据无需上传至云端，所有计算和处理都在本地设备上完成，避免了云端传输和存储过程中的潜在泄露风险，降低了数据被黑客攻击或滥用的可能性。同时，端侧部署有效降低对云端资源的依赖，本地处理减少了云端计算和存储的需求，降低了服务器成本和API调用成本，无需频繁上传大量数据，节省了网络带宽资源。</span></p><p><br></p>