2月26日|第四范式今日推出大模型推理端侧解决方案ModelHub AIoT,用户在端侧可轻松部署如DeepSeek R1、Qwen 2.5、Llama 2/3系列等小尺寸蒸馏模型,离线运行,并可灵活在多个模型之间切换,兼顾了模型压缩、推理性能,解决了部署与优化的复杂性。该方案不仅能够满足用户对隐私和实时性的需求,还极大降低了AI大模型推理成本。
无需联网,端侧低延时运行
优秀的端侧推理框架在端侧算力的支持下,展现出卓越的性能与适配性。模型在本地即时处理请求,提供流畅的用户体验。在网络不稳定或离线环境下,端侧模型仍能正常运行,确保服务的连续性。
数据隐私与安全性提升
在端侧部署模型,数据无需上传至云端,所有计算和处理都在本地设备上完成,避免了云端传输和存储过程中的潜在泄露风险,降低了数据被黑客攻击或滥用的可能性。
成本效率与资源优化
端侧部署有效降低对云端资源的依赖,本地处理减少了云端计算和存储的需求,降低了服务器成本和API调用成本,无需频繁上传大量数据,节省了网络带宽资源。
新闻来源 (不包括新闻图片): 格隆汇