BETWAY(中国必威)官方网站

AMDAI生态伙伴模优优科技:全尺寸Qwen3-235B模型在miniPC上的高效部署|必威|官方网站
公司新闻 分类
AMDAI生态伙伴模优优科技:全尺寸Qwen3-235B模型在miniPC上的高效部署发布日期:2025-06-07 浏览次数:

  AMD AI 生态伙伴模优优科技:全尺寸Qwen3-235B模型在miniPC上的高效部署

  自最新的通义千问大模型Qwen3发布以来,凭借其优秀的模型表现,备受关注。在当前AI大模型快速发展的时代,AMDAI生态伙伴模优优科技继成功实现DeepSeekV3大模型的AIPC优化部署后,第一时间成功将全尺寸Qwen3-235B模型优化,部署到基于AMD锐龙AI Max+395处理器的miniPC上,推理速度达到14tokens/s。

  精细量化与内存优化:针对Qwen3模型的混合专家架构特性,模优优团队采用了差异化量化策略,对关键层和路由专家进行精细量化处理,在保持模型精度的前提下,显著降低了内存需求。

  多硬件协同加速:方案充分整合了GPU和CPU资源,实现了硬件资源的高效利用,推理速度达到14tokens/s,为用户提供媲美云端的对话体验。

  动态计算调度:针对Qwen3模型支持思考模式和非思考模式切换的特性,模优优技术团队开发了自适应计算调度系统,根据任务复杂度动态分配计算资源,实现性能与体验的最优平衡。