牛策略 | 提效能降成本,华为发布AI推理创新技术

据中证报报道,华为8月12日正式发布AI推理创新技术UCM(推理记忆数据管理器)。据了解,作为一款以KV Cache为中心的推理加速套件,UCM融合了多类型缓存加速算法工具,分级管理推理过程中产生的KV Cache记忆数据,可扩大推理上下文窗口,实现高吞吐、低时延的推理体验,降低每Token推理成本。华为计划于2025年9月正式开源UCM,届时将在魔擎社区首发,后续逐步贡献给业界主流推理引擎社区,并共享给业内所有Share Everything(共享架构)存储厂商和生态伙伴。

中证报指出,HBM(高带宽内存)作为解决“数据搬运”问题的关键技术,在AI推理过程中扮演着举足轻重的角色。当HBM资源不足时,用户在使用AI推理时会明显感受到体验下降,任务卡顿、响应缓慢等问题接踵而至。UCM技术通过优化KV Cache记忆数据管理,能够降低每Token的推理成本。这项技术发布正值AI产业从“追求模型能力的极限”转向“追求推理体验的最优化”的关键节点,推理体验直接关联用户满意度和商业可行性,成为衡量模型价值的重要标准。

公司方面,据中证报表示,A股相关概念股主要有神州数码、、初灵信息等。

*免责声明:文章内容仅供参考,不构成投资建议

*风险提示:股市有风险,入市需谨慎

本资讯中的内容来自持牌证券机构,意见仅供参考,并不构成对所述证券买卖做出保证。投资者不应将本资讯作为投资决策的唯一参考因素。亦不应以本资讯取代自己的判断。

本文内容和观点不代表牛策略APP平台观点,请独立判断和决策。在任何情况下,牛策略APP不对任何人因使用本平台中的内容所引致的任何损失负任何责任。

© 版权声明
THE END
喜欢就支持一下吧
点赞7 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容