IOL观察
IOL刊物
数据云仓
报告
冷暖智造
8月12日，华为举行发布会，正式发布AI推理创新技术UCM。华为方面介绍，作为一款以KV Cache为中心的推理加速套件，UCM融合了多类型缓存加速算法工具，分级管理推理过程中产生的KV Cache记忆数据，可扩大推理上下文窗口，以实现高吞吐、低时延的推理体验，降低每Token推理成本。华为计划于2025年9月正式开源UCM，届时将在魔擎社区首发，后续逐步贡献给业界主流推理引擎社区，并共享给业内所有Share Everything(共享架构)存储厂商和生态伙伴。
关键词：华为
编辑：YHZ
