OLT设备 今天,华为在深圳发布了大模型时代AI存储新品,为基础模型训练、行业模型训练,细分场景模型训练推理提供存储解决方案。 华为数据存储产品线总裁周跃峰发布大模型时代AI存储新品。 中青报·中青网记者武欣中/摄 据介绍,企业在开发及实施大模型应用过程中,面临四大挑战:首先,数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右;其次,多模态大模型以海量文本、图片为训练集,当前海量小文件的加载速度不足100MB/s,训练集加载效率低;第三,大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天;此外,大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。 华为此次推出的AI存储新品包括OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。其中,OceanStor A310深度学习数据湖存储可实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理。usionCube A3000训/推超融合一体机面向行业大模型训练/推理场景,针对百亿级模型应用,可提供拎包入住式的部署体验。 发布会上,华为数据存储产品线总裁周跃峰表示:“大模型时代,数据决定AI智能的高度。作为数据的载体,数据存储成为AI大模型的关键基础设施。华为数据存储未来将持续创新,面向AI大模型时代提供多样化的方案与产品,携手伙伴共同推进AI赋能千行百业。”
|