您现在的位置: 贯通日本 >> 资讯 >> IT >> 正文

“他们竟然把AI用在了全闪存里!?”日本专家AI上华为OceanStor存储

作者:方便  来源:砍柴网   更新:2020-6-9 14:47:14  点击:  

原标题:“他们竟然把AI用在了全闪存里!?”日本专家AI上华为OceanStor存储


近日,在日本东京举行的Interop展会上,经过行业专家和顶尖学者多轮严格评审,华为新一代OceanStor存储Dorado系列,凭借“具有压倒性的性能和稳定的极低时延,支持通过AI芯片对I/O处理进行自我优化。”一举夺得Interop Tokyo 2020 Best of show Award金奖。这也是继2017年上一代OceanStor存储Dorado系列获奖后,再次获此殊荣。


“这是业界首款将AI模块应用在存储里的产品”评审团的一位专家说道,“凭借这款内置在存储里的AI插件,OceanStor存储Dorado系列能够实时智能地分析工作负载,不断优化缓存预取算法,提高读取命中率,并且随着时间的推移,系统性能提高20%。”


华为率先将AI能力内置于存储系统,这项创新获得了Interop专家评审团的一致认可。这背后是华为研发团队坚持不懈的努力。接下来,我们就让华为OceanStor存储Dorado系列产品首席架构师张鹏,来为大家揭秘首款内置AI模块的存储背后的故事。


高端存储产品由于追求极致的可靠性,所以看似固执守旧,其实却蕴含新生机。人工智能技术的崛起,赋予了高端存储新的生机。


“要让一个存在几十年历史的产品焕发活力,必须思考加入一些创新性的技术。”张鹏如是说。为此,华为在OceanStor存储Dorado系列中加入了大量的智能技术,“华为在AI算法方面投入很大。”比如,采用 AI模块基于机器学习框架,主动分析并掌握多个应用模型的IO规律,让读缓存命中率持续提升。


“OceanStor存储Dorado系列这种全互联、全共享的架构,非常适合采用机器学习这些人工智能技术,对IO进行全局的学习和分析,实现存储操作更加智能化,从而提升系统的性能和效率。”张鹏补充道。


内置智能AI模块,学习IO规律,优化预取算法,提升系统性能


我们都知道读Cache是存储系统常用的加速手段,就是把数据预先从硬盘中取出来,放在一个比硬盘更快的地方,通常用的介质是RAM。针对读数据的任务,CPU会先去读cache里面查找,找到了就反馈给前端接口卡,由前端接口卡传送给用户,如在cache中未找到才会去硬盘里面找。很明显,最理想的情况就是所有的读数据请求都能在读cache里面找到数据,这样是性能最高的。但是数据是杂乱的,任务是随机的,怎么知道应该提前取哪些数据放在读cache里面呢?


为了解决这个难题,华为OceanStor存储Dorado系列首创引入人工智能模块作为存储系统插件,提升预测准确率。


那么内置的AI模块是怎么帮助提升预测准确率的呢?我们知道,存储系统收到的数据是一份一份的,每一份我们叫做一个I/O。不同的业务,发送过来的I/O是千差万别的。但是I/O不仅存在时空关联,而且也存在语义关联。时间关联就像是8点后面是9点,空间关联就像是中国的北面是俄罗斯和蒙古。语义关联就像我们说“北极熊是世界上…”,后面大概率是想说“体型最大的熊”。I/O也是这样,只不过我们需要把这些关联挖掘出来。知道了这些关联,自然就能提高预取的准确率了。


OceanStor存储Dorado系列中的AI模块集成了自调优的深度学习算法,可以对上层业务的全量I/O数据从时空关联和语义关联上进行快速分析和深度挖掘。当I/O过来后,它会立刻判断出即将访问的数据,并告诉CPU赶快取到读cache中。同时,它还在后台不断对已有数据进行二次学习,进一步提升准确率。最后是通过对预取命中率、浪费率、时延等关键性能指标进行评估,然后自主调整。


经过华为性能实测,OceanStor存储Dorado系列在同样带宽的前端卡(16G FC),同样的测试模型(随机读,64K以内I/O数据块大小),读cache命中率从19%提升到69%。


 

新闻录入:贯通日本语    责任编辑:贯通日本语 

  • 上一篇新闻:

  • 下一篇新闻: 没有了
  •  
     
     
    网友评论:(只显示最新10条。评论内容只代表网友观点,与本站立场无关!)
     

    日本仅一地睡眠时间超过8小时 专家:老年人多,为省

    前国脚之子放弃进国足加入日本籍 青训又1成功案例

    全球第三大债市也熊陡 日本30Y国债升逾一年来新高利

    日本多地以“无到场观众”方式重启赛事及演出

    “日本-中国(连云港)-蒙古国”班列首发

    东京奥组委副主席:应在2021年3月前后判断能否举办东