华为云存储私享会 揭开华为云数据底座的神秘面纱

时间:2022-10-13 21:08:18来源:网络整理
导读来自华为云存储团队的大咖们分享了华为云存储的技术实践历程、高性能分布式存储架构剖析,以及时下热门的专属存储方案。活动当天,华为云存储资深架构师张志乐,从架构的三

2017年12月2日,第四期华为云技术私享会——云存储专场在北京3W咖啡召开。华为云存储团队的专家分享了华为云存储的技术实践过程,高性能分布式存储架构解析,以及当下流行的专属存储方案。同时,来自 Veritas 的专家也带来了多云环境下的挑战和解决方案。

华为云分布式存储的三大关键选择

做好基础设施、高性能、高扩展性只是第一步。稳定性和可靠性是存储系统的命脉。FusionStorage的高可靠性来自“内外兼备”:在外部,全球超过600家金融、能源、运营商、政府等行业的客户选择了FusionStorage,并在大规模部署过程中积累了大量宝贵的可靠性经验EB级容量的商业使用。; 对内,云存储团队组建了专业的蓝军,不断打破假设,考虑人为错误删除、元数据损坏等极端因素,不断夯实可靠性。

“华为云分布式存储FusionStorage从研发上线到现在已经走过了7年,其中有3个非常关键的选择。”华为云存储服务总监石胜兵在开幕式上介绍。

摒弃一套同时支持块、文件和对象的架构,专注做好块,同时创新自研强一致性协议,追求极致的稳定延迟;从超融合到专注于云服务,以云服务和性能的形式提供存储资源;延迟交付去重和压缩、双活、同步、异步等企业特性,重点关注云所需的大规模集群的高扩展性和可靠性。

“这三个决定,让FusionStorage坚定地选择了云,做好面向云的架构,做好性能、扩展性和可靠性;同时在软硬件结合上不断创新,并追求极致的稳定性能,如实现SSD缓存,率先支持56G无限带宽。” 石胜兵说道。

华为云存储服务总监施胜兵

华为云的高性能分布式存储架构是如何做到稳定低时延的?

活动当天,华为云存储高级架构师张志乐从架构的三个方面深入剖析了华为云存储是如何做到稳定低时延的:一是复制和数据路由技术对云存储的性能起着决定性的作用。分布式存储系统。华为分布式存储采用强一致性和DHT路由,因为强一致性始终保证所有副本的数据是最新的。使用数据时,只需要读取主副本,延迟低于最终一致性;元数据路由在数据量增加时,索引会急剧增加,而DHT路由与数据量无关,在性能上也没有长尾效应。

二是存储介质和网络的优化。SSD的垃圾回收机制会引入写放大,极端情况下延迟会增加10倍;在大规模集群、多对多数据传输中,RDMA网络拥塞问题比较突出。华为分布式存储实现多流分离和主动软件修剪,有效避免无效数据移动,提高IO效率,延长SSD寿命。时刻监控网卡故障和交换机故障,在触发PFC风暴前及时切换业务。避免网络拥塞造成的雪崩效应。

第三,好的架构必须通过好的代码来实现。基于异步线程管道的线程调度需要多轮等待唤醒,IO耗时较长。华为分布式存储采用轮询方式。网络上使用RMDA轮询或DPDK轮询,以节省复制和从内核态到用户态的切换;在磁盘上使用SPDK来减少中断和切换,最终实现无线程上下文切换、无中断、零中断。等等,大大提高IO效率。

C:\Users\l00384948\Documents\Downloads\webwxgetmsgimg (1).jpg

华为云存储高级架构师张志乐

对于公有云的性能,仅仅做到以上三点是不够的。多租户隔离也必须通过QoS机制进行,这样才能保证用户的性能SLA。华为云存储提供QoS机制,提供国内独家Burst能力,让小容量云硬盘在短时间内实现突发性能。

以下现场演示展示了华为云存储的三大能力:

普通IO云盘无QoS限制可以跑到92000+IOPS,通过QoS限制在稳定的1000IOPS;100GB高IO云盘,借助Burst能力,可以维持半小时3000以上的IOPS;共享云盘性能线性增长,16个挂载点的情况下,所有挂载点都有20000+IOPS。

华为云专属存储解决方案:兼具最佳实践

但在云时代,自建机房运维难度大、成本高、成本高、扩容周期长。企业正在积极向公共云或混合云转型。

对于数据安全和合规性要求较高的政府、大型集团公司或金融机构来说,对独享存储的需求不断上升。华为云独家提供专属存储服务华为云存储,提供私有云级别的物理隔离能力,保障数据安全合规。同时,用户可以通过基于服务的方式购买按需和基于量的服务,享受公有云带来的便利。

华为云服务高级架构师陈忠平介绍,华为云专用存储服务有两种产品形态:

DSS具有高并发、大带宽、分布式存储灵活扩展等特点,可以满足云资源池、HPC、OLAP等高并发应用场景的需求。例如,某政府客户使用DSS搭建专属云,将城建人员考勤系统迁移到其中,既满足数据存储合规性,又节省了自建机房的运维成本。

DESS可提供0.5ms的稳定低延迟,双活特性保证6个9的服务可用性,支持Oracle RAC、SAP HANA等企业核心数据库平滑迁移上云。某知名企业考虑到数据安全和服务可用性,决定使用DESS替代企业高端SAN存储,配合BMS裸机服务器将核心业务系统平滑上云,再使用VPC将将现有云服务在通用资源区迁移到云端。打通,实现公司整体业务上云。

C:\Users\l00384948\Documents\Downloads\webwxgetmsgimg (2).jpg

华为云服务高级架构师陈忠平

多云环境中的挑战和解决方案

未来即将走向多云时代,但由于公有云行业的标准化和开放性还不成熟,管理者在进行多云部署和管理时往往会面临很多风险和成本,比如数据迁移、相同的技术栈。进行迁移存在技术挑战,更不用说在不同公共云的不同技术堆栈之间移动大量数据了。同时,大家对一些关键问题的理解还比较模糊。例如,当数据在多个云之间流动时,这个责任是否应该由云服务提供商承担,是否存在数据管理和安全问题等。

Veritas 作为第三方技术提供商一直致力于解决平台之间的差异,这一战略将延伸到未来的多云时代。不同云之间,数据管理、服务迁移、业务连续性等问题本质上是云平台之间的差异,Veritas致力于帮助用户解决。

在未来的 IT 世界中,数据将是比基础设施更重要的资产,但数据合规性和治理带来的挑战却被低估了。“欧盟即将出台一项法律,将数据管理权归还给个人。例如,用户可以要求互联网平台删除所有个人数据,即所谓的‘数据遗忘权’,这意味着一系列数据合规管理,如不删除数据,将处以公司年产值4%的罚款。” Veritas 解决方案专家尹健介绍。“Veritas 长期积累数据合规管理,可以智能识别个人用户的数据,并在此基础上进行管理和提供服务。”

Veritas 的 VRP 管理平台可以预测用户的服务是否可以在另一个云平台上部署和运行,并满足合规性要求;它还可以在不中断业务的情况下在多个云之间迁移数据。但是,要真正解决多云问题,我们还面临很多挑战,因为每一个公有云都在经历着剧烈的迭代和演进,而Veritas也在与时俱进,与主流公有云厂商合作,让用户享受多云环境中的服务部署和管理更加便捷高效。华为与 Veritas 有着长期深入的合作关系。双方目前在容灾备份方面有着密切的合作,

C:\Users\l00384948\Documents\Downloads\webwxgetmsgimg (3).jpg

尹健华为云存储,Veritas 解决方案专家

活动当天,华为云存储团队的专家就分布式存储技术实施、公有云运维、容灾等问题与现场观众进行了深入探讨。提问时间,现场气氛持续热烈,直到会议结束,仍有不少热情的观众留下来与专家互动。优越的

除了线下面对面交流,您还可以通过华为云社区与大咖在线互动。时间地点不再受限,还可以找到志同道合的朋友,共同进步。

华为云技术私享会系列活动也将在上海、深圳等地举办,涵盖更多服务和解决方案,为大家带来更多华为云服务技术干货分享,敬请期待!

请点击此链接了解更多华为云产品:

最新文章