青云科技升级存储产品QingStor U10000 让数据多协议无损互通

无论是在国家政策层面还是市场层面,欢迎数字中国的到来是一种趋势,也是存储发展的背景。从云到云,这也决定了清兴科技对存储的思考不是孤立的。因此,用庆云科技存储产品总监冯Xandong的话来说,除了硬件技术本身的演进,庆云还把场景、计算能力、数据作为存储形态发展的最重要的驱动因素。

目前有两个核心产品:QingStor Neon SAN和QingStor U10000。QingStor Neon SAN主要针对云磁盘、数据库和虚拟化存储资源池中的应用。作为分布式块存储,Neon SAN可提供最佳的I/O性能。Neon SAN主要用于结构化数据,如数据库和虚拟化,而U10000主要用于非结构化数据。它主要包括各种图像数据、音频和视频数据、数据湖、大数据、物联网、人工智能等场景。产品设计的初衷是帮助客户更好地实现大数据的价值挖掘,产品的核心功能是:对象、文件、大数据接口和不同协议之间的并行服务,实现数据的无损访问互操作性;单个存储桶支持超过100亿个对象,并且不会降低性能。与大多数存储供应商不同,QingStor支持两种主要场景:两种独立的产品或两种独立的软件架构。QingStor NeonSAN针对结构化数据的高性能业务场景需求,QingStor U10000针对非结构化大数据的访问和使用。这两种产品都有自己的专业场景,也有自己的专业分工。“我们没有使用一种架构来满足结构化和非结构化数据的场景。主要原因是,从专业的角度来看,没有一种存储架构不仅能满足最终的性能设计要求,还能满足大数据吞吐量、计算和并发使用的需求。庆云希望通过专业仓储部门更好地服务于专业场景。“唐解释说。U10000是Qingun在多年存储技术积累的基础上进行的全面产品升级。U10000继承了原来的青云对象存储、文件存储的全部能力,并实现了多个维度的产品实力增强和迭代(青云存储以前主要包括QingStor NeonSAN块存储、QingStor对象存储、QingStor文件存储)因此,QingStor U10000并不是一个全新的产品。它是对非结构化数据统一对象存储和文件存储的全面升级。QingStor U10000定位为用于大量非结构化数据的统一存储平台,可帮助客户稳定存储和快速管理数据。与之前的QingStor对象存储和文件存储相比,QingStor U10000除了全面继承产品功能外,还在以下方面有了显著改进:数据协议的互操作性,增强功能和性能,增强整个计算平台的对接。接口层、存储服务层和维护平台构成了U10000的核心体系结构。改善数据流“新的应用程序不断涌现,新的数据形式不断产生,数据分析的需求也在不断变化。存储作为数据管理的核心,其重要性正变得越来越大。此外,计算能力的演进在存储的变化中也起到了非常明显的作用,因为计算单元的密度越来越高,计算敏捷性也越来越强。冯Xandong分享了存储形式变化的关键因素。基于场景和计算能力推动整个存储形式向前发展,数据更好地流动的方式与存储技术的能力密切相关。完整的数据流链包括存储和大数据技术,存储和人工智能计算技术的结合,从最初的收集、处理到存档、再利用和销毁。这使您能够更有效地捕获、索引、分析和处理数据。这也是清云存储多年来一直在研究的方向。例如,QingStor U10000的一个关键特性是多协议无损互操作性,可实现高效的数据访问和流。U10000在技术级别提供统一的索引体系结构,并在此基础上提供多个级别的功能。它对应用的好处是显而易见的。存储和读取数据之间不需要格式化,从而避免了性能和语义损失。其次,U10000为企业提供了可选择的多协议存储接口。U10000在文件、对象、HDFS等语义上支持POSIX、SMB、NFS、FTP、HDFS、S3、SDK等各种存储接口,以满足常见应用的需求。此外,协议的互操作性使数据分析更加高效。这在自动驾驶和基因测序等场景中很常见。U10000的另一个主要特点是计算能力的无缝对接,可以将数据“变成黄金”。经过多年的积累,U10000具备丰富的数据处理功能,能够提供一系列完善的API、SDK,轻松对接大数据平台、数据处理框架和服务,实现数据与计算能力的高效结合,最终实现数据的实现。以我们常见的图像处理、音视频转码、AI大数据分析、HPC超级计算平台为例,在数据生命周期流中经常使用的数据备份归档技术,QingStor U10000..。它具有一套完整的对接机制,用于对接计算能力和计算生态。庆云科技产品技术解决方案总监张忠华表示:“U10000是由业务场景驱动的,文件、对象的集成统一,其价值更加明显,极大地提升了客户体验。除了在基因测序等终极性能追求场景中的文件外,大部分文件仍在非结构化场景中使用,这也得到了青云科技大部分客户的积极反馈。张中华认为,对象存储和文件存储各有各自的特点,即使产品优化好,也会存在一些技术瓶颈。以文件存储、目录深度、小文件性能为例,这是一个文件系统的主题,对象存储的接口适应也是一个问题。因此,U10000的产品体系结构与协议互操作性相结合,可以很好地利用这两个优势,使用户能够很好地连接数据并在文件和对象之间移动。目前,U10000已广泛应用于医学检测、智能驾驶、智能工厂物联网场景、多样化超级计算场景等诸多领域。正如Zhang所说,这些场景通常不是孤立的存储场景,它们还需要不同的计算能力。从应用场景来看,客户更关心的是整体计算能力平台带来的价值,存储是计算能力中非常重要的一环,尤其是在HPC场景中,甚至可以说一半的计算能力取决于存储。由于Qingun的基因是计算能力,它从云端转移到云端,所以Qingun关于软件定义存储的想法并不是孤立的,而是专注于如何满足计算能力对存储的需求,使存储更好地适应计算能力和数据。