0
收藏
微博
微信
复制链接

教你如何区分云数据迁移/分层

2024-05-14 11:12
104

如何使数据存储现代化,大多数IT专业人士可能会提到云。多年来,云一直是IT战略的一个重要组成部分,且未来也会变得更加重要。Gartner预测,到2028年,75%的工作负载将在云中运行;而IDC预测,未来三年云市场的复合年增长率将接近20%。

从非结构化数据存储的角度来看,迁移到云有可能带来重大好处。例如,云存储是无限可扩展的。其还可以提高数据可用性,并允许组织利用广泛的云原生服务,包括分析和人工智能。

然而,尽管云技术的普及程度越来越高,但简单地将所有本地文件和对象数据迁移到标准云存储并不理想。现在有如此多的存储层可用,了解非结构化数据迁移和数据分层之间的差异,并考虑由分析驱动的混合方法至关重要。

1.png

云数据迁移与云数据分层

首先,先来了解一下云数据迁移和云数据文件分层之间的区别。

云数据迁移意味着将当前存储在本地的数据转移到云存储服务,如AmazonEFS或AzureFiles,从而使数据能够从云中立即访问。云数据迁移可能发生在刷新存储的时候,并且是整体迁移到云策略的一部分。将数据迁移到云端至少有两个目的。一种是利用云文件系统并在云中运行应用。这提供了与本地存储相同的基本数据性能和可用性,但具有比本地存储通常提供的更多可扩展性的额外好处。此外,使用云存储的企业只需为其所消耗的东西付费,因此,如果以后缩减规模,就不会被其购买但不再需要的存储基础设施所困扰。另一个目的是使用云作为离线存档,使用低成本的对象存储,如Amazon的S3Glacier和GlacierInstantRetrieval。

相比之下,云数据分层是持续将数月未访问的旧数据卸载到云存储服务的过程。分层在云中创建了一个“在线存档”,其中的文件看起来仍然是本地的,只需双击即可访问。像Amazon的GlacierInstantRetrieval这样的档案存储比标准S3存储的成本要低得多。由于分层不断地将旧数据迁移到云端,因此减少了需要的昂贵的本地高性能存储数量,以及所需的备份存储数量,从而将存储成本降低了70%。

接下来,来看看如何从采取的策略中获得最大的收益。

制定云数据迁移策略

以下是关键考虑因素:

用法:这适用于将本地文件服务器迁移到云文件服务器,以及将文件离线归档到云对象存储。

数据的预评估:使用分析优先的方法确定哪些内容应该转移到云上,哪些应该删除或存档,这一点很重要。将降低云成本和迁移时间,并确保在正确的时间为正确的数据集选择正确的策略。

环境和网络的预评估:由于本地基础设施和相关网络设置中的瓶颈,迁移性能往往极其差。一些迁移解决方案提供了运行标准测试的工具,以识别环境中的瓶颈。这可以从根本上提高迁移项目的成功率。

性能:由于广域网的高延迟,将大量数据,尤其是大量小文件,迁移到云可能会非常缓慢,特别是在迁移依赖于SMB等聊天网络协议来传输数据的情况下。寻找设计用于在广域网上工作,并缩短文件传输时间的解决方案。网络带宽限制和中断也会影响数据迁移的性能,并且在将数据从本地迁移到云的过程中可能会丢失一些文件属性或元数据。寻找在发生网络问题时提供重试的解决方案,并执行校验和测试,以确保每个文件的所有位都已正确传输。

安全性:如果通过网络迁移数据,需要确保数据在传输过程中进行加密,以防止窃听。此外,一旦数据在云中,配置正确的访问控制以防止数据泄漏是很重要的。

云分层考虑

以下是分层的关键方面,决定成本节约的实现与否:

块级分级与文件级分级:传统上,存储供应商提供块级分级。这对于快照等系统数据是理想的,但在迁移常规用户和应用数据时存在缺点。由于文件是以专有块的形式存储的,因此无法从云端进行访问。需要供应商销售的专用软件。此外,当需要替换本地文件系统时,必须重新处理与之关联的所有数据。需要在现有的文件服务器上购买足够的容量来保存重新处理过的数据,然后将重新处理过的数据迁移到新的文件服务器。然后,需要将冷数据分层回云端。如果有分层的pb级数据,这可能会令人生畏,并且由于出口费用和云API成本,这将是昂贵的。相比之下,文件级分层对整个文件进行分层,可以从云端本地访问,用于人工智能和其他云应用。在一些非结构化数据管理解决方案中,可用的文件级分层将允许从新的文件服务器访问分层的文件,而无需对所有分层的数据进行分层。这是一个不可忽视的巨大优势。

透明度:分级应该提供透明度,这样用户就可以通过简单地双击本地文件服务器上的文件来访问其数据,并将其重定向到分层的位置。透明度允许IT管理员自动连续地对冷数据进行分层,而不会干扰用户并使其寻找已移动的数据。仍然能够从原始文件服务器搜索和访问文件,这就是为什么透明分层被称为创建“在线存档”的原因。

批量召回:当需要时,分层解决方案应该允许批量召回数据。如果需要对数据已分层的项目进行修订,而不是在需要时恢复文件,应该能够提前召回所有文件,以获得最佳性能。

总结

如果是想减少本地存储容量,采用新的存储技术,并增加对更灵活、按需的云存储的投资,那么云数据迁移是非常好的选择。如果是想降低不经常访问的数据的存储成本和容量,但将来可能仍然需要在本地调用这些数据,那么数据分层是更好的选择。

此文内容来自千家网,如涉及作品内容、版权和其它问题,请于联系工作人员,我们将在第一时间和您对接删除处理!

登录后查看更多
0
评论 0
收藏
侵权举报
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表凡亿课堂立场。文章及其配图仅供工程师学习之用,如有内容图片侵权或者其他问题,请联系本站作侵删。

热门评论0

相关文章

电路之家

专注电子、科技分享,对电子领域深入剖解

开班信息