导航菜单

合作推出业界首个MLOps数据集缓存

导读 cnvrg io,数据科学平台简化模型管理和引进先进MLOps行业,宣布与NetApp的合作伙伴关系,首先要充分利用cnvrg io数据集缓存工具,一组独特
2020-11-23 18:01:01

cnvrg.io,数据科学平台简化模型管理和引进先进MLOps行业,宣布与NetApp的合作伙伴关系,首先要充分利用cnvrg.io数据集缓存工具,一组独特的功能,可为任何机器学习作业立即从缓存中提取数据集。cnvrg.io是第一个使用数据集缓存进行端到端机器学习开发的ML平台。缓存使数据集可以在几秒钟而不是几小时内就可以使用,并且缓存的数据集可以由连接到缓存数据的同一计算集群中的多个团队授权和使用。cnvrg.io客户已在生产级别使用数据集缓存。

拥有数百个数据集馈送模型的情况并不少见。但是,这些数据集可能远离训练模型的计算,例如在公共云或数据湖中。借助NetApp和cnvrg.io的数据集缓存功能,用户可以缓存所需的数据集(和/或其版本),并确保它们位于连接到正在执行计算的GPU计算群集或CPU群集的ONTAP®AI存储中。训练。缓存所需的数据集后,不同的团队成员可以多次使用它们。

cnvrg.io数据集缓存功能可由ONTAP AI存储服务器上的任何cnvrg.io用户使用。连接到组织后,数据科学家可以将其数据集的提交缓存在该网络文件系统(NFS)上。缓存提交后,用户可以将其附加到作业中以立即获得对数据的高吞吐量访问,并且该作业将不需要在启动时克隆数据集。cnvrg.io的数据集缓存功能具有以下业务优势:

提高生产力-数据集可以在几秒钟而不是几小时内使用。

改进的共享和协作-缓存的数据集可以由连接到缓存数据的同一计算集群中的多个团队授权和使用。

降低成本-模型正在从缓存中提取数据集,从而减少了每次下载的费用。

运营混合云-数据集缓存提供了本地高性能镜像存储。

多云数据集移动性-使用本地缓存作为数据的控制点。

NetApp AI和数据工程高级技术总监Santosh Rao说:“深度学习工作负载是独特的,因为它们需要访问来自大型数据集的随机数据样本,而这些数据样本可能来自不同的数据源和分散的位置。” “此外,深度学习需要接近GPU计算集群的高性能数据,这需要结合高性能闪存存储系统,连接到Edge,Core和Cloud的连接器以实现分散的数据位置访问,并支持NFS广泛使用的数据源格式NetApp和cnvrg.io建立了第一个同类合作伙伴关系,旨在通过Deep Learning改变其业务,将这些功能带给全球客户。”

“我们与NetApp的合作关系为数据团队提高了生产力和效率。” cnvrg.io首席执行官兼联合创始人Yochay Ettun说。“我们很高兴推出用于机器学习的数据集缓存,为NetApp用户和cnvrg.io用户提供高级数据管理和数据版本控制工具,使数据团队能够专注于数据科学,从而更快,更轻松地访问其数据集。超过技术复杂性。”

关于cnvrg.io:

cnvrg.io是一个AI操作系统,将企业管理,扩展和加速AI和数据科学发展的方式从研究转化为生产。代码优先平台是由数据科学家为数据科学家构建的,并提供了无与伦比的灵活性以在本地或云上运行。

免责声明:本文由用户上传,如有侵权请联系删除!

猜你喜欢:

最新文章: