(2023 年 10 月 19 日,北京)Alluxio 作为一家承载各类数据驱动型工作负载的数据平台公司,现推出全新的 Alluxio Enterprise AI 高性能数据平台, 旨在满足人工智能 (AI) 和机器学习 (ML) 负载对于企业数据基础设施不断增长的需求。 Alluxio Enterprise AI 平台可综合优化企业 AI 和分析基础设施的性能、数据可访问性、可扩展性和成本效益,助力生成式 AI、计算机视觉、自然语言处理、大语言模型和高性能数据分析等下一代数据密集型应用的发展。
为保持竞争力并在竞争中脱颖而出,各家企业都在全力推进数据和 AI 基础设施的现代化。在此过程中,企业家们也意识到传统的数据基础设施已经无法匹配下一代数据密集型 AI 负载的需求。在 AI 项目推进中经常遭遇的各类挑战,诸如性能低下、数据可访问性差、GPU 稀缺、数据工程复杂以及资源未充分利用等,都严重妨碍了企业获取数据价值。® 研究称,“可操作 AI 的价值在于能够在企业的各种环境下进行快速开发、部署、调整和维护。考虑到工程复杂性和更快的市场响应需求,开发较为灵活的 AI 工程数据流,构建能够在生产中进行自适应的 AI 模型均至关重要” ,“到 2026 年,采用 AI 工程来构建和管理自适应 AI 系统的企业,将在 AI 模型可操作性方面至少超越同行 25%。”
Alluxio 创始人兼 CEO 李浩源表示:“Alluxio 用最先进的大数据和 Al 平台为全球头部企业客户赋能,今天我们又向前迈出了一大步”, “Alluxio Enterprise AI 为客户提供高效的 AI 解决方案,帮助企业加速 AI 工作负载并最大限度地获取数据价值。未来的企业领导者将知道如何利用变革性 AI 来推进数据驱动,通过最新技术来构建和维护 AI 基础设施,实现超高性能、无缝访问和便捷管理。”
此次新版发布后,Alluxio 即从一种产品扩展到两种产品组合——Alluxio Enterprise AI 和 Alluxio Enterprise top="1500">加速端到端机器学习工作流
Alluxio Enterprise AI 使得企业的 AI 基础设施能够在现有数据湖上实现高性能运行、无缝数据访问、可扩展且经济高效。它能帮助数据和 AI 领域的领导者和从业者实现 AI 项目的四个关键目标:1.高性能模型训练和部署,快速产生业务成效;2.跨区域和跨云负载可无缝访问数据;3.可无限扩展,已经互联网巨头内部严格测试;4. 无需使用昂贵的专用存储,在现有技术栈上即可部署,确保投资回报最大化。企业使用 Alluxio Enterprise AI 后,预期训练速度可比使用提供商业服务的对象存储快达 20 倍,模型服务速度提升高达 10 倍,GPU 利用率达 90%以上,AI 基础设施成本节约高达 90%。
Alluxio Enterprise AI 拥有包含去中心化元数据的分布式系统架构,可消除访问海量小文件(常见于 AI 负载)时的性能瓶颈。无论文件大小或数量如何,都能确保具备超越传统架构的无限扩展性。与传统分析不同,分布式缓存是根据 AI 负载 I/O 模式量身定制的。此外,还支持分析负载以及从数据摄取到 ETL(提取、转换、加载)、预处理、训练和服务的完整机器学习工作流 。
Alluxio Enterprise AI 包含以下重要特性:
Enterprise Strategy Group 分析师 Mike Leone 表示:“随着组织在整个业务范围内扩展 AI 的应用,优化下一代工作负载过程中的性能、成本和 GPU 利用率变得至关重要” ,“Alluxio 拥有极具优势的产品,能真正帮助数据和 AI 团队实现更高的性能、无缝的数据访问,以及模型训练和模型服务的便捷管理。”
“我们与 Alluxio 合作密切,Allxuio 平台对我们的数据基础设施至关重要,”Aunalytics 分析云工程总监 Rob Collins 表示, “Aunalytics 对于 Alluxio 新推出的针对企业 AI 的分布式系统十分期待,并看好新产品在 AI 行业的巨大潜力。”
“公司内部训练的大语言模型为我们的问答应用和推荐引擎提供支持,极大地增强了用户体验和参与度”,知乎数据平台团队软件工程师胡梦宇表示, “在我们的 AI 基础设施中,Alluxio 处于核心地位。在使用 Alluxio 作为数据访问层后,我们的模型训练性能提升了 3 倍,部署性能提升了 10 倍,GPU 利用率翻倍。Alluxio 的 Enterprise AI 平台采用全新的 DORA 架构,能支持访问海量小文件,对此我们十分期待。在 AI 浪潮即将到来的时刻,Alluxio 新产品让我们在支持 AI 应用方面更有信心。”
在机器学习工作流中部署 Alluxio
研究显示,数据可访问性和数据量/复杂性是组织应用 AI 技术中遇到的三大难题之一。 Alluxio Enterprise AI 可以添加到由 AI 计算引擎和数据湖存储组成的已有 AI 基础设施中。 Alluxio 位于计算和存储中间,可以在机器学习工作流中跨模型训练和模型服务工作,从而实现最大速度和最优成本。例如,将 PyTorch 作为训练和服务引擎, Amazon S3 为现有数据湖:
平台与现有系统集成
要将 Alluxio 与现有平台集成,用户可以在计算引擎和存储系统之间部署 Alluxio 集群。在计算引擎侧,Alluxio 可与 PyTorch、Apache Spark、TensorFlow 和 Ray 等流行的机器学习框架无缝集成。企业可以通过 REST API、POSIX API 或 S3 API 将 Alluxio 与这些计算框架集成。
在存储侧,Alluxio 可连接位于任何位置(本地、云端或两者兼有)的各类文件系统或对象存储。支持的存储系统包括 OSS、COS、BOS、OBS、Amazon S3、Google GCS、Azure Blob Storage、MinIO、Ceph、HDFS 等。
Alluxio 可在本地和云端、物理机或容器化环境中运行。支持的云平台包括阿里云、腾讯云、百度云、华为云、AWS、GCP、Azure Cloud 等。
下载资源
Alluxio Enterprise AI 下载链接: Infra Day
在美西时间 10 月 25 日的 AI Infra Day 上,Alluxio 将首次公开展示其最新发布的 Alluxio Enterprise AI 平台。AI Infra Day 是面向开发者的线上活动,主要探讨构建高性能、可扩展且经济高效的 AI 基础设施中的挑战及各种方案。特邀嘉宾包括 Wanchao Liang(Meta )、 Sally (Mihyoung) Lee(Uber) 和范斌(Alluxio)。活动现已开放报名: