事件
Databricks 收购了 Tabular。字少事大。
紧接着,最近刚刚发生的事件,Iceberg 的 Contributor Kanou Natsukawa 呼吁 Icerberg 的 PMCChair 辞职,核心他的担忧是存在利益冲突。
Kanou 意有所指,担心的是什么
为什么 Kanou 有这个担心?他其实真正担心的是,鉴于 Tabular 是 Iceberg“背后”的商业公司,有多位 Iceberg 的 PMC 在 Tabular 任职。那么这次收购之后,很有可能>——真正的担忧是>
一箭双雕:Databricks 的战略意图
Databricks 此举的战略意图不难看出。一方面,他们希望发展自家的 DeltaLake,因为 DeltaLake 与 Iceberg 是直接竞争关系;另一方面,这也是在打击竞争对手 Snowflake。Snowflake 全面拥抱开放的湖仓标准,而 Iceberg 已经成为业界事实标准之一。通过收购 Tabular,Databricks 可以间接控制 Iceberg,从而在数据湖格式标准的竞争中占据优势地位。
历史总是相似的
当年 Oracle 收购 Mysql 是这个故事的翻版,Kanou 担心的正是这样的事情再次发生在 Iceberg 上。
(引文:)
这一事件在当时引起了开源社区的广泛关注和争议。时至今日,MySQL 仍是活跃的开源项目,但在 Oracle 的影响下,它的发展方向和节奏无疑发生了变化。Oracle 对 MySQL 的控制,也引发了开源社区对大公司介入开源项目的广泛讨论和反思。
Kanou 对>
Databricks 的意图可以说是明牌了。
在之前关于 Redshift 的采访中,Databricks 的 VP 明确表达了对数据存储格式的“野心”
(引文:)
能够看到两强相争之时,都看中了数据湖结构化存储标准这个兵家必争之地。为什么会这样?
因为传统的数据库引擎和未来 AI 模型多模态等引擎,去处理海量的额数据是一个多样性的处理过程。一方面数据是海量的,很难做到将海量的数据“喂”给不同的引擎,这样耗费的“数据搬运”或 ETL 成本太高;另一方面处理数据的引擎越来越多样。所以,必然会需要一个革命性地架构的改变。那么,今天 Snowflake 和>
云器科技在此前的发布会中详细解释了 AI 时代数据架构的发展趋势:
AI 时代的计算与存储将是 M 对 N 的关系架构,区别于一直以来数据库的计算和存储绑定的 1 对 1 关系
从 云器科技 此前的分享来看, 湖仓一体会成为主流架构,而 Iceberg 已成为事实标准。
下一代的数据架构将会是:
关涛(云器科技联合创始人及 CTO)此前分享到,“开放的存储和元数据支持多引擎协作是>
据此,不难理解 Snowflake 和>
Snowflake 和>
之前 RyanBlue,ApacheIcebergPMCChair 在 IcebergSummit2024 中谈及开放的存储格式正在掀起一场“革命”,并暗戳戳地阴阳了 DeltaLake。意思是本来没想把 DeltaLake 算进来,但想了想还是算上吧。满脸的勉强。
(引自:“Iceberg Summit 2024 Keynote:The Quite Revolution”)
这次收购事件,可以看出>
(图:Databricks VP 的演讲)
这场竞争双方是不惜代价全力以赴的。在>
并非技术之争,而是“开放”与“控制”之争
Snowflake 在 2024/6/3 的发布会 Keynote 分享,数据是 AI 的基础设施......以前是数据送给引擎去处理,未来 AI 时代是多种引擎,包括 AI 引擎,计算引擎要趋向数据。Data Centralization 的理念是方向。
(图:Snowflake Summit 2024 Keynote)
Snowflake 的产品经理 James Malone 在今天对 Tabular 的收购事件也发布了他的看法,他认为>
“开放标准本应由社区共同创建和维护,就像 Snowflake 新发布的 Polaris 那样,旨在促进生态共存。而>‘不能打败就购’的心态,与开源精神背道而驰。”
我们保持关注,希望 Iceberg 和技术社区能挺住
资本的力量,如果用在助力技术研发和应用落地,可以推动行业进步,造福社会,是“TechforGood”;而如果资本用于收购打压竞争对手时,就成了一种“资本之恶”。
Iceberg 能否在>
(图:Iceberg 技术社区的讨论)
下周,Databricks 将召开年度发布会,而 Snowflake 的发布会也正在如火如荼地进行中。虽然两家巨头今年没有像去年那样选在同一时间异地开幕,但这丝毫不会减弱他们在数据领域的竞争激烈程度。相反,随着>
人工智能正处在聚光灯的中心,各路科技公司都在追逐 AI 的绚丽光环。但在光环的背后,一场数据格式之争——关乎未来十年数据格式标准之争在暗处正在上演。
作者:苏郡城,云器科技运营总监,云计算大数据领域专家。曾主导阿里云国际业务数据体系建设,十余年一线数据化运营实战,助力企业实现数字化增长,热衷于技术社区分享。