由最初的纯设备生产厂商渐渐发展为今天的智能设备设计商和互联网服务提供商,“魅族”转眼间已经历了十年的成长,其 Flyme 系统也在逐渐走向成熟。而依托于 Flyme 的魅族互联网服务也逐渐发展起来,随之而来的大数据需求也日渐增多。
为将海量数据得以更高效的应用,沉淀大批高质用户标签,并用数据辅以应用商和广告主的经营决策,魅族数据平台建设工作随之而起,迄今为止已两年有余。
魅族数据平台采用了业界主流的计算平台和开源技术,涵盖了 Hadoop 生态、流计算、机器学习等领域。截止现阶段,魅族数据平台已完成对魅族关联业务的各项数据支撑,长期计划中,它也将全面投入魅族 AI 计算平台和机器学习 /AI 业务的支撑能力研发中。
为了进一步探究魅族数据平台的技术迭代演进之路,了解其背后的选型思路、技术创新和在不断迈进过程中所踩过的坑、所规划的解决方案,InfoQ 对魅族大数据总监莫涵宇进行了深度专访,和他一起聊聊魅族数据平台的设计哲学和核心架构。
:魅族为何要研发数据平台,源于哪些痛点?该款平台主要面向什么样的用户?
:在两年多的建设中,魅族数据平台经历了几次较大迭代?每次迭代都有哪些重大变化?
:魅族数据平台采用了哪些业界主流的计算平台和开源技术(请例举几项,并解释为何采用)?为满足平台性能及其他需求,魅族是否有哪些自研组件?
:您能否为 InfoQ 读者重点讲解从数据接入、数据清洗、存储计算到监控等环节,魅族数据平台的运作原理以及各个环节技术选型上的思考(包括走过的坑和解决方案的调整)?
:是否有 Hadoop 集群演化过程的经验可以分享?遇到的主要问题和解决方案有哪些?
:能否分享一下 OLAP 引擎探索思路和目前的进展?
:魅族数据平台自研的 自助分析、驾驶舱 (移动数据分析) 能够帮助使用者解决哪些问题?优势是什么?我们同时注意到,数据平台未来也计划在 AI 上加大技术投入,赋予其自身更多的 AI 能力,您是否能具体讲讲你们的技术实践计划?
:目前魅族内部基于这个大数据平台做了哪些产品或应用?在哪些方面给魅族带来了提升?是否可以分享一到两个具体的案例?
:您能否谈谈平台的价值和发展?您认为应该如何评估大数据平台的技术能力?从哪几个维度?魅族数据平台下一步的发展规划有哪些?技术上是否计划开源?
采访嘉宾
莫涵宇, 魅族大数据总监,具有十五年工作经验和十四年数据仓库与大数据开发应用经验,先后服务于某电信系统集成商,阿里巴巴,YY,魅族科技,过往主要从事数据平台建设,架构设计,数据处理等领域工作,目前负责魅族大数据平台的管理和整体业务规划,包括数据平台建设和数据应用服务(数据处理,报表,分析,预测,推荐算法,AI 图像和语义)