从大数据演进到高性能计算 AI Caffe作者贾扬清 (大数据的演进)

从大数据演进到高性能计算 AI Caffe作者贾扬清 (大数据的演进)

从 Caffe 到 PyTorch

: 最早的时候听说 Caffe 是你的一个 side project,不是你论文的主要内容。当时开发 Caffe 的初衷是什么?中间经历过什么过程,可以给大家讲一下吗?

: 后来到了 Facebook 之后继续做 Caffe 你有遇到什么新的问题吗?

: 前段时间你们宣布了 PyTorch1.0 的发布,我记得 Caffe 主要是做 production 的,而 PyTorch 主要是 research 这个阶段,当你把它们合并在一起的时候,是希望解决什么问题呢?

软硬件协同设计

: 上次我跟你聊,你说到你比较关注硬件方面的发展。我想知道你的角度是什么,是 software hardware co-design 吗?

: 也就是说它搭建了一个 eco-system,给 developer 们有更方便的方法去用,对吧?

计算机领域的文化

: Facebook 也是少有的做比较顶尖的 AI research 的一个公司,你在里边带领 AI infrastructure 这块的一些研究。我知道 Facebook,Google 这样的公司有个特点,就是它有很多大牛都在一起工作。而很多别的公司经常有这种一山不能容二虎这种现象。我不知道你在这方面有什么体会,有什么心得可以分享?是什么样的文化使得 Facebook 在 research 这方面有个 cutting-edge research 的结果?

: 谢谢你提到了我们!你提到了 Reddit,我看到了你 Reddit 上有篇评论,里边提了一个词叫 unframework,因为当时是 Caffe 2.0 的时候你提的,能给我们解释一下是什么意思吗?

管理团队的软技能

: 你当初也是典型的 engineering research 出来的,现在去 lead 的组织,有很多工程师。你觉得在这个过程中 soft skills 你有些什么收获,给大家有什么建议?

从数据到决策的新趋势

Q1: 这两年我们看到了一个趋势,从 classification regression 要做 reasoning,然后要去做 reinforcement learning,要去做 decision making,在这个趋势你有什么看法呢?因为从我们的直觉上来说这个是跟过去相反的趋势,但是实际上我们看到如果不这么做的话,直接用 probabilistic 的方法遇到了很多问题,所以想问您对这个趋势怎么看,这是个大趋势吗?他将来怎么样发展会对现在 Deep Learning 社区有什么样的帮助?

计算机语言的选择

Q2: 前段时间有一个语言叫 Julia 横空出世,号称集百家之长,所以我想问问你对这个语言有什么看法,有没有打算基于 Julia 这个语言建立一个 framework。

数据收集与处理

Q3: 我们知道 deep learning 是非常>

音量
网页全屏
全屏

Q4: 你觉得在设计 AI infrastructure 的时候如果想把>

Q5: 你刚才说到数据的问题,其实很大的问题是像你说的,数据其实一直在变,这个 tracking 其实跟 big>

工具的使用

Q6: 前面介绍提到说从 research 到 production,一个方面是工具上的不同,另外一方面其实是 research 过程中,比如你用 Jupyter Notebook,你会做很多的小的 code 的片段,但真的上 production 你需要一整块的、经过 unit test 的软件工程整个进入系统。这个之间其实还是有一个工具上的不同,想听听看 Facebook 有什么样的解决方案。

音量
网页全屏
全屏

PyTorch 与 TensorFlow

Q7:PyTorch 是一个用户很多的一个系统,还有一些用户比较多的系统就是 TensorFlow,背后都有一个很大的 community,有很大的公司在支持,但是其实你刚才也提到了就是 TensorFlow 也出了这个 eager mode 大家需求也都一样,都有这个 research developability 或者 interactivity 这方面的需求,deployment 都有 scalability 或者 performance 这方面的需求。那最后有没有这两个系统或者说市面上所有系统合并到一起的可能,从 business 的角度来说什么样的条件会造成这种合并。

软硬件结合的挑战

Q9: 你提到软硬件一定要结合,才能发展。那你现在觉得从 production eco-system 上看,有哪些地方软硬件结合做的还不是很好?

10 年后博士研究的玩法

Q8: 现在这些 framework,这些工具非常的成熟完善,这必然是件好事。但从另一个角度来讲他对 computer vision researcher 和 graduate student 的 impact 是非常不同的。比如说五年前/八年前你可以 design 自己的 feature,做一个 minimization variation whatever graphical model 你可以发 paper,这个玩法和现在必然不同,现在你要 train model,你要自己想办法做一些新的 architecture 或者其它一些比较有窍门的东西才能发 paper。那比如说十年之后你再去 Berkeley 读一个 computer vision PhD 从头开始的话,这个玩法是什么?

作者介绍:Alex Ren ,硅谷面向华人工程师视频内容平台 Robin.ly 创始人,AI 人才服务公司 TalentSeer 创始人,硅谷风险投资 BoomingStar Ventures 管理合伙人。Robin.ly 是硅谷具有影响力的视频分享平台,服务全球上千万华人工程师,通过与 AI 科学家、知名创业者、投资人和领导者的系列深度对话,传播行业和技能知识,打造人才全方位竞争力,为培养下一代领导者、创业者而努力!

原文链接

声明:本文来自用户分享和网络收集,仅供学习与参考,测试请备份。