Song Han - Robin.ly AI Talk

Updated: Apr 16, 2019







Welcome to Robin.ly! We provide the most trending information and knowledge.



Episode 1: Song Han 韩松


Alex:大家好,我是Alex Ren, 是BoomingStar Ventures 的管理合伙人,也是TalentSeer 的创始人。今天是我们Robin.ly 新的内容平台第一次Talk,这个Talk 是 AI Talk,Peer to Peer Conversations。我们今天特意邀请了著名的 AI的青年学者 韩松博士。 他同时也是深鉴科技的联合创始人和MIT的助理教授。他在做AI Research,过去几年里,发明了像深度压缩,最近在做的DGC (Deep Gradient Compression),以及创立了深鉴科技 (现已被Xilinx收购)。 这些一系列的AI Research 和 创业过程,我相信有很多东西可以和大家分享。所以这也是今天我们这个Talk的目的。

我顺便提一下 Robin.ly 这个平台。 Robin.ly 这个平台是旨在为广大工程师和研究人员,提高他们对商业的理解,对创业的理解,对投资的理解,以及对领导力这方面理解的这样一个平台。我们会后续邀请像韩松博士,其他一些投资人 以及创业者,以及领导者,来分享他们对于行业的理解,对领导力,创业,各个 topic的理解 。所以我们今天先请韩博士介绍他的整个历程。韩博士之前是清华电子系的第一名,之后进了斯坦福大学,师从著名的计算机科学家 Bill Dally。Bill Dally 也是Nvidia Research的首席科学家。到现在去MIT做助理教授,韩博士,你大概去MIT 多久啦?


韩:我是今年暑假去的。


Alex:你当时选择这个方向,AI 和 计算机架构 这块。为什么选这个方向?今天看起来,这个方向非常重要,当时你是怎么考虑的?因为那时候你读博士应该是2012年 是吧?


韩:对,2012年的时候 正好是AlexNet 提出的时候,AlexNet,Imagenet 得到了Breakthrough的准确率的提升。但是呢,它的计算量是非常大的。AlexNet 当时是240MB的模型大小, 1.5B的计算量。1.5B 跟中国的人口是一个量级的。但是想,这样的模型逐渐持续下去的话,数据逐渐在升,计算量逐渐在升,但是硬件模型逐渐在放缓,中间肯定会有个交叉,这就是我们的机会。这个交叉的地方将来会是一个bottleneck。这也是我们后来research的一个机会,紧随这样的痛点。


Alex:Ok, 所以你之后在2016年发布了一篇文章关于深度压缩。在ICLR上,那片文章也获得了最佳论文。那时候你灵感的来源是什么?当时怎么会想到用这个方法去解决这个问题?


韩:嗯 这是个挺好的问题。我们之前试图解决AI 效率的问题,先从硬件的角度去解决。我们试用了各种方式,能让它充分的利用片上资源,减少片外的访存。但是发现,这些方法,只在硬件角度上解决是不够的。我们要找到源头,问题出在哪?参数量太大了?算法的冗余度太高了?其实在16年那篇paper之前,我们在NIPS 2015先发了篇文章 “Learning both weights and connections for efficient NN”它是说,我能把原来很多参数量,把它减少。比如说AlexNet,60M parameter,我把它减到6-7M parameter。但是可以实现同样的准确率。这样的话,从源头上就可以把这样的问题做简化。然后再做 efficient hardware architecture。这样从algorithm & hardware codesign,这样的design 空间非常大,也可以彻底解决问题。


Alex:Ok 我的理解这种方法是不是在inference,edge,terminal这一端更加有用,还是说各个training terminal,edge都可以利用这样的技术?


韩:这主要是target inference。Inference的时候,我们希望它low memory footprint,low latency, 让它快,让它小。


Alex:2017年的时候,你在FPGA 2017 也发表文章提出了ESE (Efficient Speech Recognition) 对吧?然后之后你讲,深度学习最大的瓶颈在于带宽而不是计算。这是怎么理解的?因为 普遍认为,你看到现在这些Nvidia ,以及很多公司不断推出一代又一代更powerful的GPU,你是怎么理解带宽和计算之间的balance?你是想怎么去解决这个问题 以及未来你看的方向是什么?


韩:说到计算机系统,它有几个组成部分,计算是一部分,访存是一部分,networking又是另一部分。它们都是非常重要的。就仿佛一个木桶,你要用这个木桶来装水,它最短的bar决定了它能装多少水。所以计算,访存,networking,哪个最差 它决定了你的效率是多少。举个例子。比如第一代的TPU, 它的计算能力是非常高的,但是它的memory bandwidth不够。所以即使你有很高的计算能力,你的内存带宽不够,所以限制了它的utilization。就好像LSTM,RNN,它的 利用率只有10%不到,但是后来 TPU的下一代,就解决了这个问题。所以当你把内存带宽提升之后,它的utilization得到了很大提高。另外从energy的角度,比如说在45纳米的工艺底下,算一个32bit的乘法可能5pJ 。但是去 off chip DDR 去拿这个数,要640pJ, 这是两个数量级的差距。所以,computation is cheap, memory is expensive。


Alex:这也是为什么你最近又提出了一些方法 比如 DGC (Deep Gradient Compression),对吧?能稍微给大家介绍一下这是什么吗?


韩:DGC (Deep Gradient Compression) 是我们最近提出的一个算法,它是针对 Multinode Distributed Training, 就是大规模的并行计算。我们核心解决的一个问题是,想减少我们训练的时间。原来我训一个网络可能一天,一个礼拜。一种方法呢,是增加GPU数量。这样的话,好几个GPU 一起训,可以减少计算的时间。但是呢,它带来一个问题是,大家communication的时间变多了,overhead变多了。因为你很多GPU要coordinate,大家要exchange gradient。这怎么解决呢?我们能不能少communicate一个东西?然后我们就提出了 Deep Gradient Compression。Gradient是我们需要exchange的东西。我们发现,大概只有千分之一的gradient actually need exchange,其他都可以不exchange。这样我们可以把communication bandwidth减少大概200-600倍。


Alex:200-600倍?那我相信很多training的公司应该是很感兴趣这个东西,对吗?


韩:嗯 是的。


Alex:你在斯坦福大学博士毕业之后,选择了去MIT做助理教授。你看工业界,很多 Google,Facebook也是做深度学习,AI 这方面的研究。你怎么看工业界做研究,和你们(学术界)做研究 有什么区别?你是怎么样和他们合作的


韩:嗯 这个问题非常好。工业界有很多资源。一是场景非常丰富。 二是计算资源非常丰富。三是工程师资源非常丰富。学校里,这些资源是和工业界没法比的。但在学校里一个好处是,能跟很多公司一起合作。比如说,现在sponsor我们实验室的,大概有10家公司,我可以和这十家公司都合作。他们有不同的需求,看到了不同的问题。可以看到很多,从软件到硬件,各个层次所面临的,他们的痛点。然后帮他们解决痛点。解决痛点的本身,就是make breakthrough的过程。所以视野还是比较开阔的吧。


Alex:我记得你MIT Lab名字叫Han's Lab。这个名字什么意思?


韩:Han 正好我的Last name嘛,而且代表Hardware, AI, Neural nets.具体说就是 High performance, High energy efficiency Hardware. 这是H。A 就是 Architectures,Accelerators for AI。这个Architecture 既包括 Neural Network Architecture 又包括Computer Architecture。然后N就代表Novel algorithm for Networks.还有个S,这个S是Scalable System,因为我们做训练的时候需要distributed scalable systems。然后Small models for inference,模型要小。还有Specialized silicon。这四个Turing award lecture, David Patterson 还有 John L. Hennessey 也提过,随着摩尔定律放缓,从single core,multi-core,现在是domain specific architecture的时候这种专用的specialization是未来机器结构发展的一个重要方向。所以S 代表了Specialized Silicon。


Alex:所以你现在做academia research,当初你师从Bill Dally,号称计算机科学家,也是Nvidia Research的首席科学家。当初他有给你什么启发吗?或者你从他身上学到什么东西吗?可以用在你今后辅导你的学生,或者做你在MIT这一块的研究?哪些东西你是从Bill Dally 身上学到的?对你今天也非常benefit?


韩:我刚去斯坦福的时候,Bill 就给我一个字,我的PhD thesis,specialization。他给了我充分的空间去想,去探索。这样的话,没有给我很多限制,可以去做一些Interdisciplinary research。我觉得这是非常重要的,对一个好的PhD来说,他要自己去找topic。发现问题,解决问题可能更重要。另外第二点,Bill他非常passionate for his research。他的这种对research的热爱,感染了我们学生,使得我们也特别愿意做这东西。所以他不用push我们。我们自己就会想,这是一个有趣的问题,解决它是一个有意义的事儿。所以我们就会自己去做这个事儿。第三呢,Bill,他特别well-organized,他每周的calendar都发给我们,谁什么时候meet,什么时候他要什么结果。非常 well-organized。所以这就让我们对时间的安排,比较有效率。第四点,Bill 本身work life balance 特别好。他有很多兴趣,他喜欢骑车,喜欢hiking,喜欢滑雪。这些活动,他也会带着我们一起做。所以就把整个group dynamics变的的特别,大家关系特别好,通过这些outdoor activity,使得组里的同学关系特别融洽。


Alex:Ok 我相信这些都会被你传承到,发扬光大到你现在的研究和团队里,对吧?


韩:是,上周还带学生去sailing呢 !


Alex:那你的Han's Lab, 是什么vision呢?你未来怎么给自己定义的?你这个lab要实现什么,目标是什么?


韩:我们的目标是让AI 变得更efficient。为了让大家都能用起来AI,而不是在实验室的这些超级计算机里头,或者是买非常昂贵的GPU ,这些场景才能用。而是在每个edge端,在非常便宜的系统上做训练做inference然后真正的democratize AI, 而不是说只能在实验里是才能做AI的实验,或用AI。那哪几个方面呢?我们从三个方面:memory bandwidth efficient,communication bandwidth efficient, 还有human bandwidth efficient。说到human bandwidth efficient,现在AI的训练,大量的需要人去参与。人工智能,它里面需要很多人工去调参的事儿。我们希望能真正解放人力,让AI变得更自动化。


Alex:你觉得这个是未来深度学习,AI发展的方向吗?


韩:人工智能,我们希望人工的成分尽量少吧。


Alex:你这个Han's Lab,现在对于学生背景之类的,有什么要求?你们现在的招生计划是什么样的?


韩:对。我们实验室一直是求贤若渴,包括本科生,做暑期的summer visiting research,还有申请PhD的同学。我们每年都会有暑假实习的同学的opening,包括去年,前年。我从15年就开始实行这样的方式。前一年我们暑假一起做,然后第二年他/她申请的时候,我们就有很多了解,很多沟通。然后也有一些成功的例子吧。15年带的同学,16年都申到了斯坦福PhD.17年带的同学,一个去了斯坦福,一个去了MIT。我们现在想要招的同学呢,就是对深度学习特别感兴趣的,比较motivated。对基本工具,TensorFlow PyTorch用的比较熟。同时有自己的想法,idea非常多。还有一类同学呢,就是对硬件非常passionate,对FPGA,对ASIC, 对记忆结构非常感兴趣的同学。我们也一直有这样的opening,如果有同学对这个感兴趣的话,可以给我发信。我的邮箱就在我的主页上 (songhan@mit.edu)


Alex:最近你好像也参加了一个会,Hot Chips 2018,前两天。我记得你做了一个tutorial 对吗?Topic 是 “Accelerating Inference at the Edge” 因为正好是深鉴科技被Xilinx收购之后。你们有什么新的东西可以给没有参加的人做个分享吗?


韩:我们当时首先回顾了神经网络处理器的几个发展历程吧。先是specialized computation,后来人意识到 computation is cheap,memory is expansive。所以第二代是 specialized memory。如何减少DRAM access,充分复用之前的data。前两部分都假设 algorithm is algorithm,然后去提升硬件。第三代的是algorithm & hardware co-design,把模型先做的efficient,把它压小。把大的模型压小,减少memory footprint,再去加速这样比较efficient的模型。第四代就是,我们从小模型开始,我们不用压它,直接就设计比较小的模型。然后为这种小模型做 specialized inference。那么这次 深鉴科技也是基于第四个idea去做了基于MobileNet depthwise convolution的知识架构。Depthwise Convolution,它的channel之间没有reduction,它 data reuse没有之前的convolution好。所以对应的提出了一个新的challenge。我们可以用新的架构去有一个单独的pe (processing element)去处理depthwise convolution,比之前的效率要高很多。


Alex:我最近其实在AI 或者深度学习这一块听到Xilinx的次数越来越多了,Xilinx最近有什么新的东西发布吗?


韩:对。Xilinx有一套深度学习处理器的框架叫 xDN 发布了。还有在AWS F1 instance,在cloud上有很多发力。比如说之前我那片paper, Efficient Speech recognition Engine,加速LSTM的那套工作现在已经在AWS上线了,在AWS Marketplace上。所以在云上,是有很多发力的。


Alex:所以你觉得在云上部署FPGA,计算资源,你觉得是一个趋势吗?更多服务training需求呢?还是inference 需求?


韩:主要是inference。这方面微软走的非常早。他们很早就在data center上部署了很多FPGA。而且FPGA 是 Directly talk to networking. 后面才是CPU。包括后来微软在Brainwave, 一套架构上也做了非常开拓性的工作,Low latency inference for data center。


Alex:在你整个生涯里,你有个短暂的break,从在斯坦福读博士阶段的时候,又参与创立了深鉴科技,并卖给了Xilinx。这是特别有意思的一个经历。那这段经历里,大概两年多时间,这段经历你最大的takeaway是什么?


韩:深鉴科技我觉得创业历程上最重要的体会就是,人非常重要。有一群靠谱的真心做事的兄弟在一起,一起做一件事。俗话说 留得青山在,不怕没柴烧嘛。无论遇到什么困难,只要我们团结一心,肯定都能克服。我们从成立到现在,两年多吧,技术核心的同事们 没有一个掉队的,没有一个离开公司的。


Alex:那这过程中,我相信你们应该也遇到一些挫折吧?你当时觉得最大的一个困难是什么?你又是怎样克服的呢?


韩:当时刚创业的时候,那是15年底,北京一个寒冷的冬天,我和姚颂,还有几个同事,我们当时租了辆小面包车。在中关村上地这一带融资,当时就很困难。当时深度学习处理器这一概念还没像现在那么火,大家不觉得这是一个must have的东西。那时候融资真的非常困难。整体大环境上,没有像现在 大家认识的那么明晰。不确定的因素很多。然后我们当时走了很多投资的investor,但是都没有拿到investment。后来我来到斯坦福,当时开学之后,在斯坦福周围继续pitch。包括当时后来也上了一门斯坦福的课,叫Public Speaking。我发现,从你做research,能把这东西做出到,到你能把这东西讲出来去讲给不懂的人,或者不是内行人,这还是有一个gap的。当时那门课,一是教我们一些presentation 的技巧,二是教我们如何把一个东西给讲懂。我觉得也是非常有意义的。我们在斯坦福校门口,University Ave,金沙江(GSR Ventures),张予彤 还有 林仁俊 (Richard)他们后来投了我们。后来就比顺利了,包括岳斌岳总(高榕资本),他们三月份单独飞到湾区,我们还聊了一次。后来就比较顺利了。


Alex:所以我觉得比较有意思的是,你是一个typical AI Researcher, 到entrepreneur,你对现在的一些AI Researcher,有心想去创业的,你对他们有什么建议?


韩:我觉得Know your customer. 所以说有时候我们觉得技术是高大上的,可能技术能解决一切,但实际不是这样的。怎么能让技术能有一个生态?不是单独一个点,你要把它展成一个面。比如说,如果我只拿Deep Compression 一个算法来创业的话,这是不行的。一是它容易被复制,二是它的capacity没有足够大。用户不会有粘性。 后来我们加了silicon,加了硬件,加了计算机结构这一块,就使它从一个点到一个面,从上到customer,从底下到技术,整个堆栈就把它打通了。


Alex:你在这么年轻的年纪,发表了很多很好的文章,做了很多研究对整个行业都做出了很多贡献。又创立了家公司,也成功的把它卖出。你看看未来5-10年,你怎么看你自己?你希望5-10年之后成为一个什么样的人?这我很好奇。


韩:未来5-10年,我还是希望自己能make an impact through technology。就是说,通过在实验室做出更cutting edge research,make impact both academia and industry。能真正的抓住industry 痛点,然后在学术界,我们比较有学术自由的情况下,能想出interdisciplinary solution。硬件,软件,算法,都把它整合在一起。然后让AI 变得真正efficient,用technology 改变我们的生活吧。这是第一个梦想。

第二个梦想就是 育人吧。因为做老师嘛,像我导师一样,培养出很多学生。包括现在,很多大公司里也都比较缺AI 的PhD,或者说整个行业吧,这是对人才的需求。我们就有这个责任,也有这个使命。另外我也非常enjoy能有很多学生,让他们都成才。他们都掌握做cutting edge research的本领。不只是对AI技术本身,而是说去创造新的技术和去make new innovation的这种passionate 和能力吧。培养出很多motivated 学生。Motivated 学生不只是指他能做好这件事儿,而是说他愿意做research,即使没有deadline,但他/她就觉得这东西非常interesting要用他/她的精力去解决这样一个问题。另外呢,我觉得做 professor 跟做创业非常像。之前创业的时候,我们需要融资,需要需要找方向,找客户,需要找人才。创立一个实验室,比如说Han's Lab,我们也需要做这些事儿,包括创品牌。我们需要找topic,找题目,给学生找thesis,什么样的thesis是能一直做下去五年的?不只是一个点,它是一个面,能形成一个story,从上头到下头,彻头彻底的解决这个问题。这是找topic。还有融资吧。实验室我们也需要找经费,包括从NSF (Natural Science Foundation),DARPA, 还有从 industry,从公司。现在有很多公司sponsor 我,因为我会把我做的技术告诉他们,交给他们。这些know-how,这些新的technology,或者说他们在这种有产品压力的情况下,可能来不及看,或者没有bandwidth 去看的这种high risk, high return的事儿,我们在学校有经历去探索这些。探索的结果会告诉他们,会贡献给他们,包括一些know-how。所以他们愿意sponsor我们,愿意sponsor我们实验室的学生。另外就是吸引人才。Startup最重要的就是人才,一个实验室最重要的也是吸引人才。我每年都会回国去跟同学们聊一聊,包括去年,可能今年也会回去一次。去吸引人,让更多的学生知道我们在做的事情,感兴趣,愿意将来来读PhD。还有就是文化。公司里需要大家合作,创新,包容。实验室也一样。同学们是不是在一起?这group dynamics 特别?我常常跟我学生说的一句话就是,你们之间互相学到的东西可能比从我这学到的多。他们通过discussion,通过他上这个课,她上那个课,他做这个paper,她做那个paper。但如果大家交织在一起,这就是1+1 > 2 的效果。 你们之间互相学到的东西,比从我这学到的多。所以group dynamics 和实验室的文化非常重要。还有呢,很多之前做过一次创业的,他也是有可能选择再度创业,还有改行做投资人的。但我觉得,在academia做一个实验室,做一个professor也是一种投资。为什么这么说呢?我投资的是我的学生。Technology方面,他们今后的想象力是非常大的。


Alex:我想这是斯坦福的一个一贯的风气吧 对吧?


韩:是的。他们今后也有可能在做新的cutting edge research,有很大的想象空间。非常motivated,非常聪明,非常勤奋。徐小平老师 (真格基金创始人)说,我不是感情投资,我是投资感情。我就是投资这种师生的感情。这马上教师节快到了嘛,这师生的感情是非常深的。我每年教师节都会去看老师嘛,包括这次也回去看老师。之前说的,几种感情比较深嘛,同过窗的,扛过枪的,我们在一个实验室里,一起大家奋斗这么5,6年。这感情是非常深厚的。包括我们之前创业的时候,也是汪玉老师的实验室嘛。大家都是师兄弟的关系,感情是非常深厚的。包括单羿(深鉴科技CTO),包括姚颂(深鉴科技CEO),汪老师(深鉴科技co-founder)还有我。所以有之前这个体会,我觉得有时候实验室同学们,大家团结一心,是一个非常大的力量。


Alex:行,我觉得非常好啊。今天很荣幸,听你分享关于做AI research一路以来,以及创业这块的心路历程。我个人来讲,有很多takeaway。我觉得一方面,我没想到你对整个团队的文化,对团队氛围那么的重视,这是第一点。第二点,你对很多business 的东西,不管是softskills,你说你去上public speaking的课程,包括你怎么样去融资,怎么去克服困难,以及怎么样定位客户,定位市场,怎么样去具体构建整个生态系统而不是只用一个技术去打市场。所以这方面我觉得我比较impressive。因为我做投资,或者我看到的很多 好的公司恰恰就是你这样的。尽管他们是做AI research/technical 出身,但他们对business这块有天然的理解,然后也经过后天的学习,所以他们可以非常掌握这方面的知识。所以我觉得对大家来讲也是一个很好的启发。希望大家有兴趣继续跟韩博士交流,有兴趣去读博士,或者去实习,去申请韩博士那边的机会。继续关注韩博士这边研究的进展。包括企业这块,如果有兴趣和韩博士合作,包括我们自己,其实我们也sponsor了韩博士的实验室。就是希望他能做出更多cutting edge research,对我们整个AI的商业化, AI在各个领域的应用起到了很大作用。谢谢大家。


韩:谢谢大家。

Leadership, entrepreneurship, and AI insights

  • LinkedIn Social Icon
  • YouTube Social  Icon
  • Twitter Social Icon
  • Facebook Social Icon
  • Instagram Social Icon
  • SoundCloud Social Icon
  • Spotify Social Icon

© 2018 by Robin.ly. Provided by CrossCircles Inc.