作
者 | 蔣寶尚
去年 7 月,加州大學伯克利分校計算機系尤洋的一篇博士論文刷爆網絡。189 頁的論文旨在縮小高性能計算(HPC)和機器學習(ML)之間的差距。
論文鏈接:https://www2.eecs.berkeley.edu/Pubs/TechRpts/2020/EECS-2020-136.pdf
當時,伴隨著這篇論文的還有尤洋的最新去向:
“博士畢業了,很開心拿到了多個美國大學(包括常春藤)以及新加坡國立大學的tenure-track教職offer ,同時獲得了伯克利EECS學院的Lotfi A. Zadeh Prize(相當于優秀畢業生)。和伯克利導師商量後,我決定加入新加坡國立大學。”
這才過去幾個月,據尤洋博士的微博介紹,他已經被新加坡國立大學晉升爲“校長青年教授”了,成爲新加坡國立大學計算機系第一位獲此殊榮的華人。可謂出道即巅峰!
1誰是尤洋?優秀的清華學子!
尤洋曾獲清華大學優秀畢業生、北京市優秀畢業生、國家獎學金,以及清華大學計算機系數額最高的西貝爾獎學金。清華畢業之後,在加州大學伯克利分校計算機系讀博士,其導師是美國科學院與工程院院士、ACM/IEEE fellow、伯克利計算機系主任以及首批中關村海外顧問James Demmel教授。
尤洋的研究興趣包括高性能計算、並行算法,以及機器學習。他當前的研究重點是大規模深度學習訓練算法的分布式優化。他曾創造ImageNet訓練速度的世界紀錄,並被ScienceDaily,The Next Web,i-programmer等幾十家媒體廣泛報道。
尤洋還獲得過國際並行與分布式處理大會(IPDPS)2015 的最佳論文獎,以及曾以一作的身份獲得 2018 年國際並行處理大會(ICPP)最佳論文獎,論文《Imagenet training in minutes》所提出的方法刷新了 ImageNet 訓練速度的世界紀錄。
2019年,尤洋和來自谷歌、UCLA 的研究者共同提出了一種用于加速大批量訓練的新型優化器 LAMB,將基線 BERT-Large 模型的預訓練時間從 3 天降低到了 76 分鍾。
他對科研有著非常深刻的理解,曾在一次公開課中以計算機爲例,介紹過研究中的通用“方法”。他把計算機科學中所有的問題分爲三類:第一種是提出問題型研究,第二種是解決問題型研究,第三種是解釋原因型研究。
其中,提出問題型研究可以歸納爲從現實中找出問題,面對問題提出研究方向;在處理解決問題型研究的時候,算法的使用和選擇非常重要;解釋原因型研究是指我們已經有了一個解決方案,但人們想弄清楚這種方案爲什麽是可行的。想做解釋原因型研究,一般需要有很強的數學和理論背景,如微積分、線性代數、數值優化、概率論等。
有著深厚AI功力,以及對研究的思路非常清晰的尤洋目前也正在招收博士,根據他的微博:
長期招聘博士生(全額獎學金),博士後(年薪約35萬),訪問學者(可提供資助)。方向包括機器學習、高性能計算、數值優化、分布式系統~感興趣的同學歡迎聯系我。(發送簡曆到[email protected])
如上,11月份的時候,他也曾招聘過一名全職的Research Assistant:
月薪大概2萬人民幣,能來新加坡國立大學工作至少6個月。學曆不限,在讀本科生,Gap year的學生,研究生都可以。最低要求:211學校本科,有CCF A類/B類或CSrankings論文。感興趣可以發簡曆和本科成績單給我:youy (at) comp (dot) nus (dot) edu (dot) sg 實驗室信息:ai (dot) comp (dot) nus (dot) edu (dot) sg 研究方向包括但不限于:機器學習,高性能計算,計算機系統,人工智能應用。
2有多少華人學者在國外開枝散葉?
那麽,有多少人華人學者在國外開展學術研究?根據知乎上2017年的一個提問,一位匿名用戶給出了清華的不完全統計數據:
清華校友在美國US NEWS top100學校擔任教職的有850多人,清華校友在美國大學任教的有1600人以上,近些年每年大約新增50多人以上,約爲獲得美國PhD的校友的十分之一。其中ECE、EECS、ME、CS、Civil Eng.、BioMed與醫學院等系爲最多。清華在美校友去工業界,尤其是IT業的更多。在美大學教職中北大校友比清華的稍微多一些,科大第三,複旦第四。
必然,這些“身在”國外學者也和國內充分展開合作。根據AMiner的一份報告,中國AI領域學者積極展開跨國科研論文合作並發表領域高水平論文。與中國領域學者合作最多的10個國家分別是美國、新加坡、澳大利亞、英國、加拿大、日本、法國、德國、新西蘭和韓國。
其中,美國是中國AI領域學者跨國合作最多的科研夥伴,兩國領域學者合作論文量在中外論文合作之中占比過半。雖然這個數據是基于全部論文數整理,但積極開展合作背後必然少不了這些華人學者的努力。
人才流動,其實對中國來說是利好。以人工智能學科爲例,美國和中國都是AI大國,美國的AI發展是技術導向型,在基礎研究、尖端研究方面都走在最前列。而中國的AI發展是應用導向型,在AI應用和落地方面做的更好,更擅長利用AI技術賺錢。李開複也曾經對中美兩國的AI實力進行過分領域對比:
-
在AI前沿技術的研究,美國:中國大概是5:1,美國勝;
-
在AI研究人員數量上,美國與中國基本持平;
-
在AI公司的總市值方面,美國:中國大概是1:2,中國勝;
-
在AI互聯網方面,中美兩國能力基本相當;
-
在AI自動駕駛領域,美國大概領先中國2年左右。
總體而言,中國在AI上方面需要學習的還有很多,華人學者在國外“開枝散葉”,培養出頂尖人才,必能促進AI的發展。
參考資料:
https://www.bilibili.com/video/BV1Pz4y1R7oD
https://mp.weixin.qq.com/s/6gkNfZeT0w4vkKBTYSeW5Q
https://mp.weixin.qq.com/s/_wt9Zbn1-vDSSfHz5hN_fQ