原來他們是這樣走過來的！
【AI紅人荟】——這裏是TechBeat人工智能社區爲優秀的AI工作者開設的人物專訪欄目。從膜拜“紅人”到成爲“紅人”，TechBeat與你一起，在AI進階之路上，升級打怪、完美通關~
本篇人物，是來自新加坡國立大學的在讀博士生周大權。他認爲，好的問題不一定都在上一年頂會的最佳論文裏，從當下需求出發也是一種角度。以下爲采訪全文，歡迎閱讀~
研發人造衛星是一種什麽體驗？
周大權恐怕是計算機科研隊伍中，爲數不多能回答這個問題的人。他曾就職于新加坡國防部及新科電子聯合實驗室，參與設計了新加坡第一個商業人造衛星的研發。如今，周大權是新加坡國立大學數據科學深度學習方向的在讀博士，研究方向是深度學習神經網絡的架構設計。從人造衛星系統設計師轉型到AI人，他的研究靈感來自于發現問題，成就感則來自于解決問題。
突破科研“真空狀態”的Transformer
發現問題、解決問題，是周大權做學術的基本邏輯。不久前，他以一作身份發表了VisionTransformer 模型的最新研究報告《Understanding The Robustness in VisionTransformers》，這是周大權團隊與英偉達合作的研究成果，代碼已經完全公開。
論文鏈接：https://arxiv.org/abs/2204.12451代碼鏈接：https://github.com/NVlabs/FAN
去年，周大權就曾做客TechBeat人工智能社區，分享《邁向更深的VisionTransformer》的主題Talk。如今有了最新的研究成果，近期他也將來到TechBeat再度分享。對于周大權來說，這是他作爲AI人解決問題的“初體驗”。
周大權Talk分享
👉《邁向更深的Vision Transformer》
👉 鏈接：https://www.techbeat.net/talk-info?id=513
在此次研究中，周大權團隊展示了Transformer模型對比CNN模型的優勢之處，並詳解了Transformer模型爲什麽比CNN模型表現得更好。他本人一直致力對Transformer模型的研究，並笃信這將會成爲未來的主流模型，因爲在他看來，Transformer突破了科研的“真空狀態”，更好地還原了實際情況中可能會遇到的場景條件，切實地應用在問題解決之中。
“大家都知道Transformer模型的性能會更好，但它的優勢不單單是在傳統的科研數據集上體現，更重要的是在應用中，在處理極端受損圖像時，精度會明顯優于傳統的CNN模型，將在很多領域得到應用。”
ICCV 2021 最佳論文 “Swin Transformer”，在去年年末迎來30億參數的v2.0版本，整個領域也都加大了對視覺大模型的投入，這位“半道出家”的AI學者開始把更多注意力集中在Transformer的研究上。
周大權團隊的最新實驗證明，在自動駕駛方面，面對雨霧等極端天氣，Transformer模型能夠保持原有的系統鑒別能力，而不會像CNN模型一樣“坍塌”掉，這讓周大權覺得自己的研究得到了有效應用，是非常有意義的。這也是他轉型AI人後第一次嘗試真正地解決問題。
“軟硬結合”的學術經曆
周大權本科就讀于新加坡國立大學半導體專業，畢業後他通過校招意外進入到了人工衛星系統設計領域。工作兩年後，傳統編程的限制讓他感受到，AI才是産業落地的關鍵。恰逢有回到母校繼續讀博的機會，他便順應機遇的垂青，開始了在AI領域的學術探索。
憑借硬件系統設計的從業背景，周大權成功轉型到了軟硬件結合的深度學習神經網絡架構設計方向。
在學術研究中，有人擅長提出新概念、新理論，有人則擅長在原有的理論基礎上解決新問題，周大權選擇成爲後者。目前，他已經在 ECCV，ICCV，CVPR，ICLR，ICML，NeruIPS 等計算機視覺與機器學習頂會發表多篇論文。和“趕會”的研究者不同，他在尋找研究角度時更多的是從現實問題中生發靈感。
“很多人會看上一年頂會最佳論文做參考，但我更多的還是先去發現問題。如果發現這個問題還沒解決方案，那麽我就嘗試去做一些調研，當然也會和我的導師探討確定研究的可行性。”
在發表前的peer review對于周大權而言，也是發現問題與解決問題的過程。面對質疑時，周大權認爲“同行們的質疑往往都是有道理的”，可能是有哪裏沒有表達清楚或者是存在同行們不熟悉、沒有理解的內容。
他的方式是嘗試將這些存疑的細節進行解釋，並及時修改調整，經由這個過程提高論文命中率。常常參與peerreview的他，也提醒大家要梳理好文章的整體思路與邏輯，並盡量規避語法的錯誤。“文章不管投到哪，先保證完成度比較高再投，命中率會更高。”
AI for Science,
未來能解決更多問題
對于未來的研究方向，周大權尚未給自己框限，但已經能夠確定的是，他將繼續專注于模型架構設計。但今後的工作，不再局限于理論研究，而將把模型架構更多地與現實生活場景結合在一起，從而解決更多的問題。
近年來，AI已經被廣泛應用到各種場景中，與各個科學領域的結合也日益緊密。蛋白質結構的精准預測、黑洞成像等熱門話題也總是與“AI for Science”的倡導密切相關。
如今，周大權也觀察到， “AI for Science”越來越多地出現在學術圈的視野中，對于當下的周大權而言，這也是一個研究的難點與重點。畢竟，這意味著研究者將與自己背景完全不相同的夥伴共同合作，産生更多的交叉地帶，需要更多的學習與磨合。但他清楚地認識到，這將是整個行業勢不可擋的趨勢，也是自己努力的方向。
AI與硬件的結合是他比較感興趣的方向之一，在他看來，“硬件給軟件提供上限，軟件提供硬件內部的優化結構方式”，軟硬件更好地結合，才能實現資源利用最大化，去解決實際問題。
“科學研究有兩大基本目的：一是尋求基本規律，二是解決實際問題。”對于周大權而言，能夠解決問題，無疑是對研究成果最強的交付。
未來AI還將解決哪些問題，我們無法簡單定論，但能夠感受到的是，有更多像周大權一樣的AI青年去發現問題、解決問題，AI與人、與社會的關聯將會更加緊密。期待，AI人們的共同努力，讓AI的價值大放異彩！
//
嘉賓介紹
周大權
周大權，NUS 數據科學深度學習方向四年級博士生，師從馮佳時教授。研究方向是深度學習神經網絡的架構設計，壓縮優化與自動搜索。他在 ECCV，ICCV，CVPR，NeruIPS，ICLR，ICML 等計算機視覺與機器學習頂會發表多篇論文。他曾參與設計新加坡第一個商業人造衛星的研發。
Talk預告5.26 周四晚8點，周大權將在TechBeat人工智能社區分享團隊最新工作，歡迎大家准時觀看！
-The End-
「AI紅人荟」系列回顧：
[13] 美國萊斯大學副教授 胡俠
[14] 幻方量化深度學習研究員 羅福莉
[15] 北京航空航天大學助理教授 周號益
[16] 密西根州立大學副教授 湯繼良
[17] 萊斯大學的在讀博士生 查道琛
如果你想和他們一樣，親自來到TechBeat分享，或者想推薦身邊閃閃發光但是尚未入駐社區的AI工作者——歡迎填寫下方表單自薦/推薦，說不定明年的TechBeat紅人荟專訪，主角就是你！ 自薦 / 推薦 單人Talk | 團隊專場 | 錄播or直播 | 閉門交流多種方式任你選擇！推薦講者成功也有獎勵哦~
本周上新！
掃碼觀看！
關于TechBeat人工智能社區
▼TechBeat(www.techbeat.net)隸屬于將門創投，是一個荟聚全球華人AI精英的成長社區。我們希望爲AI人才打造更專業的服務和體驗，加速並陪伴其學習成長。期待這裏可以成爲你學習AI前沿知識的高地，分享自己最新工作的沃土，在AI進階之路上的升級打怪的根據地！
更多詳細介紹>>TechBeat，一個荟聚全球華人AI精英的學習成長社區
⤵一鍵送你進入TechBeat快樂星球