譯者 | 凱隱
出品 | AI科技大本營(ID:rgznai100)
隨著深度學習在各個領域的井噴式進展,一些學術領域顯得有些混亂。因此survey就顯得至關重要。一篇好的survey能提供該領域的全面視角,還能幫助其他領域的學者更好的了解該方向,同時也能對該領域現存的問題進行收集總結等等。
這裏收集了7篇近年來機器學習各個領域的survey,希望能幫助大家。
1、聯邦學習相關進展以及顯存問題 Advances and Open Problems in Federated Learning (Peter Kairouz, H. Brendan McMahan, et al. arxiv, 2019)
聯邦學習是一種供多用戶進行協作的訓練方法,通過這種方法,多個終端用戶(例如移動設備用戶或整個組織)可以在中央服務器(例如服務器提供商)的協同調度下共同合作訓練同一個模型,同時保證訓練數據的去中心化(來自各個用戶)。
聯邦學習體現了專注于數據收集和成本最小化的原則,因此可以減輕傳統的中心化機器學習以及數據科學方法中存在的系統性隱私風險和成本。在聯邦學習相關研究爆炸性增長的推動下,本文討論了該領域今年來的相關進展,並提出了大量開放式問題與挑戰。
2、基于深度學習的時間序列分類綜述 Deep learning for time series classification: a review (Hassan Ismail Fawaz et al. DATA MIN KNOWL DISC, 2018)
時間序列分類(TSC)是數據挖掘中一個既重要又富有挑戰性的任務。隨著時間序列數據的可用性增加,大量的TSC算法被提出。然而在這些方法中,只有少部分是通過深度神經網絡(DNN)來完成該任務的,對比DNN在近年來的大量成功應用,著實讓人驚訝。DNN確實是徹底改變了計算機視覺領域,尤其是隨著一些新穎的更深層架構,例如殘差網絡和卷積神經網絡的出現。除了圖像外,序列結構數據,例如文本和音頻等,也能經由DNN處理,從而在文本分類和語音識別任務中達到最優。
本文通過對TSC任務中基于最新DNN結構的方法進行實證研究,從而探究深度學習相關方法在TSC任務中的最優效果。通過同一的DNN分類,我們給出了深度學習在時間序列相關領域的各個應用概覽。同時我們也提供了用于構建TSC生態的開源深度學習框架,包含所有參與對比的方法的實現,以及他們在TSC 基准數據集和其他12個時間序列數據集上的驗證結果。通過在97個時間序列數據上訓練了8730個模型,我們提供了目前爲止DNN在TSC任務上最詳盡的研究。
3、深度學習最優化理論及算法 Optimization for deep learning: theory and algorithms (Ruoyu Sun, arxiv, 2019)
本文主要探討在什麽條件下能成功訓練,以及爲什麽這樣能成功訓練神經網絡。本文給出了訓練神經網絡有關的最優化算法和理論的概論。
第一,首先討論了梯度爆炸/消失的問題,以及更廣義的預料之外的情況,接著討論了一些實用解決方案,包括仔細的初始化和規範化方法。第二,評述了一些通用的優化方法,例如SGD,適應梯度下降,和分布式方法,以及這些方法的現有理論成果。第三,我們評述了用于解決訓練過程中全局優化問題的現有方法,包括局部極值,模式連接,彩票假設,以及無限寬度上的結果分析。
4、標准化流相關方法的介紹與綜述 Normalizing Flows: An Introduction and Review of Current Methods(Ivan Kobyzev, Simon Prince, Marcus A. Brubaker. arxiv, 2019)
標注化流是一種生成模型,其能産生可處理數據分布,並且能高效地進行進行采樣和概率密度評估。本文的目標是對標准化流在分布式學習中的建立和使用,進行連貫和全面的回顧。
我們希望能提供相關模型的上下文理解和解釋,回顧目前的最優工作,並提出一些開放式問題和未來的研究方向。
5、標准化流:概率建模與推理 Normalizing Flows for Probabilistic Modeling and Inference (George Papamakarios, Eric Nalisnick, et al. arxiv, 2019)
標准化流提供了一種生成機制來定義具有表達力的概率分布,並且只需要指定一個(通常很簡單的)基本分布和一系列雙射轉換。進來有許多研究標准化流的工作,包括提高模型表達能力,以及擴展應用範圍等。因此我們相信該領域的研究已經漸趨成熟,需要一個統一的視角。
在本文中,我們力圖通過概率建模以及推理的視角來描述標准化流,從而提供一個全局視角。此外,我們特別強調流設計的基本原則,同時討論了一些基本話題,例如模型表達能力和計算開銷之間的平衡。我們還通過將標准流與更一般的概率轉換聯系起來,拓展了流的概念框架。最後,我們總結了流在多種任務中的應用,包括生成模型,近似推理,和監督學習。
6、流行的泛化方法以及如何尋找他們 Fantastic Generalization Measures and Where to Find Them (Yiding Jiang, Behnam Neyshabur, Hossein Mobahi, Dilip Krishnan, Samy Bengio. arXiv, 2019)
深度網絡的泛化在近年來非常流行,産生了許多理論或經驗驅動的複雜方法。然而大部分文章提供的方法都只在一小部分模型上測試過,而是否能在其他模型或環境設置下得到相同結論,仍然是未知的。因此我們提供了首個深度網絡泛化能力的大規模研究。
我們調查了40多種複雜方法,包括理論範圍和實證研究。我們訓練了超過一萬個卷積網絡,並且系統性地變動他們的常用超參數。爲了探究每一種方法和泛化性之間的潛在因果關系,我們仔細分析了控制變量實驗,由此揭示了一些方法的無效性,和另一些可能對未來研究有用的方法。
7、神經風格轉換綜述 Neural Style Transfer: A Review (Yongcheng Jing, Yezhou Yang, Zunlei Feng, Jingwen Ye, Yizhou Yu, Mingli Song. 2017)
Gatys 等人近期的研究證明了CNN具有創造藝術作品的能力,其能分離和重組圖像內容和風格。這種使用 CNN 將一張圖片的語義內容與不同圖像風格結合起來的過程稱爲神經風格遷移(Neural Style Transfer)。從那以後,NST成爲了學術研究和工業應用中流行的研究主題。在不斷受到CV研究者關注的同時,一些提升和擴展該算法的方法也被提出。
本文的目標是全面概述NST方向的研究進展。我們首先對該領域的算法進行分類,然後提供了多種評估方法來對不同NST算法進行定性和定量的比較。最後本文討論了NST的各種應用,以及未來的一些開放式問題。討論涉及的相關文獻和代碼,預訓練模型和結果等可以在: https://github.com/ycjing/Neural-Style-Transfer-Papers找到。
來源:
[D] 7 really neat recent survey papers in deep learning from MachineLearning
人工智能數學基礎系列公開課通過人工智能熱點問題開始,引出其中蘊涵的數學原理,然後構建解決實際問題的數學模型和方法,兼具趣味性與實用性。
1月16日晚8:00, 哈工大屈教授在線直播課—『看得見 』的數學,帶大家解密計算機視覺背後的數學知識!
加入公開課福利群,每周還有精選學習資料、技術圖書等福利發送、60+公開課免費學習