包括阿裏巴巴達摩院在內的全球頂級科研機構紛紛對2020年的科技行業做出了預測,過去的一年,大數據和AI行業繼續蓬勃發展:
- 硬件層面:各種專用芯片開始提供算力支持,5G帶來更多潛在應用。
- 軟件層面:各巨頭公司布局計算框架和雲,爲開發者提供更簡單易用的基礎服務。
- 技術之外:隱私問題和資本泡沫開始引起廣泛重視。
個人數據隱私進一步得到保護
一直以來,中國人對個人的數據隱私並不敏感,但隨著一些隱私泄露和個人數據濫用的案例的爆炸式增長,中國政府正逐漸加大對個人數據隱私的保護。業界普遍認爲,2019年是大數據行業的地震之年,最嚴監管時代已經到來。2019年9月以來,包括51信用卡在內的多家大數據風控公司被查,有些機構使用爬蟲技術不正當竊取用戶隱私,進而濫用隱私進行暴力催收。得數據者得天下,在大數據風控領域,誰能拿到數據,誰就能占取行業發展先機。我們不經意間在某個APP點過同意某項協議,在完全不知情的情況下,個人數據很可能就被非法賣給多家數據公司。普通人很可能對這個數據黑市沒有太多概念,但一款名爲"ZAO"的換臉APP給大家上了一堂隱私課,相關人士起底了它個人隱私霸王條款,指出同意這個霸王條款將意味著提交到這款APP上的個人自拍有刷臉支付安全隱患。
實際上,在個人數據隱私方面,各國都在逐步加強監管,歐盟的GDPR號稱史上最嚴數據保護條例,我們國家的《個人信息安全規範》逐步填補了這方面的空白。隨著公民隱私意識的增強和政府的監管,未來企業對大數據的收集和使用不能再走粗放式的發展模式。
5G加速各類應用
2019年是5G元年,手機廠商爭先發布5G手機,電信運營商紛紛支持5G網絡,5G商用的大門已經打開。依托5G的速度和帶寬,在遊戲、視頻、車聯網、智慧城市等具體應用領域,各類貼近用戶側的應用將進一步落地。我認爲,遊戲很可能是最先享受5G網速紅利的應用。因爲遊戲涉及圖像的渲染,需要大量的數據傳輸和計算,一些計算密集型的任務可以轉移到雲端,用戶客戶端的設備可以不用配備太強大的計算和存儲功能,這將大大減輕用戶購買設備的成本。
更多更快的數據,更強大的計算框架!
5G和IoT技術的成熟意味著更多更快的數據將會生成。對于企業來說,如何更快地處理數據、對數據進行預處理和機器學習、提供決策依據或生成商業價值,依然是一項巨大的挑戰。各家科技巨頭紛紛布局大數據處理和機器學習框架,希望提供給開發者更簡單方便的大數據和機器學習工具。例如,阿裏巴巴在主推Apache Flink,Facebook和Google繼續發力大規模分布式機器學習框架PyTorch和TensorFlow。
AI芯片和邊緣計算
傳統的計算機架構依賴CPU的通用計算,GPU的計算加速。隨著ASIC等專用芯片大規模落地,更多的專用芯片將進入各類數據中心,加速一些特定領域的計算任務。2019年見證了很多芯片的發布,比如阿裏平頭哥産品玄鐵、華爲昇騰等。這些新型芯片很可能逐漸重新定義計算架構,芯片領域將不再是Intel、AMD、Nvidia、賽靈思的美國公司的專場。
另外,只在大型數據中心進行計算才是真正的計算嗎?計算其實可以放在任何位置,手機、IoT設備、機器人、無線基站、路邊機櫃。邊緣計算將重新定義計算這個概念,它更靠近數據源,減少了網絡傳輸。很多專用芯片恰好可以用于邊緣計算。如果說2019年是“上雲”的一年,越來越多的服務開始部署到雲上,2020年,更多的計算發生在雲之前。雲上進行超大規模的數據處理,而在邊緣部分可以進行數據緩存和過濾、實時處理、深度學習推理等數據處理工作。越來越多的語音識別和計算機視覺任務將在邊緣終端上進行。
深度學習落地
深度學習熱潮的從2012年計算機視覺的爆發開始,已經持續到第9個年頭了。8年間,以深度學習爲代表的人工智能技術日趨成熟,越來越多的企業已經在生産環境部署深度學習模型。深度學習的快速落地得益于更方便易用的框架,如TensorFlow或PyTorch,互聯網上開源的項目、培訓、論文和在線課程也能幫助使用者快速搭建深度學習模型,而且還有TensorFlow Serving這樣的模型部署和服務工具,模型可以快速部署在數據中心甚至是移動端。AutoML正在進一步降低了深度學習的成本。
2018和2019年深度學習最成功的模型是基于Transformer的BERT,這是深度學習在自然語言處理屆裏程碑式成果。但從研究到模型部署還有一段路要走,相信在2020年,更多的自然語言處理任務將應用上BERT的成果。
與此同時,強化學習、圖神經網絡更多的研究和應用成果將出現新的進展。深度學習的可解釋性也許爲期不遠。
AI:狂歡還是泡沫?
AI是不是資本吹捧的泡沫?有可能!盡管2020年我們將迎來AI第一股曠世港交所上市。但與前幾年的AI融資瘋狂不同,2019年已經見證了不少AI夢的破碎,裁員、撤資、跑路醜聞不斷。可以確定的是,資本正在回歸理性,AI人才供大于求的趨勢可能不在。大浪淘沙,那些無法將産品落地、無法提供商業價值的企業將會被市場淘汰。
職場指南
對于大數據和AI從業者來說,我們要跟對老板、選對方向,看准趨勢:
- 避免入坑,尤其是看清公司的商業模式和未來規劃是否符合當前趨勢。
對于一些融資泡沫、管理混亂或走在法律紅線上的公司,普通職場人最好敬而遠之。我們尤其要評估企業的産品落地能力,是否有法律風險,能否持續提供商業價值等。一些商業模式不確定的公司很可能在未來某個時刻暴雷。
- 向更有前景的領域轉型。
在之前企業上雲的那波浪潮裏,一些中小企業的運維工程師發現,雲上應有盡有,老板可以服務上雲以精簡人員,雲正在搶了他們的飯碗。同樣的殘酷未來也會發生在其他領域,職場人必須對自己當下的工作和行業趨勢有足夠的敏感,提前規避各種危機。