注意,重點來了。和這座城有關的角色遠不止于此。
混迹在人群之中,還有賊眉鼠眼的偷手,以次充好的奸商,深谙套路的騙子,投機倒把的黃牛黨,還有像蚊子一樣趁人不備就爬上去吸血的羊毛黨。
(一)市集
2003年,淘寶網成立。
那是馬老師的田園詩時代,如今阿裏巴巴掌門人張勇當時還在普華永道任職,今天人們耳熟能詳的支付寶、天貓和“雙11”還都不存在。
那時的淘寶網也還是個寶寶,是個開放的“市集”。人們可以拿著自家的好東西來這擺攤,買主也可以來閑逛。可以說是想來就來想走就走,沒那麽多規矩,大家都很自覺地靠溫良恭儉讓維持著基本的買賣禮儀。
這裏中哥得插入一下,和你討論一個哲學命題:集市裏的商家給自己找托兒刷單,又沒有去砸鄰家的場子,淘寶作爲這個集市的管理者,應不應該管?
答案是:雖然刷單行爲沒有直接破壞別人的經營,但是它卻破壞了公平競爭的環境,而沒有人願意在不公平的市場上做買賣。所以,這個問題的答案很肯定:淘寶不僅要管,還要非常嚴肅地管。
從此,一場曠日持久綿延至今的戰爭正式吹響沖鋒號。
故事到底怎麽發展呢?我們把鏡頭拉回淘寶這個“賽博市集”。
眼看大量的機器人從四面八方湧來,仿佛喪屍圍城,淘寶網刻不容緩,需要馬上構建起一道城牆,先把機器人擋在外面。
于是,從2006年開始,一道高牆在阿裏巴巴周圍築起,只留下一扇城門,城門上有監控系統,專門判斷來人是真正的人還是機器人。如果是人,請進;如果是機器人,對不起您也甭進來了。
瞬間,世界安靜了。集市又恢複了如初的和諧,遵紀守法的人們繼續嗨嗨皮皮地做生意。
而且,“面具”做得越來越逼真,越來越能蒙混過關。
假設一次秒殺活動放出10台 iPhone,有9台都被羊毛黨用機器人搶到了,一旦發貨,誰都追不回來。
阿裏巴巴生死攸關。
旌旗獵獵,衆將列立兩旁,一場巨大的技術反擊,掀開重幕。
(二)城牆
我們的第一位故事講述者,鐵花,就是彼時臨危受命的戰士之一。
鐵花是2006年加入淘寶的老阿裏人,他有個特異功能:能把代碼編制得密不透風,最適合營建萬人依靠的基礎設施。(中哥曾經寫過鐵花的故事《我認識了一位阿裏巴巴禁衛軍》,感興趣的淺友可以點進去複習。)
霸下:你瞅啥?
注意,說霸下是個城牆,它本質上卻是一台超級計算機引擎,它的工作原理是:對每一個訪問請求都進行“安檢”,看看你身上有沒有“違禁品”。
于是問題來了:安檢得越細致,就越能分辨好人和壞人。但是,當動辄幾億請求湧過來時,如果對每個人安檢時間過長,就會讓用戶排隊比 ofo 退款的隊伍還長。在現實中就表現爲“界面一直轉圈圈,遲遲無法下單單”,這肯定不能忍。
所以,霸下面臨的最大技術難題是:又要馬兒跑(高性能),又要馬兒少吃草(少耗時)。按下葫蘆浮起瓢,很愁人。
霸下一進入戰場,大半兒的機器流量就像射在城牆上的劍,應聲墜地。然而事情沒那麽容易,仍然有少量機器流量可以巧妙地騙過檢驗。阿裏巴巴的童鞋們皺著眉頭分析,發現這類機器流量大部分都來自于手機。
這裏不妨多科普兩句。
機器人分兩種:手機版和電腦版。
用手機做“機器人”,比用電腦做“機器人”的隱蔽性更高。因爲電腦的參數相對固定,如果做了壞事就被霸下用小本本記下,下次很容易就被識別。但手機是會移動的,參數經常變化,霸下就可能看不出來。
硝煙裏,霸下舉著發報機:“呼叫總部,請求增援!”于是,“輕騎兵”阿裏巴巴移動安全團隊挺身而出。
典揚就是當年移動安全團隊的一員。回憶那時,他吐槽:“動不動黑産就模擬出幾百萬台手機沖進來秒殺,連衛生紙都搶,太喪心病狂了。”
隨著時間推移,爲霸下提供數據補充的團隊越來越多,霸下也越來越聰明。至此,霸下如史詩一般直聳雲端,在黑暗森林的包圍中,保衛著淘寶這個世外桃源。
這裏,中哥又要問你一個有趣的哲學問題:
一旦霸下識別出了這個流量是黃牛黨,就一定要攔截它嗎?
別著急回答,仔細思考一下。答案並不簡單。
實際上,阿裏巴巴的童鞋們並不是那樣做的。在2016年 iPhone7 上市時,無數黃牛黨指揮機器人沖向天貓准備搶購,結果鐵花團隊通對羊毛黨人數掐指一算,指揮霸下專門爲黃牛黨開了一個小場地,他們可以進來搶,但是搶到的概率極低,最後核算下來,一個黃牛黨無論指揮多少台機器人一起搶 iPhone,他搶到的概率和一個正常人是一樣的。
鐵花說,今天超過99.8%的機器流量都在霸下的掌握中。你可能會替阿裏巴巴松口氣:“這下萬事大吉了!”
如果這麽說,多半是因爲你沒當過市長。阿裏巴巴是座城,機器人搞定了,還有好幾億真人等待著這幫技術宅搞定呢。。。
(三)捕快
有道是:“見的機器越多,就越喜歡人;見的人越多,就越喜歡狗。”
阿裏巴巴這座城裏有形形色色的人,很多絕非善類。給你舉三個例子:
機器刷單被霸下攔住後,很多店鋪又開始了真人刷單。在論壇或者社交群裏找來想做兼職的人,組織他們去給某店鋪刷單,刷一單返幾塊錢。
真人刷單的組織者漸漸多起來,其中少部分頭頭發現,這些找兼職的人很傻很天真,幹脆我許諾他們刷單返現,然後卷錢跑路,豈不來錢更快?于是就有了刷單詐騙。
惡意會傳染。看到利益,很多買家也動起了歪心思,把某個商家的東西全拍下來,就是不付款,這時商品就被鎖定,無法賣給其他顧客,以此要挾商家給“保護費”,這就是“惡拍”;還有人買下東西,給差評,敲詐商家花錢平事兒,這就是職業差評師和“惡評”;還有人讓包郵商家把超大杠鈴寄到新疆,然後不收貨,來回兩次運費都要商家出,以此要挾,這叫“惡退”。
凡此種種,爲了賺錢,各種人腦洞簡直開絕了。
對于這些真人幹的事情,識別機器流量的“城牆”霸下就愛莫能助了。于是,阿裏安全的第二個神器就這樣登場了。那就是——MTEE。
MTEE 也是一台超級計算引擎,說具體點是“執法引擎”,它有點像城裏的捕快。
例如,大清律法寫著“當街行騙,杖責四十。”那麽很簡單,捕快一旦發現有人行騙,就拉過去打四十下,以儆效尤。
雖說 MTEE 是官兵,但是官兵也不能隨便抓好人啊。。。所以阿裏規定,依靠自動規則拿不准的案例,最終都會交給人類審核員來處理,這就讓審核員們壓力山大,每天跟柯南一樣推理斷案,煩的一比。。。
到後來,MTEE 上的“人類配置的規則”已經有一萬條了,但是准確率距離大家心中的要求還有差距。這種情況,必須靠新技術了。
MTEE 的技術負責人知命回憶。
知命所說的新技術,就是大名鼎鼎的人工智能。
神盾
有機會爲中國企業用代碼構建萬世基石,神盾熱血奔流。
他撸起袖子,馬上聯合算法團隊,用人工智能跑出了一些用于替代“人類規則”的“AI 策略”。
也正是從那時開始,人工智能緩慢而堅定地接過人類的工作,到了2017年底,MTEE 上已經跑了120多個人工智能模型。
人工智能一旦擁有火眼金睛,白骨精換什麽 CosPlay 都白搭:
一開始店鋪刷單依靠機器;後來機器被攔截,他們就找真人下單,但爲了節省成本,不發貨;後來這種刷單被識破,他們就不僅讓人拍下,還象征性地發個“空包”(快遞包裏沒有物品);後來物流數據接入 MTEE,快遞的重量被記錄,發空包也不行了,他們就在箱子裏放一瓶水或者一塊磚;當然,現在你就算發磚都不行了,因爲 MTEE 又有了新的數據。。。
你想想看,如果刷一單的成本已經無限趨近于真實購買一單,那麽“刷單”這個行爲就被等價還原成了“讓利促銷”。用溫和的手法,把人攙扶到正確的道路,這就是技術的濟世情懷。
每年雙11,都是 MTEE 最爲閃耀的時刻之一。
阿裏巴巴平台上的商戶們爲這場狂歡投入的營銷費用總計幾十億甚至上百億。這麽多資金,在上千萬黑灰産從業人員的眼裏,就是肥美的羔羊。然而,如今 MTEE 僅僅依靠100人,撒豆成兵複刻了無數火眼金睛的“數字捕快”,在壞人摸向羊毛之前,就捏住他們的手,然後亮出證件:“你可以保持沉默,但你所說的一切都是呈堂證供。”
滅絕師太鄭俊芳
錢磊就是在這個時候被師太拽來的。他加入的部門是“平台治理部”,我把它稱爲“衙門”,這個部門的重要職責就是制定一套識別假貨的技術,然後交給“捕快” MTEE 去執法。
例如,奧利奧在淘寶上發現有人賣“奧力給”,就得找到淘寶吐槽,淘寶再處罰商家。這種操作對電商平台來說不難,也是包括亞馬遜在內的全球電商的通用規則。
但師太拉錢磊這個技術大牛過來,不是幹這種簡單的事兒的。
你可能看出來了,這裏還是有誤傷可能。我的 LV 二手小錢包比較舊了,就願意賣100塊!憑什麽我賣的便宜就是假貨呢?
錢磊撓頭,只靠規則一刀切不是個長久之計。他決定去找包括 LV 在內的大牌公司聊天。拉著對方的人死乞白賴地問:“你倒是給我說說,你們是怎麽分辨假貨的?”
LV 告訴我,識別假貨不只看價格,名牌産品是有“關鍵設計”的,可能直男看起來一個野生包包和LV並不相似,比如 LV 的圖案是四個花瓣,有個包上印了五個花瓣。
雖說花瓣數量都不一樣,但它其實是抄襲了關鍵設計,要認定爲假貨。
錢磊給我科普。
遮擋的圖片大概就是這樣
這是赤裸裸的挑釁呀!錢磊憋著一口氣,帶隊繼續升級人工智能算法,專門識別“手指遮擋”和“打半碼”。售假商家想出新的對抗策略,人工智能就繼續壓制。雙方你來我往地拉鋸,這場戰爭曠日持久。到了2018年初,阿裏巴巴終于奪下了絕對優勢,售假商家的活躍數據斷崖式下降。
我搜了一下,給你看看
除此之外,還有更棘手的問題。
例如,有人在淘寶上售賣愛奇藝的會員月卡。但是他們的操作是,15塊買一張月卡,然後分別以兩塊錢的價格批發給很多人共用。愛奇藝也不是吃素的,查到多人共用月卡,一般都會做封禁處理。這時購買了會員的用戶就會到淘寶來投訴,說這個商家賣假貨。
那這個商家到底算是賣了假貨還是沒賣假貨呢?要說賣了假貨,似乎有點言重,要說沒賣假貨,確實和用戶預期不一致,淘寶也很爲難。
平台治理部的同事們商量了好久,覺得處罰不是目的,滿足用戶才是目的。他們最終拿出的方案是:用戶搜索“愛奇藝會員”,就把愛奇藝官方的充值渠道優先展示給用戶,引導用戶“走正道”,如果你實在想買便宜但有風險的會員,花點時間也不是找不到。
故事講到這,你也許能慢慢體會,爲什麽我會說“阿裏是座城”。
城市裏有黑有白,有對有錯,但城市裏有更多介于黑白之間,清官也斷不清的家務事,治理一座城,僅靠嚴刑峻法是無法長久的,它考驗的是治理者的洞見、胸懷、技術能力、思考格局和大智慧。
算法團隊的生活絕對是“把腦袋別再褲腰帶上”——可以說淘系平台上所有店鋪的生死大權都握在這些大牛手上,一旦某個智能模型出現錯誤判斷,就會錯殺一大批店鋪。責任這麽重,睡覺都不踏實。。。
算法團隊最早期的負責人是江洋,他給我回憶了一次驚險事件:
有一天淩晨三點,MTEE 根據一條算法,突然向部分商家發出嚴厲警告:你們存在嚴重的刷單行爲,第二天要進行關店處罰!
陸全
在陸全看來,算法所面臨的敵人變化之快,簡直到了變態的地步。對方使用一個招數,你要在最短的時間內拆招,然後使出能夠力克他的新招數。你來我往,攻守易勢之快,不亞于霍元甲在拳台上和對手比武的節奏。
對手到底有多狡猾呢?陸全回憶了一個故事:
就在2017年雙11之前兩周,算法同學發現了一個異常的情況:一些本來活躍的羊毛黨突然停止了進攻,安靜得有點瘆人。是黑産改邪歸正解甲歸田了?那不可能。唯一的解釋就是,黑産在爲“雙11”做准備。但是他們在准備什麽呢?
想了兩天,陸全恍然大悟。
算法的操作原理是:根據對手在最近一段時間的行爲數據,來推測他未來可能采取的行動。如果黑産在雙11之前兩周沒有動作,那麽算法就沒有他們最近的行爲數據,對于他們的判斷力就會減弱!雙11那天他們就可能逃過檢測。
意識到這一點之後,陸全馬上組織童鞋們把算法做調整。針對這類黑産采用兩周之前的數據進行訓練。在雙11那天,果然對手突然跳出來,大吼一聲:“我想薅羊毛!”沒想到 MTEE 也跳出來大手一揮:“不,你不想。”
歲月靜好。歲月背後,是那些細密的故事。
阿裏巴巴有如同石油一般的大數據,有如同武林高手一般變幻無窮的算法,有堅如磐石的“城牆”,有火眼金睛的“捕快”。各個安全團隊編制成了一套極其精密的系統,維護著阿裏巴巴這座城池的秩序和安甯。
在內部的一本“秘密檔案”裏,記錄著黑暗森林裏各個團夥的特征、技術特點、組織關系,並且實時更新。你可能會問,這麽詳細的敵方記錄是怎麽搞到的?對不起,中哥也沒打聽出來,對于情報部門來說,信息的來源是最密不外傳的精髓。
入侵就是“大內密探”的一員。(因爲工作性質特殊,這裏就不放他的照片了)
他曾在論壇裏監控詐騙團夥傳授仿冒淘寶客服詐騙的經驗,他也曾目睹警察叔叔端掉整個團夥的窩點,槍栓铿然。然而最讓入侵覺得刺激的,是他發現新型攻擊的那一刻。
2017年雙11前夕,入侵和同事們突然監控到某個老濕傅在群裏吆喝兜售一個薅羊毛工具。賣工具的天天有,大部分在霸下面前都是渣渣。但這個老師傅成功地引起了入侵的注意,因爲他的廣告語是:“百分百繞過霸下”。。。
搞來一試,冷汗順著入侵的額頭冒出來。
這個工具使用了一個極騷的操作,還真能騙過霸下。這種情況太罕見了,要是我們沒發現它,被人用來沖擊雙11,連淘寶天貓的穩定性都有可能出問題。
他回憶。
當時入侵緊急聯系鐵花的霸下團隊,第一時間把這個口子封堵。
那一年雙11總成交額達到了1682億元,吃瓜群衆看到的是天貓淘寶絲般順滑,沒人知道曾經發生過這麽驚險的一幕。
沒想到,黑産團夥卻從中開發出了盈利模式。。。
他們利用黑客手段,在很多人手機裏種下了木馬,強行“幫”他們把淘口令放進手機剪貼板裏。這樣,不明真相的群衆打開淘寶,就會被強制引流到這家店鋪,黑産團夥就拿著這些數據去結算廣告費。
入侵把這個情況彙報給廣告團隊,廣告團隊馬上推出對策:凡是用強制方法彈出的廣告,這些廣告費一分都不予結算。黑産費了九牛二虎之力,竹籃打水一場空,自然就沒人再做了。。。
說到這,你可能都快吐槽無力了,這群壞人的腦洞也太清奇了,要是把這些智商用在社會主義建設上,中華民族偉大複興至少提前50年實現。。。
實際上,凡是能讓壞人從中漁利的點,都被阿裏安全的同學們稱爲“利益點”。在阿裏巴巴總共有上千個利益點。隨著業務變化,每天都有一些舊的利益點消失,也會有更多新的利益點産生。
安全團隊們通力協作,守衛著這些利益點,日也不敢放松。這場對與錯,黑與白,正義與邪惡,金錢與榮譽的戰爭,就這樣無休止地進行下去。
2018年,淘寶掀起了一場規模巨大的拉新活動。凡是新注冊用戶,都可以拿到幾十塊錢的紅包。
本來這是一場興高采烈的活動,卻又被黑暗森林裏的黑産盯上了。他們利用各種地下渠道買來的身份信息,注冊淘寶賬戶,把紅包拿走以後就再也不來了。
“神機軍師”陸全通過對前兩天後台數據分析,發現最高峰時刻有不少紅包都白白損失了。
然而,對于這種拉新場景,算法團隊+MTEE 卻不能像其他場景一樣防控得那麽好。因爲新注冊賬戶可供判斷的數據量非常少,相當于只讓你看一眼面相就判斷對面這個人是好人還是壞人,難度非常大。
一場淘寶團隊和安全部門的緊急會議召開。
陸全很著急,跟淘寶同事們說:“我們的算法升級需要兩周,你們的活動能不能暫停,等風控完善了再上也不遲啊!”
然而淘寶的同事搖了搖頭,說:“陸老師,你說的我都懂。但商場如戰場,別說兩周,一秒都等不了。沖鋒號已經吹響,別說資損,就是死人,我們也得上!”
陸全沒有再多說,沖回工位,把團隊骨幹都叫過來:“大夥查查看我們還有什麽武器,最新的技術全拿來,研發中的新武器“圖計算技術”也可以上。淘寶的兄弟們要沖鋒,眼看就會有傷亡,現在能炸碉堡的人,只有我們。”
就這樣,賽博空間的戰場上,斜刺插入一直凶猛的特種兵。算法團隊幾天幾夜沒睡覺,人工智能有弱點的場景,就用真人來頂上。同學們輪換著更新算法,誰都不願意離開,生怕因爲自己去睡覺,而造成了淘寶的資金損失。就這樣兵來將擋水來土掩,生生把淘寶拉新的資損率給壓了下去。
回憶這些年的故事,神盾也感慨良多。
在美國,我見過很多華人技術人,他們都很優秀,大多卻只是“幹活的”,不會被當做公司的主人。但在阿裏巴巴, 我,和我的同事們,無論職位高低,能力大小,每個人都是主人,我們在用自己的熱血創造曆史,一點點把這片土地變得更好。這種感覺無論多少錢都無法買來,而我的祖國能給我。
2017年底,滅絕師太鄭俊芳開始同時負責安全部和平台治理部,成爲新一任的首席風險官(CRO)。錢磊此時也開始負責帶領 MTEE 所在的風控技術團隊,2019年初,包括霸下在內的基礎安全團隊也納入他的管理之下。
有了統一調配,風控鏈路上各個“兵種”的協作就變得更爲方便。于是,錢磊把阿裏巴巴這些年和敵人作戰的經驗總結成了“新一代安全架構”。
這個架構就像一個三層大樓:
最下層是安全技術層,包括數據安全、密碼學、攻防、算法等等。(這就像水泵、發電機一樣是大樓的底座)
中間層是安全基建層,包括軟件供應鏈、研發生命周期、發布卡口、應用可信等。(這就像大樓的建設標准)
最上層是安全運營層,包括網絡安全、合規、風控等。(這就像讓大樓有序運營的物業)
以上我使用的都是專業名詞,但其實我們今天所講的所有兵種,都可以歸入這三層。
在今天的故事裏,這三層架構中還有很多安全隊伍沒有被提到。例如:軟件安全開發團隊在日複一日地用制度保障每一行代碼從出生就是安全的;數據安全團隊在奮力保障用戶的數據在流通環節裏不會泄露;安全測試團隊每天爲阿裏的安全系統做巡檢;安全實驗室在時刻尋找著新的攻擊技術,不斷拉大和黑産的技術代差。
在錢磊看來,單一的兵種再厲害,也沒辦法獨自阻止敵人的進攻,正如堅固的馬奇諾防線可以被巧妙地繞過。而只有依靠一套強大的安全架構,各個兵種深度配合,才能力保城門不失。
這種安全架構,將成爲“數字基建”的一部分,不僅保護阿裏巴巴這座城,也能成爲數字世界中的無數城池的榜樣。
黑産喪心病狂,但我們有廣大的戰略縱深和堅固的數字基建。我不知道這場戰役要打多久,我只知道,我們贏定了。
錢磊說。
故事講到這裏,也該告一段落了。
阿裏巴巴是座城,這座城還在迅速地擴大。