“相信大部分人都用過美團外賣,尤其是在每天的兩個吃飯的高峰期。美團外賣從創業到現在經曆了數次的叠代,不斷的適應需求,提供更好的體驗。
下面我們就仔細的聊聊“美團外賣系統架構演進與系統穩定性”
公司規模
美團網2012年7月份的銷售額已經超過了5億元,本地服務銷售額占總銷售額的95.14%
美團網2014年8月的交易額突破45億元。截止到8月,美團共有北京、深圳、上海、廣州、西安、武漢、杭州、成都八大城市單月交易額突破1億元大關。
2014年美團全年交易額突破460億元,較增長180%以上,市場份額占比超過60%。
美團網數據顯示,2014年12月單月交易額達到63億元,單日交易額更突破3億元,在市場份額占比方面,美團網市場份額超過60%,比2013年的53%增長了7個百分點。
美團外賣系統架構演進與系統穩定性
以下分四部分聊
美團外賣業務發展曆程
技術體系架構演進介紹
外賣業務穩定性的挑戰
系統穩定性的處理原則
美團外賣業務發展曆程
技術體系架構演進介紹
業務起步:MVP階段
•快速試錯
•快速叠代
技術架構1.0
•共用
•易部署
•快速發布
技術體系架構演進介紹
業務起步:40w單
•梳理業務
•尋找規模化方式
技術架構1.0
•加功能
•加服務
•易部署
•快速發布
業務規模化:100w單
•校園市場多城市鋪開
•用戶量激增
•平台活動增加
技術架構2.0
•服務化
•高內聚,低耦合
•拆:服務,庫,表
業務增長:300w單
•白領市場全國鋪開
•美團專送
技術架構3.0
•中間件
美團外賣業務發展曆程
業務增長:1000w單
•供給側改革
•美團專送
•衆包配送
•新業務
技術架構4.0
•穩定大于一切
•多機房
•中間件
業務特點:高峰集中在中午、晚上晚點,爆發快
挑戰:高並發,一旦發生故障損失較大
業務特點:服務鏈條長
挑戰:依賴複雜
我們對穩定性的定義
系統可用性:4個9
訂單可用性:4個9
影響穩定性的主要因素:(那些年我們踩過的坑)(記我們的血淚史)
發版:引入bug,姿勢,潛伏期
數據庫慢查詢:全表掃描
代碼質量:循環無法退出;重試;
RPC調用:未設置超時時間,引發雪崩;
數據一致性:多處數據不一致;Databus,MQ,JOB
打日志:日志打印太多,IO占滿
共用導致的:庫,MQ,zk,Tair,(所有的蛋放在一個籃子裏)
流量異常:Ddos攻擊
壓測目標:
排查性能瓶頸,上探系統容量,驗證降級機制
驗證報警響應機制&指導設定警戒行動線
及時止損:回滾,分流,啓動降級預案,限流
保護用戶體驗:客戶端配合降級
力保關鍵路徑:非關鍵路徑模塊降級
日常運行:灰度控制範圍,壓測預估容量,設置警戒行動線,警戒線的設定要留有余量,別到告警就來不及處理了
事前預警:業務大盤,健康分析,性能大盤
事故處理:分析,定位,解決
事後總結:Casestudy,重構系統,高壓線
我的思考:
穩定是功能的一部分
性能是功能的一部分
簡單才是最美的
自動化一切
定期Review,擔心的一定會發生,而且有可能馬上發生
倒逼改革,穩定性需求驅動架構演進升級
穩定性的健康度檢查
業務基礎組件的規劃
業務展望系統未來規劃
擴品類
平台化
供應量化
穩定性的健康度檢查
業務基礎組件的規劃
今天的分享就到這裏,感謝大家的閱讀,喜歡我的文章,記得點擊關注,收藏,並轉發,更多的幹貨分享才會不會錯過,我們一起學習成長,加油!