大數據首先要有能力獲得大數據,現代移動互聯網和過去的傳統互聯網最大的差別就是移動終端的海量加入,從3G時代開始,仿佛一瞬間,中國乃至世界進入了移動互聯網時代,過去的互聯網用戶,至少要擁有一台電腦,現在則是一個手機,廉價的移動終端和上網費用,導致用戶數量暴增,互聯網迎來了最好的時代。
但隨之帶來的問題是對服務器的運維能力提出了很高的要求,以前的web服務系統,可能僅需要處理數十萬用戶同時在線,每秒處理數百筆交易,現在則需要應對數億用戶,每秒處理數百萬乃至上千萬筆交易,業務量大大增加。
海量接入的理論能力和實戰能力
業界對此做了大量優化,如Nigix web服務器系統能在前端提供每秒高達百萬筆交易的服務能力,但是大多數運維業務系統都依賴後台的數據庫系統,高效的服務能力不僅僅依靠前端的高效接駁,還依賴後端的數據庫系統的高效運行,方能快速完成業務。
而傳統數據庫系統的處理能力和吞吐量效率始終不高,如傳統的關系型數據庫,單台服務器每秒僅有數千筆的吞吐能力,即使目前的列式數據庫,Hadoop等非關系型系統,也僅有4~5萬筆/秒的吞吐能力,這拖慢了整個系統,影響了服務效果。
而運營商解決問題的權宜之計就是不斷購買服務器設備,以海量的服務器集群來應對海量的服務需求。如常見的滴滴打車,其後台的運維系統服務器達到1萬台以上,淘寶後台的服務器差不多也是這個量級,而QQ微信這類公衆級應用,服務器台數更是達到數萬乃至數十萬台,這無疑造成了巨大的成本。
服務成本的高昂還帶來了擴容不易的問題,運營商不可能無限制部署運維服務器,必須按照一定的財務安排定期擴容,但遇到突發性的訪問高峰,則完全可能因服務能力不匹配造成系統宕機,無法服務的結果。
如2020年這次新冠肺炎疫情等社會級公衆事件,大量人民在家中自我隔離,無事可幹,只有通過手機電腦上網來排解,這造成了網絡訪問量暴增。再加上停課不停學的號召,孩子們在家裏通過網絡學習,這直接導致很多官方的教育網站,重要的新聞網站,應用網站的遲滯、卡頓和崩潰,造成了很壞的影響。
上述所有這些問題,其實根源只有一個,就在于數據庫緩慢的並發讀寫吞吐量影響了整個服務效率和品質,進而增加了成本,限制了運營商擴容的靈活度,無法滿足運營需求。
“全系統實時”的意義
運營商需要一套包括前端的接駁web服務器,中間件計算系統,數據中台系統,數據庫系統的“全系統”高效實時服務方案,根據木桶原理,任何一個點的短板都會拖慢整個系統,導致其他系統的優化作廢。簡單說,光是前端“有能力”接入海量終端是不夠的,完成這麽多海量終端産生的海量訪問業務,才是有意義的。
一個互聯網運營系統,數據量是永恒增加的,今天的小數據,終究會“攢”成大數據,今天快不代表明天快,所以運營商要重點關注的就是核心數據庫的效率。特別是隨著智能終端的産生,很多數據來自于機器自動探測産生,7*24小時不間斷産生,這已經屬于物聯網範疇了,這時候數據量增加更快,更容易産生大數據導致的性能惡化問題。
西海數據的NoSQLt和傳統的數據庫不同,其需求來自于重工業一線,如電力、石油、化工等領域,另外設計研發時執行的是嚴格的標准,不間斷每秒鍾320萬筆高壓力測試已經連續堅持7年,並且公司不關門,穩定性測試永遠進行。已經獲得國內多個單位的認可和采購。故NoSQLt的質量、穩定性遠高于常見的開源産品或民用級數據庫産品。
NoSQLt本質是工業級實時曆史數據庫,其設計的初衷就是應對工業現場成千上萬的探測器每時每秒産生的海量探測數據,天生具有超高的吞吐量,並取得了領先世界競爭對手兩個數量級的競爭優勢。如國外的PI數據庫,單台服務器每秒吞吐量極限爲8~10萬筆,NoSQLt則是並發320萬筆,遠遠超越競爭對手,可以說是世界上最快的數據庫。
利用這個能力,NoSQLt特別適合應對移動互聯網運維服務中海量中小型終端的寫入和查詢請求,比如下面這些應用:
1、一個最簡單的計步App,數千萬手機終端每秒産生計步數據,這些數據要實時寫入,每個用戶會實時查詢結果,用戶可能還需要計算最近一段時間走路的趨勢曲線,看看身邊其他朋友的成績,作爲增值服務,運營商可能會安排醫療專家、運動專家實時統計所有用戶的步數進度,形成態勢圖,評估整體運動情況,並立即用整體態勢給某個付費用戶做量身定制的提醒和指導,提示其在全國範圍內排名,根據每天運動量和主要運動時間科學規劃,進行營養膳食建議等等,這些分析計算並不難,難的是一瞬間要針對全國幾千萬上億用戶並發進行訪問和計算服務,則必須用到NoSQLt的實時大數據技術,實時采集,實時計算,實時秒算輸出報告。類似的系統還有智慧醫療手環、手表系統,不但隨時采集步數,更要實時監測用戶的血壓、心率、血糖等數據,實時上傳,實時由後台醫療分析系統進行數據分析,實時預警等服務,都需要NoSQLt這種高效的性能。
2、某個車聯網系統,系統在線車輛百萬級,每輛車每秒上報自身的GPS坐標,數據上傳後自動計算當前速度,車輛在廣域範圍內移動,幾年下來系統中存入數億筆數據,要求實時抓取時速超過80Km的超速車輛,還要引入曆史分析,抓取過去幾年中,車輛超過80Km的所有超速車輛及其超速時間點和路段,在2019年航天科工三院的一次測試中,NoSQLt在400~600ms完成上述抓取工作,其速度震驚了甲方。類似的場景還有很多,比如某重型工程車輛廠,對于自身出廠的所有車輛做實時監控,針對機油、柴油消耗,各部件磨損,車輛防偷防盜,甚至駕駛員駕駛習慣,是否疲勞駕駛,有無精神異常等各種參數進行實時跟蹤,實時分析預警,都需要NoSQLt這種高效的能力。