8日,阿里云計算發布核武級大數據產品——ODPS。通過ODPS在線服務,小型公司花幾百元即可分析海量數據。ODPS可在6小時內處理100PB數據,相當于1億部高清電影。此前,全球掌握這種能力的公司屈指可數,如Google、亞馬遜等。
五年間,阿里云的工程師們寫下250萬行代碼,不斷打磨ODPS。該團隊在一封公開信中描述:“把數據海洋里的水灌進ODPS,設定好一套參數,擰開水龍頭,出來的就是鮮榨果汁!”對比工業時代,ODPS相當于大數據時代的流水生產線,水龍頭里流出來的“果汁”,隨原始數據和算法的改變而千變萬化。
公開信中表示:工業革命后的200多年里,人類對物理資源的利用登峰造極,對數據資源的利用卻仍處于起步階段。Google、Facebook、阿里巴巴等互聯網公司先行一步,觸碰到了大數據的魅力。然而,人類擁有的絕大部分數據還無法產生價值。
采用傳統方案處理大規模數據,一般得耗資數千萬自建數據中心,請專業技術人員維護運作。一旦數據總量超過100TB,技術挑戰會非常大。Hadoop開源運動降低了這一成本,不過自建一個像樣的Hadoop集群,仍然需要上百萬的起步資金。專業的Hadoop人才則更加稀缺。
相比而言,使用ODPS的成本和門檻則低得多。ODPS采取按量收費的模式,目前定價0.3元/GB,即開即用,一個月內免費。根據大部分公司的數據量來測算,一般每月只需花費數百元。
在對外商用之前,ODPS一直是阿里巴巴內部的秘密武器。阿里小貸最先將ODPS應用到商業領域。如今,超過36萬人從阿里小貸借款,最小貸款額為1元,并實現3 分鐘申請、1秒放款、0人工干預。要做到這一點,阿里小貸每天得處理30PB數據,包括店鋪等級、收藏、評價等800億個信息項,運算100多個數據模型,甚至得測評小企業主對假設情景的掩飾和撒謊程度。阿里小貸每筆貸款成本3毛錢,不到普通銀行的1/1000。
據悉,淘寶、支付寶等阿里巴巴最核心的數據業務,都運行在ODPS平臺。比如阿里媽媽廣告的核心算法,點擊預測模型的訓練等。ODPS商用,意味著阿里云將這種大數據處理能力對外開放,此舉將大幅降低社會創新成本。
在公共領域,ODPS也具備廣泛應用的潛力:華大基因利用ODPS進行基因測序,耗時不到傳統方式的十分之一,未來一旦爆發生物危機,可以為人類贏得寶貴的破譯時間;藥監部門利用ODPS,全程監管藥品流向,解決假藥問題。“我們期待未來每一桶油、每一道菜的數據都跑在ODPS上,食品安全問題需要通過創新的方式來解決。”
目前,全球提供類似服務的僅有Google和亞馬遜,國內尚無同類產品可供比較。阿里云方面表示,ODPS將比Google BigQuery更強大,不僅支持更豐富的SQL語法,還將提供MapReduce編程模型和機器學習建模能力,可以服務更多應用場景。