16小時(shí)31分，天貓雙11再破2018年全天記錄！
-
物聯(lián)網(wǎng)智庫(kù)
2019-11-11 18:07 -
文：
carey
經(jīng)過(guò)16小時(shí)31分12秒，天貓雙11再次突破去年全天2135億元的總成交額。
俗話說(shuō)，“躲得過(guò)初一，躲不過(guò)雙十一”。
這筆堪稱天文數(shù)字的成交額意味著全球最大的流量洪峰——對(duì)數(shù)以億計(jì)的消費(fèi)者來(lái)說(shuō)，從提交訂單到付款成功不過(guò)是指尖下短短的幾秒而已；對(duì)阿里后臺(tái)的服務(wù)器來(lái)說(shuō)，要承受的卻是數(shù)據(jù)巖漿的瞬間噴發(fā)——只有扛住了這一流量洪峰，剁手黨們才能夠支付順暢、購(gòu)物不卡殼。
據(jù)天貓最新數(shù)據(jù)，2019天貓雙11交易峰值創(chuàng)下新紀(jì)錄，達(dá)到54.4萬(wàn)筆/秒，是2009年第一次雙11的1360倍，這一數(shù)字在2018年為48萬(wàn)筆/秒。
在度過(guò)2019天貓雙11流量峰值后，阿里巴巴正式宣布，其核心系統(tǒng)已100%跑在阿里云公共云上。由此，阿里巴巴成為全球首個(gè)將核心交易系統(tǒng)100%運(yùn)行在公共云上的大型互聯(lián)網(wǎng)公司。
當(dāng)年阿里在搞“去IOE”的時(shí)候可能并沒(méi)有一定要讓中國(guó)在數(shù)據(jù)庫(kù)領(lǐng)域?qū)崿F(xiàn)自主可控的雄心，反而，這項(xiàng)策略一開(kāi)始頗有些迫于無(wú)奈的意味。
與傳統(tǒng)數(shù)據(jù)庫(kù)相比，OceanBase的另外一個(gè)關(guān)鍵特征是軟件版本的灰度升級(jí)。
然而，大家高興還沒(méi)多久，有不少業(yè)內(nèi)人士開(kāi)始出來(lái)“潑冷水”：按照性能的測(cè)試結(jié)果，螞蟻金服的確排名第一，從每分鐘能處理的事務(wù)數(shù)量來(lái)看，“螞蟻”的60,880,800 tpmC的確是“甲骨文”30,249,688 tpmC的兩倍。但值得注意的是，這份榜單中的測(cè)試結(jié)果有效期僅為3年，除了“螞蟻”意外，其他公司因?yàn)樘脹](méi)有參與測(cè)試，以前的測(cè)試結(jié)果統(tǒng)統(tǒng)過(guò)期了。
吃吃吃、買買買，永遠(yuǎn)是能讓人心情變好的事物，用自己賺的錢在這樣一個(gè)節(jié)日里獎(jiǎng)勵(lì)一下自己，又有什么不可呢？
俗話說(shuō)，“躲得過(guò)初一，躲不過(guò)雙十一”。
無(wú)論之前我們?cè)趺雌疵婢o錢包以窮為名指天發(fā)誓說(shuō)要當(dāng)“東方不buy”，最后八成會(huì)在全民狂熱購(gòu)物氛圍的影響下忍不住按下提交訂單的按鈕。為了榨干大家銀行卡里的余額，各種滿減廣告鋪天蓋地而來(lái)，仿佛在大聲吆喝“快看這四舍五入簡(jiǎn)直是不要錢”，信用卡和花唄也都煞費(fèi)苦心的悄悄提高了消費(fèi)額度，簡(jiǎn)直是全世界都在慫恿人們買！買！買！
“昨天的最好表現(xiàn)，是今天的最低要求”，毫無(wú)懸念的，今年的天貓雙11再次延續(xù)了“神話”——0點(diǎn)開(kāi)啟，幾乎每1秒都有新的記錄誕生。
1分36秒破100億，比去年用時(shí)快29秒；
12分49秒突破500億，用時(shí)較去年縮短一半；
1小時(shí)03分59秒沖破1000億大關(guān)，比去年快了43分鐘27秒；
14時(shí)21分27秒沖破2000億大關(guān)，比去年提前8小時(shí)7分10秒；
剛剛，經(jīng)過(guò)16小時(shí)31分12秒，天貓雙11再次突破去年全天2135億元的總成交額。
這筆堪稱天文數(shù)字的成交額意味著全球最大的流量洪峰——對(duì)數(shù)以億計(jì)的消費(fèi)者來(lái)說(shuō)，從提交訂單到付款成功不過(guò)是指尖下短短的幾秒而已；對(duì)阿里后臺(tái)的服務(wù)器來(lái)說(shuō)，要承受的卻是數(shù)據(jù)巖漿的瞬間噴發(fā)——只有扛住了這一流量洪峰，剁手黨們才能夠支付順暢、購(gòu)物不卡殼。
這是一場(chǎng)購(gòu)買力極限與技術(shù)極限的戰(zhàn)爭(zhēng)，也是支付寶新技術(shù)的最佳演練場(chǎng)。正如阿里巴巴董事局主席張勇說(shuō)的那樣，“過(guò)去11年我們從不回答預(yù)測(cè)雙11銷售額的問(wèn)題，我最關(guān)心的是，我們的技術(shù)每秒鐘能夠支撐多少筆訂單的處理。”
據(jù)天貓最新數(shù)據(jù)，2019天貓雙11交易峰值創(chuàng)下新紀(jì)錄，達(dá)到54.4萬(wàn)筆/秒，是2009年第一次雙11的1360倍，這一數(shù)字在2018年為48萬(wàn)筆/秒。
“我們抗住了！”阿里云官方微信號(hào)如此表示。
在度過(guò)2019天貓雙11流量峰值后，阿里巴巴正式宣布，其核心系統(tǒng)已100%跑在阿里云公共云上。由此，阿里巴巴成為全球首個(gè)將核心交易系統(tǒng)100%運(yùn)行在公共云上的大型互聯(lián)網(wǎng)公司。
站在11年前遙望今天，沒(méi)有幾個(gè)人曾料想到這一切能夠照進(jìn)現(xiàn)實(shí)。
阿里的“去IOE”革命
10月25日，阿里巴巴副總裁劉振飛發(fā)表了名為《十年磨一劍：從2009啟動(dòng)“去IOE”工程到2019年OceanBase拿下TPC-C世界第一》的文章，回顧了阿里巴巴“去IOE”的完整歷史。
據(jù)劉振飛回憶，十年前（2009年）的9月，他奉命組建當(dāng)時(shí)的淘寶技術(shù)保障部，隨即啟動(dòng)了2010年的技術(shù)預(yù)算工作。當(dāng)他第一次給時(shí)任集團(tuán)首席架構(gòu)師的王堅(jiān)博士匯報(bào)預(yù)算的時(shí)候，曾得意地說(shuō)到：“（淘寶）2010年不再購(gòu)買小型機(jī)”。
不料，這句話非但沒(méi)有取得王堅(jiān)的贊賞，反而被王博士狠狠批評(píng)了一頓：“既然2010年可以不再購(gòu)買小型機(jī)，為何還要給自己留下活口，2011年以后還可以買呢？加一個(gè)字：2010年起不再購(gòu)買小型機(jī)！”
由此，阿里啟動(dòng)了后面幾年備受爭(zhēng)議的“去IOE”工程。
所謂“去IOE”，是對(duì)去IBM、Oracle、EMC的簡(jiǎn)稱，三者均為海外IT巨頭，其中IBM代表硬件以及整體解決方案服務(wù)商，Oracle代表數(shù)據(jù)庫(kù)，EMC代表數(shù)據(jù)存儲(chǔ)。IOE 這個(gè)說(shuō)法最初來(lái)自阿里技術(shù)團(tuán)隊(duì)內(nèi)部的稱謂，然后才在整個(gè)業(yè)界流傳開(kāi)來(lái)，并且有了更加廣泛的含義——即對(duì)一些核心領(lǐng)域要求其IT系統(tǒng)及設(shè)備做到自主可控，比如金融、電信、能源等領(lǐng)域。在這些領(lǐng)域，“IOE”為代表的國(guó)外IT廠商占據(jù)絕對(duì)優(yōu)勢(shì)，其中尤以IBM大型服務(wù)器壟斷地位尤為明顯。
為了滿足王博士的要求，劉振飛只好“攢出”一條去IOE的技術(shù)路線：“低成本、線性可控、去中心化（分布式）：去IBM，PC Sever替代小型機(jī)；去Oracle，用MySQL替代；去EMC，用中低端存儲(chǔ)”。
他最后以驚嘆號(hào)結(jié)尾，粗體寫(xiě)上一句：“淘寶2010年起不再購(gòu)買小型機(jī)了！”第二年，劉振飛進(jìn)一步提出用MySQL+自研數(shù)據(jù)庫(kù)（OceanBase）替代Oracle，并不再使用高端存儲(chǔ)。
當(dāng)年阿里在搞“去IOE”的時(shí)候可能并沒(méi)有一定要讓中國(guó)在數(shù)據(jù)庫(kù)領(lǐng)域?qū)崿F(xiàn)自主可控的雄心，反而，這項(xiàng)策略一開(kāi)始頗有些迫于無(wú)奈的意味。
財(cái)新發(fā)表的一篇題為《以阿里云去IOE》的文章講述了其中的故事：從2006年和2007年開(kāi)始，業(yè)務(wù)快速增長(zhǎng)的阿里開(kāi)始面臨世界級(jí)難題——數(shù)據(jù)庫(kù)太大。2008年，阿里的數(shù)據(jù)庫(kù)已經(jīng)成為全亞洲最大的數(shù)據(jù)庫(kù)用戶。以當(dāng)時(shí)的技術(shù)能力，如此大的數(shù)據(jù)庫(kù)已經(jīng)幾乎不具備擴(kuò)展可能。
“我們把全中國(guó)最知名的頂尖的DBA（數(shù)據(jù)庫(kù)管理員）請(qǐng)到公司，一個(gè)晚上一張報(bào)表都做不出來(lái)，沒(méi)有任何一家公司包括IBM、微軟，能夠?yàn)槲覀兲峁┮徽椎募夹g(shù)服務(wù)。”阿里巴巴研發(fā)院業(yè)務(wù)發(fā)展專家孫黎明回憶道。
IOE架構(gòu)也無(wú)法滿足阿里電商平臺(tái)秒殺類營(yíng)銷推廣，“為了準(zhǔn)備一次秒殺營(yíng)銷，從社會(huì)采購(gòu)到安裝部署至少需要半年的時(shí)間，才能完成IT系統(tǒng)寬容量的過(guò)程，但半年以后，這項(xiàng)業(yè)務(wù)幾乎已經(jīng)不存在了。”
對(duì)于“雙十一”這樣的業(yè)務(wù)暴增時(shí)點(diǎn)，IOE架構(gòu)最讓人頭痛的則是需要估算交易量，到底需要多大的服務(wù)器和數(shù)據(jù)庫(kù)才能保證不宕機(jī)？一次性上馬太大服務(wù)器和數(shù)據(jù)庫(kù)等于浪費(fèi)，但若買小了又無(wú)法保證業(yè)務(wù)。
治標(biāo)的方法快要山窮水盡，必須要從治本的角度出發(fā)尋找新的解決方案，比如，從架構(gòu)層面“搞革命”，做單元化。
2010年5月，正祥加盟淘寶，由此拉開(kāi)了OceanBase的自主研發(fā)之路。站在十年后的今天回望過(guò)去，期間經(jīng)歷的種種磨難，遭遇的各種反對(duì)，忍受的諷刺挖苦，都已經(jīng)成了長(zhǎng)篇傳奇故事中的動(dòng)人細(xì)節(jié)。這十年間，有無(wú)數(shù)次可能讓OceanBase夭折，但OceanBase還是堅(jiān)持了下來(lái)：
2011.11 OceanBase第一次支持雙十一，服務(wù)淘寶收藏夾
2012.11 OceanBase轉(zhuǎn)戰(zhàn)支付寶
2014.11 OceanBase承擔(dān)支付寶交易10%流量
2015.11 OceanBase承擔(dān)支付寶交易100%、支付50%流量
2016.11 OceanBase承擔(dān)支付寶交易100%、支付100%、花唄賬務(wù)30%流量
2017.11 OceanBase承擔(dān)支付寶交易100%、支付100%、賬務(wù)100%流量，“去O”大功告成！并第一次走出阿里，應(yīng)用到南京銀行互聯(lián)網(wǎng)核心系統(tǒng)
2018.09 云棲大會(huì)發(fā)布了OceanBase 2.0，正式宣布兼容Oracle
2019.10 OceanBase發(fā)布Oracle兼容版本2.2，并公布TPC-C結(jié)果
OceanBase到底是如何做到的？
與傳統(tǒng)企業(yè)相比，以阿里為代表的互聯(lián)網(wǎng)企業(yè)最大的不同之一是并發(fā)訪問(wèn)量非常大。傳統(tǒng)商業(yè)企業(yè)、銀行，用戶需要通過(guò)收銀臺(tái)、銀行終端、ATM柜員機(jī)、POS機(jī)等專用設(shè)備開(kāi)展業(yè)務(wù)并訪問(wèn)數(shù)據(jù)庫(kù)，幾百和幾千的數(shù)據(jù)庫(kù)并發(fā)訪問(wèn)比較常見(jiàn)，幾萬(wàn)以上的并發(fā)訪問(wèn)相當(dāng)少見(jiàn)。在互聯(lián)網(wǎng)上，每一個(gè)草根網(wǎng)民都可以發(fā)起購(gòu)物交易并訪問(wèn)數(shù)據(jù)庫(kù)，幾十萬(wàn)的數(shù)據(jù)庫(kù)并發(fā)訪問(wèn)時(shí)?？梢?jiàn)，幾百萬(wàn)甚至千萬(wàn)的并發(fā)訪問(wèn)都可以見(jiàn)到（例如雙11下的淘寶、天貓和支付寶）。如此之大的并發(fā)訪問(wèn)下，商業(yè)數(shù)據(jù)庫(kù)軟件及其高可靠的數(shù)據(jù)庫(kù)服務(wù)器和共享存儲(chǔ)的成本成為了不可承擔(dān)之重。
所以就像上文中說(shuō)的那樣，傳統(tǒng)的數(shù)據(jù)庫(kù)架構(gòu)搞不定阿里的實(shí)際需求。那么，IBM、微軟等公司都做不到的事情，阿里自研的OceanBase是如何做到的呢？
螞蟻金服高級(jí)研究員陽(yáng)振坤曾在《揭秘阿里服務(wù)互聯(lián)網(wǎng)金融的關(guān)系數(shù)據(jù)庫(kù)——OceanBase》中詳細(xì)介紹了OceanBase背后用到的技術(shù)。
OceanBase的一個(gè)基本假設(shè)就是硬件(服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等)是不可靠的，另一個(gè)基本假設(shè)是單機(jī)(數(shù)據(jù)庫(kù)服務(wù)器及共享存儲(chǔ))無(wú)法滿足互聯(lián)網(wǎng)業(yè)務(wù)的需求。因此，OceanBase必須是一個(gè)多機(jī)(分布式)系統(tǒng)，并且必須保證任何時(shí)刻出現(xiàn)的少量硬件(服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等)異常不影響業(yè)務(wù)。
為此，OceanBase引入了Paxos協(xié)議，每一筆事務(wù)，主庫(kù)執(zhí)行完成后，要同步到半數(shù)以上庫(kù)(包括主庫(kù)自身)，例如3個(gè)庫(kù)中的2個(gè)庫(kù)，或者5個(gè)庫(kù)中的3個(gè)庫(kù)，事務(wù)才成功。這樣，少數(shù)庫(kù)(例如3個(gè)庫(kù)中的1個(gè)庫(kù)，或者5個(gè)庫(kù)中的2個(gè)庫(kù))異常后業(yè)務(wù)并不受影響：
與傳統(tǒng)數(shù)據(jù)庫(kù)相比，OceanBase的另外一個(gè)關(guān)鍵特征是軟件版本的灰度升級(jí)。
主備方式的傳統(tǒng)數(shù)據(jù)庫(kù)是“單活”的，只有主庫(kù)可執(zhí)行寫(xiě)事務(wù)，盡管維護(hù)升級(jí)時(shí)可以先操作備庫(kù)，操作完成后備庫(kù)變成主庫(kù)并且接受用戶訪問(wèn)是一步到位的，如果新版本有問(wèn)題，則業(yè)務(wù)受到影響：
傳統(tǒng)數(shù)據(jù)庫(kù)：升級(jí)前
傳統(tǒng)數(shù)據(jù)庫(kù)：升級(jí)中
傳統(tǒng)數(shù)據(jù)庫(kù)：升級(jí)后只能一次性地引入全部讀寫(xiě)流量
OceanBase則是“多活”設(shè)計(jì)，即多個(gè)庫(kù)（3個(gè)，5個(gè)等）每個(gè)都可以有部分讀寫(xiě)流量，升級(jí)時(shí)先把要升級(jí)的庫(kù)的讀寫(xiě)流量切走，升級(jí)后先進(jìn)行數(shù)據(jù)對(duì)比，正常后逐步引入讀寫(xiě)流量(白名單，1%，5%，10%......)，一切正常并運(yùn)行一段時(shí)間后再升級(jí)其他的庫(kù)：
OceanBase之3機(jī)群(3庫(kù))部署：升級(jí)前
OceanBase之3機(jī)群(3庫(kù))部署：切走讀寫(xiě)流量，準(zhǔn)備升級(jí)
OceanBase之3機(jī)群(3庫(kù))部署：升級(jí)一個(gè)機(jī)群(庫(kù))
OceanBase之3機(jī)群(3庫(kù))部署：升級(jí)一個(gè)機(jī)群(庫(kù))后切回部分讀寫(xiě)流量
OceanBase之3機(jī)群(3庫(kù))部署：升級(jí)一個(gè)機(jī)群(庫(kù))后切回全部讀寫(xiě)流量
基于硬件不可靠的假設(shè)并且能夠容忍少量服務(wù)器的故障，OceanBase使用了相對(duì)廉價(jià)的PC服務(wù)器代替高可靠服務(wù)器并且不再使用昂貴的共享存儲(chǔ)，從而不僅提供了比使用高可靠服務(wù)器和共享存儲(chǔ)低得多的成本，容忍少數(shù)服務(wù)器乃至少數(shù)機(jī)群故障意味著比傳統(tǒng)數(shù)據(jù)庫(kù)更高的可靠性。通過(guò)灰度升級(jí)，OceanBase避免了傳統(tǒng)數(shù)據(jù)庫(kù)的“一錘子買賣”的升級(jí)，極大地降低了數(shù)據(jù)庫(kù)維護(hù)升級(jí)的風(fēng)險(xiǎn)。
OceanBase“擊敗”甲骨文？
10月2日，70年大慶的假日期間，國(guó)際權(quán)威的性能測(cè)試機(jī)構(gòu)TPC(TransactionProcessing Performance Council，事務(wù)處理性能委員會(huì))發(fā)布了最新的TPC-C性能測(cè)試結(jié)果排名（TPC-C - All Results - Sortedby Performance Version 5 Results）。
在這個(gè)最新排名中，名列第一的是阿里巴巴螞蟻金服集團(tuán)提交并經(jīng)過(guò)TPC嚴(yán)格審計(jì)的測(cè)試結(jié)果。
一時(shí)之間，“中國(guó)自研數(shù)據(jù)庫(kù)超越Oracle登頂全球第一”成為了各大媒體的頭條！
然而，大家高興還沒(méi)多久，有不少業(yè)內(nèi)人士開(kāi)始出來(lái)“潑冷水”：按照性能的測(cè)試結(jié)果，螞蟻金服的確排名第一，從每分鐘能處理的事務(wù)數(shù)量來(lái)看，“螞蟻”的60,880,800 tpmC的確是“甲骨文”30,249,688 tpmC的兩倍。但值得注意的是，這份榜單中的測(cè)試結(jié)果有效期僅為3年，除了“螞蟻”意外，其他公司因?yàn)樘脹](méi)有參與測(cè)試，以前的測(cè)試結(jié)果統(tǒng)統(tǒng)過(guò)期了。
所有灰色背景的測(cè)試結(jié)果，由于軟硬件升級(jí)的原因而過(guò)期，只有“螞蟻”一行背景是白色
所以，我們只能說(shuō)——“螞蟻金服OceanBase現(xiàn)在的測(cè)試成績(jī)，達(dá)到了甲骨文Oracle數(shù)據(jù)庫(kù)在9年前測(cè)試成績(jī)的兩倍。”
但即便如此，OceanBase也依然值得贊賞。
過(guò)去，國(guó)產(chǎn)數(shù)據(jù)庫(kù)經(jīng)過(guò)了多年的發(fā)展，雖有很大長(zhǎng)進(jìn)，但一直被認(rèn)為三大基礎(chǔ)軟件中最薄弱的環(huán)節(jié)，始終無(wú)法取代以O(shè)racle為代表的等國(guó)外數(shù)據(jù)庫(kù)，也始終沒(méi)有在國(guó)際權(quán)威的測(cè)試中取得過(guò)一些亮眼的成績(jī)。因此，OceanBase參與了TPC-C測(cè)試，也是國(guó)產(chǎn)數(shù)據(jù)庫(kù)在國(guó)際競(jìng)技舞臺(tái)上的首次公開(kāi)比武。就憑這份參與的勇氣，以及要為此付出的努力和成本，就足以使OceanBase讓業(yè)界刮目相看。更何況OceanBase的測(cè)試結(jié)果表明，它至少已達(dá)到Oracle九年前的水平，這也已大大縮短國(guó)產(chǎn)數(shù)據(jù)庫(kù)與國(guó)際頂級(jí)水平的差距。
結(jié)語(yǔ)
這是第十一個(gè)雙11 ，也是馬云卸任之后的第一個(gè)雙11。
看到如此的好成績(jī)，曾經(jīng)“悔創(chuàng)阿里”已于今年9月卸任阿里巴巴集團(tuán)董事局主席職位馬云在看臺(tái)上笑得合不攏嘴。
吃吃吃、買買買，永遠(yuǎn)是能讓人心情變好的事物，用自己賺的錢在這樣一個(gè)節(jié)日里獎(jiǎng)勵(lì)一下自己，又有什么不可呢？
于是，你為今年的雙11貢獻(xiàn)了多少【偷笑】？