導(dǎo)讀：《紐約時(shí)報(bào)》網(wǎng)站今天刊載文章稱，“大數(shù)據(jù)時(shí)代”已經(jīng)降臨，在這一領(lǐng)域擁有專長(zhǎng)的人士正面臨許多機(jī)會(huì)。文章指出，“大數(shù)據(jù)”正在對(duì)每個(gè)領(lǐng)域都造成影響。舉例來說，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策行為將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗(yàn)和直覺；而在公共衛(wèi)生、經(jīng)濟(jì)發(fā)展和經(jīng)濟(jì)預(yù)測(cè)等領(lǐng)域中，“大數(shù)據(jù)”的預(yù)見能力也已經(jīng)嶄露頭角。以下是這篇文章的全文。
你在數(shù)字方面很拿手？數(shù)據(jù)令你感到著迷？那么你聽到的聲音是機(jī)會(huì)正在敲門。
作為一名剛剛畢業(yè)的耶魯大學(xué)MBA(工商管理碩士)，周默(音譯)在去年夏天被IBM搶聘，加入了該公司迅速增長(zhǎng)中的數(shù)據(jù)顧問團(tuán)隊(duì)。IBM數(shù)據(jù)顧問的職責(zé)是幫助企業(yè)弄明白數(shù)據(jù)爆炸背后的意義——網(wǎng)絡(luò)流量和社交網(wǎng)絡(luò)評(píng)論，以及監(jiān)控出貨量、供應(yīng)商和客戶的軟件和傳感器等——用來指導(dǎo)決策、削減成本和提高銷售額。“我一直都熱愛數(shù)字。”周默說道，她的崗位是數(shù)據(jù)分析師，與其所學(xué)的技能相符合。
為了開發(fā)數(shù)據(jù)洪流，美國(guó)將需要許多象她一樣的人。據(jù)顧問公司麥肯錫旗下研究部門麥肯錫全球?qū)W會(huì)(McKinsey Global Institute)去年發(fā)布的一份報(bào)告顯示，預(yù)計(jì)美國(guó)需要14萬名到19萬名擁有“深度分析”專長(zhǎng)的工作者，以及150萬名更加精通數(shù)據(jù)的經(jīng)理人，無論是已退休人士還是已受聘人士。
數(shù)據(jù)充斥所帶來的影響遠(yuǎn)遠(yuǎn)超出了企業(yè)界。舉例來說，賈斯汀-格里莫(Justin Grimmer)是新生代的政治科學(xué)家，他現(xiàn)年28歲，在斯坦福大學(xué)任助理教授。在大學(xué)生和研究生時(shí)期的研究報(bào)告中，他將數(shù)學(xué)與政治科學(xué)聯(lián)系起來，稱其看到了“一個(gè)機(jī)會(huì)，原因是紀(jì)律正日益變得數(shù)據(jù)密集化”。他研究的內(nèi)容涉及對(duì)博客文章、國(guó)會(huì)演講和新聞稿進(jìn)行計(jì)算機(jī)自動(dòng)化分析等，希望藉此洞察政治觀點(diǎn)是如何傳播的。
在科學(xué)和體育、廣告和公共衛(wèi)生等其他許多領(lǐng)域中，也有著類似的情況——也就是朝著數(shù)據(jù)驅(qū)動(dòng)型的發(fā)現(xiàn)和決策的方向發(fā)生轉(zhuǎn)變。哈佛大學(xué)量化社會(huì)科學(xué)學(xué)院(Institute for Quantitative Social Science)院長(zhǎng)加里-金(Gary King)稱：“這是一種革命，我們確實(shí)正在進(jìn)行這場(chǎng)革命，龐大的新數(shù)據(jù)來源所帶來的量化轉(zhuǎn)變將在學(xué)術(shù)界、企業(yè)界和政界中迅速蔓延開來。沒有哪個(gè)領(lǐng)域不會(huì)受到影響。”
歡迎來到“大數(shù)據(jù)時(shí)代”(Age of Big Data)。硅谷新貴們——最初是在谷歌(微博)，現(xiàn)在是在Facebook——都精通于駕馭網(wǎng)絡(luò)數(shù)據(jù)(網(wǎng)絡(luò)搜索、帖子和信息等)與互聯(lián)網(wǎng)廣告之間的關(guān)系。在上個(gè)月于瑞士達(dá)沃斯召開的世界經(jīng)濟(jì)論壇上，大數(shù)據(jù)是討論的主題之一。這個(gè)論壇上發(fā)布的一份題為《大數(shù)據(jù)，大影響》(Big Data, Big Impact)的報(bào)告宣稱，數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟(jì)資產(chǎn)類別，就像貨幣或黃金一樣。
“生命中的一天”(Day in the Life)系列攝影作品的創(chuàng)作人里克-斯莫蘭(Rick Smolan)正計(jì)劃在今年晚些時(shí)候推出一個(gè)新項(xiàng)目，這個(gè)名為“大數(shù)據(jù)的人類臉孔”(The Human Face of Big Data)的項(xiàng)目將記錄數(shù)據(jù)的采集和使用。斯莫蘭是一名狂熱分子，他認(rèn)為“大數(shù)據(jù)”有成為“人性儀表盤”的潛力，也就是一種能幫助人類與貧窮、犯罪和污染等現(xiàn)象展開斗爭(zhēng)的智能工具。而私人部門的倡導(dǎo)組織則持有悲觀的觀點(diǎn)，警告稱“大數(shù)據(jù)”與“獨(dú)裁者”(Big Brother)同出一轍，只是披上了企業(yè)的外衣。
什么是“大數(shù)據(jù)”？這當(dāng)然是一個(gè)帶有文化基因和營(yíng)銷理念的詞匯，但同時(shí)也反映了科技領(lǐng)域中正在發(fā)展中的趨勢(shì)，這種趨勢(shì)為理解這個(gè)世界和作出決策的新方法開啟了一扇大門。根據(jù)科技研究公司IDC作出的估測(cè)，數(shù)據(jù)一直都在以每年50%的速度增長(zhǎng)，換而言之，也就是每?jī)赡昃驮鲩L(zhǎng)一倍。這不是簡(jiǎn)單的數(shù)據(jù)增多的問題，而是全新的問題。舉例來說，在當(dāng)今全球范圍內(nèi)的工業(yè)設(shè)備、汽車、電子儀表和裝運(yùn)箱中，都有著無數(shù)的數(shù)字傳感器，這些傳感器能測(cè)量和交流位置、運(yùn)動(dòng)、震動(dòng)、溫度和濕度等數(shù)據(jù)，甚至還能測(cè)量空氣中的化學(xué)變化。
將這些交流傳感器與計(jì)算智能連接起來，那么你就會(huì)看到所謂的“物聯(lián)網(wǎng)”(Internet of Things)或“工業(yè)互聯(lián)網(wǎng)”(Industrial Internet)。在信息獲取的問題上取得進(jìn)步也是促進(jìn)“大數(shù)據(jù)”趨勢(shì)發(fā)展的原因之一。舉例來說，政府?dāng)?shù)據(jù)——聘用數(shù)據(jù)及其他信息——一直都在穩(wěn)步地向網(wǎng)絡(luò)轉(zhuǎn)移。在2009年中，美國(guó)政府通過啟動(dòng)Data.gov網(wǎng)站的方式進(jìn)一步開放了數(shù)據(jù)的大門，這個(gè)網(wǎng)站向公眾提供各種各樣的政府?dāng)?shù)據(jù)。
數(shù)據(jù)不僅僅是正在變得更加可用，同時(shí)也正在變得更加容易被計(jì)算機(jī)所理解。“大數(shù)據(jù)”發(fā)展趨勢(shì)中所增加的大部分?jǐn)?shù)據(jù)都是在自然環(huán)境下產(chǎn)生的，比如說網(wǎng)絡(luò)言論、圖片和視頻等不受控制的東西，以及來自于傳感器的數(shù)據(jù)等。這些是所謂的“非結(jié)構(gòu)化數(shù)據(jù)”，通常不能為傳統(tǒng)的數(shù)據(jù)庫所用。
但是，旨在從互聯(lián)網(wǎng)時(shí)代非結(jié)構(gòu)化數(shù)據(jù)的龐大“寶藏”中獲得知識(shí)和洞察力的計(jì)算機(jī)工具正在迅速發(fā)展中。在這種工具發(fā)展的最前沿是迅速取得進(jìn)步的人工智能(AI)技術(shù)，比如說自然語言處理、模式識(shí)別和機(jī)器學(xué)習(xí)等。
這些人工智能技術(shù)能應(yīng)用于許多領(lǐng)域。舉例來說，谷歌的搜索和廣告業(yè)務(wù)及其實(shí)驗(yàn)中的機(jī)器人汽車都利用了很多的人工智能技術(shù)。在加利福尼亞州的公路上，谷歌的機(jī)器人汽車已經(jīng)跑了數(shù)千英里的路。谷歌的這兩項(xiàng)業(yè)務(wù)都讓“大數(shù)據(jù)”時(shí)代的挑戰(zhàn)卻步，它們對(duì)數(shù)量龐大的數(shù)據(jù)進(jìn)行分析，并作出瞬時(shí)的決策。
反過來，大量的新數(shù)據(jù)也正在加快計(jì)算領(lǐng)域的進(jìn)步，這是“大數(shù)據(jù)”時(shí)代中的一個(gè)良性循環(huán)。舉例來說，機(jī)器學(xué)習(xí)算法能基于數(shù)據(jù)來進(jìn)行學(xué)習(xí)，數(shù)據(jù)越多機(jī)器就能學(xué)到越多。以蘋果在去年秋天推出的iPhohne手機(jī)Siri語音助理服務(wù)為例，這個(gè)應(yīng)用的源頭可回溯至五角大樓的一個(gè)研究項(xiàng)目，該項(xiàng)目隨后被分離出來，成為了一家硅谷創(chuàng)業(yè)公司。蘋果在2010年收購(gòu)了Siri，并繼續(xù)向其提供更多數(shù)據(jù)。時(shí)至今日，在人們提供成百上千萬條問題的環(huán)境下，Siri正在變成一種日益熟練的個(gè)人助理，能向用戶提供提醒服務(wù)、天氣預(yù)報(bào)、餐飲建議和對(duì)大量問題作出解答等服務(wù)。
麻省理工學(xué)院斯隆管理學(xué)院的經(jīng)濟(jì)學(xué)教授埃里克-布呂諾爾夫松(Erik Brynjolfsson)稱，如果想要理解“大數(shù)據(jù)”的潛在影響力，那么可以看看顯微鏡的例子。顯微鏡是在四個(gè)世紀(jì)以前發(fā)明的，能讓人們看到以前從來都無法看到的事物并對(duì)其進(jìn)行測(cè)量——在細(xì)胞的層面上。顯微鏡是測(cè)量領(lǐng)域中的一場(chǎng)革命。
呂諾爾夫松解釋稱，數(shù)據(jù)測(cè)量就相當(dāng)于是現(xiàn)代版的顯微鏡。舉個(gè)例子，谷歌搜索、Facebook帖子和Twitter消息使得對(duì)人們行為和情緒的細(xì)節(jié)化測(cè)量成為可能。
呂諾爾夫松進(jìn)一步指出，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策行為將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗(yàn)和直覺。“我們能開始變得遠(yuǎn)為科學(xué)化。”他這樣說道。
有很多的軼事證據(jù)表明，數(shù)據(jù)至上的思考方式將帶來很高的回報(bào)。其中，最著名的例子仍舊是邁克爾-劉易斯(Michael Lewis)在2003年出版的《點(diǎn)球成金》(Moneyball)一書，這本書記錄了低預(yù)算的奧克蘭運(yùn)動(dòng)家隊(duì)是如何利用經(jīng)過分析的數(shù)據(jù)和晦澀難解的棒球統(tǒng)計(jì)學(xué)來找到被評(píng)價(jià)過低的棒球手的。在布拉德-皮特(Brad Pitt)主演的電影版《點(diǎn)球成金》去年被搬上銀幕以前，深度的數(shù)據(jù)分析就不僅已經(jīng)成為棒球領(lǐng)域中的標(biāo)準(zhǔn)，而且在英國(guó)足球聯(lián)賽等其他體育項(xiàng)目中也是如此。
沃爾瑪(WMT)和Kohl’s等零售商也已經(jīng)開始對(duì)銷售額、定價(jià)以及經(jīng)濟(jì)學(xué)、人口統(tǒng)計(jì)學(xué)和天氣數(shù)據(jù)進(jìn)行分析，藉此在特定的連鎖店中選擇合適的上架產(chǎn)品，并基于這些分析來判定商品減價(jià)的時(shí)機(jī)。UPS等貨運(yùn)公司也正在對(duì)卡車交貨時(shí)間和交通模式等相關(guān)數(shù)據(jù)進(jìn)行分析，以此對(duì)其運(yùn)輸路線進(jìn)行微調(diào)。
Match.com等交友網(wǎng)站也經(jīng)常會(huì)仔細(xì)查看其網(wǎng)站上列出的個(gè)人特征、回應(yīng)和交流信息，用來改進(jìn)其算法，從而為想要約會(huì)的男女提供更好的配對(duì)。在全美范圍內(nèi)，以紐約市為首的警方部門也正在使用計(jì)算機(jī)化的地圖以及對(duì)歷史性逮捕模式、發(fā)薪日、體育項(xiàng)目、降雨天氣和假日等變量進(jìn)行分析，從而試圖對(duì)最可能發(fā)生罪案的“熱點(diǎn)”地區(qū)作出預(yù)測(cè)，并預(yù)先在這些地區(qū)部署警力。
呂諾爾夫松及其兩名同僚在去年發(fā)表研究報(bào)告稱，數(shù)據(jù)指導(dǎo)下的管理活動(dòng)正在美國(guó)企業(yè)界中蔓延開來，而且這種管理活動(dòng)正開始獲得回報(bào)。這三名學(xué)者對(duì)179家大型公司進(jìn)行了研究，發(fā)現(xiàn)那些采用“數(shù)據(jù)驅(qū)動(dòng)型決策”模式的公司能將其生產(chǎn)力提高5%到6%，這種生產(chǎn)力的提高是很難用其他因素來解釋的。
在公共衛(wèi)生、經(jīng)濟(jì)發(fā)展和經(jīng)濟(jì)預(yù)測(cè)等領(lǐng)域中，“大數(shù)據(jù)”的預(yù)見能力正在被開發(fā)中，而且已經(jīng)嶄露頭角。研究者發(fā)現(xiàn)，曾有一次他們發(fā)現(xiàn)“流感癥狀”和“流感治療”等詞匯在谷歌上的搜索查詢量增加；而在幾個(gè)星期以后，到某個(gè)地區(qū)醫(yī)院急診室就診的流感病人數(shù)量就有所增加(還需要指出的是，醫(yī)院急診室發(fā)布報(bào)告的時(shí)間通常要比病人就診的時(shí)間晚上兩個(gè)星期左右)。
聯(lián)合國(guó)(微博)已經(jīng)推出了名為“全球脈動(dòng)”(Global Pulse)的新項(xiàng)目，希望利用“大數(shù)據(jù)”來促進(jìn)全球經(jīng)濟(jì)發(fā)展。聯(lián)合國(guó)將進(jìn)行所謂的“情緒分析”，使用自然語言解密軟件來對(duì)社交網(wǎng)站和文本消息中的信息作出分析，用來幫助預(yù)測(cè)某個(gè)給定地區(qū)的失業(yè)率、支出削減或是疾病爆發(fā)等現(xiàn)象，其目標(biāo)在于利用數(shù)字化的早期預(yù)警信號(hào)來提前指導(dǎo)援助項(xiàng)目，以阻止某個(gè)地區(qū)重新陷入貧困等困境。
在經(jīng)濟(jì)預(yù)測(cè)領(lǐng)域中，已經(jīng)有研究表明，與不動(dòng)產(chǎn)經(jīng)濟(jì)學(xué)家所作出的預(yù)測(cè)相比，谷歌上住房相關(guān)搜索查詢量的增加或減少的趨勢(shì)能更加準(zhǔn)確地預(yù)測(cè)未來一個(gè)季度中的住房市場(chǎng)走勢(shì)。美聯(lián)儲(chǔ)及其他機(jī)構(gòu)已經(jīng)注意到這一點(diǎn)。在去年7月份，美國(guó)國(guó)家經(jīng)濟(jì)研究局(National Bureau of Economic Research)主持召開了一次研討會(huì)，此次會(huì)議所討論的內(nèi)容是“大數(shù)據(jù)時(shí)代的機(jī)會(huì)”及其對(duì)經(jīng)濟(jì)領(lǐng)域的影響。
“大數(shù)據(jù)”還已經(jīng)令針對(duì)社交網(wǎng)絡(luò)運(yùn)作方式的研究發(fā)生了變化。在20世紀(jì)60年代，哈佛大學(xué)的斯坦利-米爾格拉姆(Stanley Milgram)利用包裹作為研究媒介，進(jìn)行了一項(xiàng)與社交網(wǎng)絡(luò)相關(guān)的著名實(shí)驗(yàn)。他將包裹寄往美國(guó)中西部地區(qū)的志愿者，指導(dǎo)他們?nèi)绾螌鼛Ыo波士頓的陌生人，但不能直接交付；參與實(shí)驗(yàn)者如果想要通過郵寄方式來交付包裹，那么目標(biāo)對(duì)象就是能是他們認(rèn)識(shí)的人。結(jié)果表明，一個(gè)包裹換手的平均次數(shù)相當(dāng)之低，僅為6次左右。這是對(duì)所謂“小世界現(xiàn)象”的經(jīng)典闡釋，據(jù)此形成了“六度分隔”(six degrees of separation)的流行詞匯。
時(shí)至今日，社交網(wǎng)絡(luò)研究的內(nèi)容涉及如何采集龐大的數(shù)字化數(shù)據(jù)集合，用來闡釋網(wǎng)絡(luò)上的集體化行為。這種研究的結(jié)果表明，你認(rèn)識(shí)但不經(jīng)常聯(lián)系的人——在社會(huì)學(xué)中被稱為“微弱聯(lián)系”(weak ties)——是職務(wù)空缺小道消息的最佳來源，原因是與關(guān)系親密的朋友相比，這些人在略有不同的社交世界中穿行，因此能看到你和你最好的朋友們所無法看到的機(jī)會(huì)。
在有關(guān)某個(gè)主題的交流中，研究學(xué)者們還能看到其影響模式和高峰——舉例來說，可以通過追蹤Twitter上的趨勢(shì)標(biāo)簽的方式來達(dá)成這個(gè)目標(biāo)。對(duì)于數(shù)量龐大的用戶人群來說，Twitter這個(gè)在線“玻璃魚缸”是透視其實(shí)時(shí)行為的窗口�？的螤柎髮W(xué)教授喬恩-克倫伯格(Jon Kleinberg)稱：“我尋找的是數(shù)據(jù)中的‘熱點(diǎn)’，這是我需要理解的一種活動(dòng)爆發(fā)的現(xiàn)象。只有通過‘大數(shù)據(jù)’，你才能做到這一點(diǎn)。”
毫無疑問，“大數(shù)據(jù)”本身也存在一些風(fēng)險(xiǎn)。統(tǒng)計(jì)學(xué)家和計(jì)算機(jī)科學(xué)家指出，“大數(shù)據(jù)”的集合和高密度的測(cè)量將令“錯(cuò)誤發(fā)現(xiàn)”的風(fēng)險(xiǎn)增長(zhǎng)。斯坦福大學(xué)的統(tǒng)計(jì)學(xué)教授特來沃爾-哈斯迪(Trevor Hastie)稱，如果想要在龐大的數(shù)據(jù)“干草垛”中找到一根有意義的“針”，那么所將面臨的問題就是“許多稻草看起來就像是針一樣”。
此外，對(duì)于統(tǒng)計(jì)學(xué)惡作劇和有偏見的實(shí)情調(diào)查活動(dòng)而言，“大數(shù)據(jù)”也提供了更多的原材料。“大數(shù)據(jù)”為一個(gè)老把戲提供了高科技的手段，那就是——我知道事實(shí)，現(xiàn)在讓我們來找到事實(shí)吧。喬治梅森大學(xué)的數(shù)學(xué)家瑞貝卡-高爾丁(Rebecca Goldin)稱，這是“最有害的數(shù)據(jù)使用方式之一”。
數(shù)據(jù)已被計(jì)算機(jī)和數(shù)學(xué)模型所馴服和理解，這些模型就像是文學(xué)中的隱喻修辭，也就是一種簡(jiǎn)化后的解釋方式。對(duì)于理解數(shù)據(jù)而言，這些模式是有用的，但它們也存在局限性。私人部門的倡導(dǎo)組織發(fā)出警告稱，一個(gè)基于網(wǎng)絡(luò)搜索的模式可能會(huì)發(fā)現(xiàn)一種相關(guān)性，從而作出不公平或是帶有歧視性的統(tǒng)計(jì)推斷，對(duì)產(chǎn)品、銀行貸款和養(yǎng)老基金提供的醫(yī)療保險(xiǎn)造成影響。
雖然面臨著這種警告，但“大數(shù)據(jù)”時(shí)代的降臨看起來已是無可逆轉(zhuǎn)。數(shù)據(jù)已經(jīng)坐到了駕駛員的位置上，它就在那里，有用而且寶貴，甚至還很時(shí)尚。
資深數(shù)據(jù)分析師稱，長(zhǎng)期以來，朋友們一談到他們的工作就會(huì)變得厭煩，但現(xiàn)在突然變得好奇起來。這些分析師們認(rèn)為，《點(diǎn)球成金》是促成這一變化的原因之一，但實(shí)際原因遠(yuǎn)非如此簡(jiǎn)單。哥倫比亞大學(xué)統(tǒng)計(jì)學(xué)家兼政治科學(xué)家安德魯-格爾曼(Andrew Gelman)稱：“文化已經(jīng)發(fā)生了改變�，F(xiàn)在人們的想法是，數(shù)字和統(tǒng)計(jì)學(xué)是有趣的，是一種很酷的東西。”
