透視美國大數據爆發全景
來源:互聯網周刊 更新時間:2014-01-13

 【摘要】放眼望去,大數據時代已經撼動了美國社會的方方面面,從商業科技到醫療、政府、教育、經濟、人文以及社會的其他各個領域,并催生了了各行各業的變革力量。
  大數據在美國已經發展到如火如荼的地步。政府部門、IT企業、零售、醫療等傳統行業以及互聯網、軟硬件公司將大數據能夠帶來的方方面面都展示在人們面前——盡管這些在美國還被認為是“初級階段”——放眼望去,大數據時代已經撼動了美國社會的方方面面,從商業科技到醫療、政府、教育、經濟、人文以及社會的其他各個領域。

  因為其背后的沿承和爆發的背景如此重要,目前科技界和學術界的人士甚至預測,大數據作為一項技術和理念本身,很有可能避免成為一下硅谷臭名昭著的“技術成熟度曲線”的受害者。這個曲線曾經昭示,一個新技術誕生后,經過新聞媒體和學術會議的大肆宣傳,該趨勢將一下子跌到谷底,許多創業公司變得岌岌可危,直到發展到一定階段再重新爆發——這個曲線云計算曾經且正在經歷,但大數據很有可能“幸免”。

  一個說得通的原因是,在目前的美國,“大數據”的概念遠不止大量的數據(TB)和處理大量數據的技術,或者所謂的“4個V”之類的簡單概念,而是涵蓋了人們在大規模數據的基礎上可以做到的事情,而這些事情在小規模數據的基礎上是無法實現的。

  所以變革將無法避免。而對大數據的掌握程度可以轉化為經濟價值的來源。

  《大數據時代》一書的作者,維克托·邁爾·舍恩伯格上月底來到中國時,向一眾業內和媒體人士著重介紹了其對大數據時代可能產生的價值變革的判斷依據和論斷結果。在回答記者的現場提問時,維克托表示,我們現在討論的商業公司的形式是前大數據時代的模式,那么在大數據時代,從現有的模式中找模式是非常有問題的。我們要用新思維來衡量一切,包括新的企業模式,企業間關系以及社會、政府、商業等的關系。

  大數據的科學價值和社會價值正是體現在這里。

  被改變的政治與政府

  一個略有被媒體夸大但基本屬實的案例是,奧巴馬今年成功連任美國總統,其背后那個幾十人構成的數據分析與挖掘團隊至關重要。

  這支團隊在2008年奧巴馬競選時就已存在并發揮作用。而這次,他們更動用了5倍于上屆的人員規模,且進行了更大規模與深入的數據挖掘。它幫助奧巴馬在獲取有效選民、投放廣告、募集資金方面起到一定作用。事實證明,奧巴馬募集到的資金盡管與對手羅姆尼募集的資金規模不相上下,但前者從普通民眾直接募集到的資金是后者的近兩倍。據一項調查顯示,奧巴馬團隊籌得的第一個1億美金中,98% 來自于小于250美金的小額捐款,而羅姆尼團隊在籌得相同數額捐款的情況下,這一比例僅為31%。

  以競選工作組發言人Ben LaBolt的話來形容:奧巴馬團隊擁有“核代碼”——數據是能夠擊敗羅姆尼的最根本優勢。更“極端”的說法是,奧巴馬勝選的原因不在于經濟、外交政策或是婦女問題,而是贏在大數據!

  當然,這個說法難免牽強,但仍可以看做美國政治或者說政界人士受到科技的影響越來越大——據《大數據:正在到來的數據革命》一書作者徐子沛在不久前的一次沙龍上透露,目前美國許多政界人士都十分重視社交網絡,并期冀通過數據挖掘和數據分析從中獲益。而數據創新給公民、政府、社會帶來的種種挑戰和變革,已經深入人心。

  但社交媒體分析,僅僅是大數據“冰山一角”的部分。

  在目前已被認可的范疇中,大數據的價值鏈中,數據本身、技能以及思維三個層面是核心競爭領域,社交媒體分析可以看做是數據分析技能層面的細分領域,也是傳統數據挖掘范疇下的新變種。

  在數據領域占據領先地位的美國,已經在這三個層面都取得了長足發展,其中,政府層面的變化極為明顯,甚至將數據價值提升到了國家戰略層面——2012年3月,奧巴馬政府宣布 “大數據的研究和發展計劃。”白宮聲明公開稱:“通過提高我們從大型復雜的數字數據集中提取知識和觀點的能力,承諾幫助加快在科學與工程中的步伐,加強國家安全,并改變教學研究。”

  在這個計劃里,美國國家科學基金、國家衛生研究院、能源部、國防部、國防部高級研究計劃局、地質勘探局等6個聯邦政府部門,宣布將啟動2億美元的投資計劃,提高從大量數字數據中訪問、組織、收集發現信息的工具和技術水平,從而了解更多正在進行的聯邦政府的計劃,解決所大數據所帶來的機遇和挑戰,并計劃與工業界、大學研究界、非營利性機構與管理者一起利用大數據所創造的機會。

  其中,美國國家衛生研究院開展的免費開放由國際千人基因組計劃,它將創建的人類遺傳變異研究數據集,供研究人員自由訪問和使用;美國國家科學基金會和美國國家衛生研究院將對大數據進行聯合招標,改進核心科學與技術手段,提高從各種大型數據集中提取重要信息并對其進行有效管理、分析和可視化的能力;美國國防部則計劃每年投資2.5億美元左右,在各個軍事部門開展一系列研究計劃,旨在以創新方式使用海量數據,通過感知、認知和決策支持的結合,加強大數據決策力;美國能源部則將斥資2500萬美元建立可擴展數據管理與可視化研究所(SDAV),幫助科學家對數據進行有效管理,促進其生物和環境研究計劃、美國核數據計劃等的研究成果……

  而作為奧巴馬開放政府承諾的產物,2009年至今Data.gov全面開放了40萬聯邦政府原始數據集。日前Data.gov宣布采用新“開源政府平臺”管理數據,代碼將向各國開發者開放。從這個角度看,大數據已成為美國國家創新戰略、國家安全戰略、國家ICT產業發展戰略以及國家信息網絡安全戰略的交叉領域、核心領域。

  當然從現在來看,說大數據改變美國政治或政府的確有些夸張,但從另一層面看,美國政府的開放性數據服務轉型正走在世界前列。

  被變革的行業與產業

  大數據價值本身的被認知與被挖掘,建立在一個前提下——數據化。我們不能將數據化等同為數字化,后者不過是將模擬數據轉換為二進制碼方便計算機存儲和分析,而前者則是把日常生活、生產、商業等方方面面的現象轉化為可制表分析的量化形式的過程。

  正是這個過程,形成了各行各業的變革力量——因為這是大數據時代所獨有的一種新型能力:以一種前所未有的方式,通過對海量數據進行分析,獲得有巨大價值的產品和服務,或深刻的洞見。

  中科院計算所所長孫凝暉對此表示,“大數據在未來很可能會成為一個新的行業,而且大數據本身也超越了互聯網行業,不僅僅是在網絡,生物基因本身也是大數據,各個物種的基因數據產生以后也會產生很多的學術價值、商業價值。”這種說法并非沒有依據。

  從美國市場上已經發生的案例來看,互聯網行業、商業智能與咨詢服務領域、零售行業受益最大,但醫療、衛生、交通、物流甚至生物科技、天文等領域,都開始“承認”大數據的價值。事實上在美國各個行業和應用領域,大數據的應用已經遍地開花。

  互聯網行業,雅虎于 2008 年初便開始啟用大數據技術,每天分析超過 200PB 的數據,使得雅虎的服務變得更人性化,更貼近用戶和客戶。它與雅虎 IT 系統的方方面面進行協作,包括搜索、廣告、用戶體驗和欺詐發現等;為了更深入的了解每一個用戶,亞馬遜不僅從每個用戶的購買行為中獲得信息,還將每個用戶在其網站上的所有行為都記錄下來,這些數據的有效分析使得亞馬遜對于客戶的購買行為和喜好有了全方位了解,對于其貨品種類、庫存、倉儲、物流、及廣告業務上都有著極大的效益回饋。

  醫療衛生領域的應用也正在爆發——喬布斯通過大數據輔助癌癥治療,通過智能手機上的應用程序來監測病人的身體顫動,甚至如丹麥癌癥協會通過大數據來研究手機使用是否致癌,還有微軟這樣的公司來分析病患的再入住率等。最著名的案例來自谷歌——在2009年,甲型H1N1流感爆發的幾周前,互聯網巨頭谷歌公司的工程師們在《自然》雜志上發表了一篇引人注目的論文。它令公共衛生官員們和計算機科學家們感到震驚——文中表示,和疾控中心一樣,谷歌也能判斷出流感是從哪里傳播出來的,而且他們的判斷非常及時,不會像疾控中心一樣要在流感爆發一兩周之后才可以做到。谷歌公司發現能夠通過人們在網上檢索的詞條辨別出其是否感染了流感后,把5 000萬條美國人最頻繁檢索的詞條和美國疾控中心在2003年至2008年間季節性流感傳播時期的數據進行了比較。而通過一個數學模型處理后,他們的預測與官方數據的相關性高達97%。所以,2009年甲型H1N1流感爆發的時候,與習慣性滯后的官方數據相比,谷歌成為了一個更有效、更及時的指示標。公共衛生機構的官員獲得了非常有價值的數據信息。

  不得不提的還有零售行業。實際上,諸如沃爾瑪、Tesco(英國零售巨頭)等巨頭已從數據中獲得了巨大的利益,也因此鞏固了自己在業界的長盛不衰。以曾經因“少女懷孕事件”而成為大數據典型案例的Tesco公司為例,這家全球利潤第二大的零售商從其會員卡的用戶購買記錄中,充分了解一個用戶是什么“類別”的客人,如速食者、單身、有上學孩子的家庭等等,并基于這些分類進行一系列的業務活動,比如,通過郵件或信件寄給用戶的促銷可以變得十分個性化,店內的上架商品及促銷也可以根據周圍人群的喜好、消費的時段來更加有針對性,從而提高貨品的流通。這樣的做法為 Tesco 獲得了豐厚的回報,僅在市場宣傳一項,就能幫助 Tesco 每年節省 3.5 億英鎊的費用。

  此外在能源行業,SaaS型軟件公司Opower 使用數據來提高消費用電的能效,并取得了顯著的成功——Opower 與多家電力公司合作,分析美國家庭用電費用并將之與周圍的鄰居用電情況進行對比,被服務的家庭每個月都會收到一份對比的報告,顯示自家用電在整個區域或全美類似家庭所處水平,以鼓勵節約用電。據報道,Opower 的服務已覆蓋了美國幾百萬戶居民家庭,預計為美國消費用電每年節省 5 億美元。

  最值得一提的是生物信息行業。生物信息是繼互聯網行業之后數據迸發最迅速的行業,并將遠遠超過互聯網產生的數據:人類用 0 和 1 創造了虛擬世界,而造物主用 A/C/T/G 四種元素創造了萬物生靈,生命的產生、發展、消亡的奧秘盡在其中。隨著測序技術的發展,全基因組的測序價格由十年前的上億美元降至今天的數千美元,這使得更多人、物種的 DNA信息的獲取成為可能。個體全基因組信息的獲取,使得個性化診療服務成為可能。大數據時代,一切的一切都存在著可能,而這一切的改變我們也正在體驗之中。

  被重塑的價值與思維

  事實上,自20世紀末以來,信息變革一直在發生,但此前都集中在技術上,而大數據時代的到了讓我們開始關注信息本身。

  數據一貫被我們冠以“精確”的標簽,但維克托·邁爾·舍恩伯格認為,“執迷于精確性是信息缺乏時代和模擬時代的產物,只有5%的數據時有框架且能適用于傳統數據庫的。如果不接受模糊,那么95%的非框架數據都無法被利用,只有接受不精確性,我們才能打開一扇從未涉足的世界的窗戶。”

  換句話說,全樣本時代的大數據的簡單算法,比小數據的復雜算法更有效。Google的翻譯系統備受好評,但它不需要像IBM曾重金打造的Candide系統一樣精確的翻譯300萬句話,而是靠掌握的不同語言翻譯的質量參差不齊的數百億頁文檔——它把語言看做是可以判別可能性的數據,而不是語言本身。這個例子意味著,我們不再需要擔心某個數據點對整套分析的不利影響,而是要接受這些紛繁的數據并從中收益,而不是以高昂的代價消除所有的不確定性。

  大數據的科學價值和社會價值正是體現在這里。一方面,對大數據的掌握程度可以轉化為經濟價值的來源。不過一個問題是,另一方面,大數據時代已經撼動了世界的方方面面,從商業科技到醫療、政府、教育、經濟、人文以及社會的其他各個領域——最簡單的,亞馬遜可以幫我們推薦想要的書,谷歌可以為關聯網站排序,facebook知道我們的喜好,而 LinkedIn可以猜出我們認識誰。當然,同樣的技術也可以運用到疾病診斷、推薦治療措施,甚至是識別潛在犯罪分子上。

  一個更美好的比喻是:“如果說20世紀是一個石油為王的時代,21世紀就是一個數據為王的時代,21世紀數據的價值有可能等同于20世紀的石油。”值得注意的是,目前互聯網為主的技術和服務能力對大數據的處理和挖掘還遠遠不夠,未來會有更多的有價值的數據從海量的大數據里發掘出來,產生很多新的商業形態、新的企業和新的服務。

  但大數據的變革力量還不止于此——最核心的論題是,大數據只提供參考答案,不是最終答案。因為它放棄了對因果關系的渴求,而只關注相關關系——只需要知道是什么,而不需知道為什么——這徹底推翻了自古以來的慣例,所以我們理解現實和做決定的基礎也將受到根本性挑戰。在這種情況下,大數據將與互聯網的發明一樣,這絕不僅僅是信息技術領域的革命,更是在全球范圍啟動透明政府、加速行業企業創新、引領社會變革的利器。

  從這個角度出發,技術革新之外,思維模式的革新和管理變革不可避免,數據驅動型的企業和政府正在變得可能。

  透視美國大數據爆發全景,一場生活、工作與思維的大變革正在發生。



铁牛视频app下载苹果-铁牛视频app下载地址-铁牛视频app破解版ios