解讀《大數據時代》:復雜世界的數據觀
來源:創事記網 更新時間:2014-02-17

   《大數據時代》給出的大數據時代的第二個特征,是“不是精準性,而是混雜性”。這是一個相當難以理解的分割方式。雖然看一個個的案例,讀者似乎明白了,可是放下書,卻又疑上心頭:為什么大數據時代不要精準性?精準性與混雜性之間有必然的對立關系嗎?
  如果說第一個特征中的“隨機樣本”和“全體數據”(記得實際是數據庫的概念)的概念我們還能夠從邁爾大叔的敘述中得以澄清,這里的“精準性”和“混雜性”就要認真考證了。
  何為精準性?
  邁爾大叔有關精準性的論斷,應該是對小數據時代數據匱乏的藐視:你們這幫屌絲,撅著屁股撿鋼镚,俺們土豪100元從來都不要找零的!小數據時代數據少啊,每個數據都當個寶,斤斤計較數據的精度。
  “執迷于精確性是信息缺乏時代和模擬時代的產物。在那個信息貧乏的時代,任意一個數據點的測量情況都對結果至關重要。所以,我們需要確保每個數據的精確性,才不會導致分析結果的偏差。”
  我們來看看邁爾大叔提供的有關精準度的案列,后面討論用得著。
  1)量子力學的”測不準“原理;(測不準即不精準,可這和大數據時代哪是哪兒呀?)
  2)橋梁壓力檢測數字增加1000倍,錯誤率也會增加;(懷疑“錯誤率”是“錯誤數”的表達錯誤。錯誤率是錯誤的比例嗎?如果錯誤率隨著數據數量的增加而增加,那大數據還會準確嗎?或許我真的被大數據時代OUT了。)
  3)語音識別呼叫中心投訴的錯誤;(終于能夠理解一個案例了!)
  4)葡萄園N個溫度計測量溫度;(這是通過統計增強精準度。)
  5)Forrester認為“有時得到2加2約等于3.9的結果,也很不錯了。”(沒有背景資料,不敢妄加判斷。不過總覺得心懸懸的,你是否擔心生活在一個“2加2可以約等于3.9”的社會里呢?)
  6)微軟研究中心尋求改進Word程序中語法檢查的方法;(這是利用大數據來改進分析的精準性!)
  7)BP煉油廠無線感應器網絡數據;(又是一個大數據降低統計誤差的案例。)
  8)Facebook上的“4000個贊”和Gmail“2小時”計時;(神一般的大數據及其不精準性說明。)
  9)Hadoop與Visa的算法。(這是一個如何犧牲分析結果的精準性以縮短所需分析時間的案例。回到邁爾大叔有關大數據時代的第一個特征,即使有了全體數據,必要時也要犧牲部分數據而爭取時間。)
  到此,可能能夠理解為什么讀這一小節這么困難了:邁爾大叔想告訴我們精準性不重要,可是他舉的例子,卻實在是有點“曖昧”不清。他究竟是想說數據的精準性還是數據分析結果的精準性呢?
  何為混雜性?
  “不是精準性,而是混雜性”。與混雜性所對立的精準性,原來不是邁爾大叔在描述精準性時以“2+2可以約等于3.9”時告訴我們的那個數據分析結果的精準性,而是數據的精準性。
  “執迷于精確性是信息缺乏時代和模擬時代的產物。只有5%的數據是結構化且能適用于傳統數據庫的。如果不接受混亂,剩下95%的非結構化數據都無法被利用,只有接受不精確性,我們才能打開一扇從未涉足的世界的窗戶。”
  我們看到,在談到大數據時代的混雜性時,邁爾大叔基本上都在談論數據的混雜性(而不是數據的不精準性)。我們來看看混雜性的案例:1)對IBM稱呼的混雜;2)谷歌翻譯語料庫;3)MIT研究項目;4)Flicker圖片標簽;5)新的數據庫設計;6)ZestFinance。
  說實在話,有關大數據時代混雜性的問題,因為有了前面對精準性的描述,一下子還真是被邁爾大叔給蒙住了,反復讀了數遍,才理解。原來邁爾大叔所說的混雜性,是指數據格式的不統一。上面6個案例中,除ZestFinance外,基本上是講數據格式的不統一或者數據來源紛雜。這的確是我們這個時代數據的特征。恭喜邁爾大叔終于說對了!
  而ZestFinance則是指在數據不完整或者數據有錯誤的情況下如何處理數據的問題,這和大數據似乎沒有太大的關系,與數據的混雜性也沒關系。不過我們在此回憶一下,似乎除了隨機樣本問題外,邁爾大叔幾乎不談數據統計的技術細節。比如說,ZestFinance是如何處理數據缺失以及數據錯誤的呢?我真的很好奇。
  精準性與混雜性的辯證
  一般來說,“不是....。.而是....。.”的語句,應該是指同一事物的不同狀態。比如“不是晴天而是下雨”,或者“不是田埂而是小溪”。如果你來一句“不是晴天而是小溪”,就顯得難以理解了。
  就統計學角度來看,數據的精準性是一回事,數據的不同格式(混雜性)是另一回事。格式混雜的數據,通過處理或許是能夠精準的。
  格式混雜的對立面是數據格式的統一。格式統一的數據或許可能也是不精準的。比如說邁爾大叔所列舉的葡萄園測量溫度以及BP煉油廠的感應數據。
  另一方面,就精準性而言,數據的精準與數據分析結果的精準也是兩個不同的概念。比如說,“2+2約等于3.9”是數據分析結果的不精準,而葡萄園溫度測量和BP煉油廠的無線感應器網絡數據的例子,則是指數據不精準但是因為數據多而克服了少量數據不精準的缺陷而使數據分析結果比較精準。
  數據格式的混雜與統一,數據的精準與數據分析結果的精準,邁爾大叔都胡子眉毛一把抓了。
  怎么理解大數據時代是十分重要的。大數據時代的特征是“一切皆為數據”,那么數據來源的多樣性以及數據格式的混雜性確實成為一個大數據時代顯著的特征。但是,這個特征的對立面,可能更應該是數據來源以及數據格式的單一性。
  數據的混雜性需要更成熟的分析手段來分析,分析的結果也可能不像我們傳統的那樣丁是丁卯是卯。但這些應該是數據分析師的工作,而不是我們這樣的屌絲們所需掌握的本領。
  或許,我們可能更應該從屌絲的角度來歸納大數據時代的特征。



铁牛视频app下载苹果-铁牛视频app下载地址-铁牛视频app破解版ios