- 相關推薦
《大數據時代》讀后感心得2000字以上
凡是過去,皆為序曲是大數據業者最喜歡引用的語句。大數據是現在的潮流,《大數據時代》被認為是了解大數據的初級讀物。近期連續讀了兩遍,第二遍是為了寫這篇讀后感,總體而言,值得一看,但細節方面卻需要討論了。
維基百科對大數據的解釋:Big data,或稱巨量數據、海量數據、大資料,指的是所涉及的數據量規模巨大到無法通過人工,在合理時間內達到截取、管理、處理、并整理成為人類所能解讀的信息。
有人說現在是讀圖時代,除去小說、心靈雞湯以外,現在的暢銷書基本都有圖片,這本書是一個特例(書里唯一的圖是出品方湛廬文化做的)
首先嘗試解析一下作者的三大觀點,這三大觀點是大數據業者很喜歡引用的三句話:
1 不是隨機樣本,而是全體數據
我想所有人都能意識到對全體數據的分析優于對隨機樣本的分析,但在現實中我們經常拿不到全體數據:一是對象的特性:比如炸彈的威力,你不可能把所有炸彈都炸掉來得到全體數據;二是數據的收集方法,每一種方法都有適用的范圍,不太可能包羅萬象;三是數據分析的角度,戰斗機只能統計到飛回來的飛機上的彈孔,而墜毀的則無法統計,沃德通過分析飛回來的戰斗機得出來最易導致墜毀的薄弱點;四是處理能力跟不上,就像以前的天氣預報太離譜是因為來不及算那些數據。“采樣分析是信息缺乏時代和信息流通受限制的模擬數據時代的產物”,作者顯然只關注了一部分原因。
從語言的理解上看,什么是全體數據,究竟是“我們需要的所有數據”,還是“我們能收集到的所有數據”,書中的很多商業案例中,處理的只是“我們能收集到的所有數據”,或者說是“我們認為的全體數據”。人對自然的認識總是有限的,存在主義認為世界沒有終極的目標。書中舉例“Farecast使用了每一條航線整整一年的價格數據來進行預測”,而“整整一年”就是一個采樣,或者是“我們需要的所有數據”。
從歷史的角度看,國外的托勒密建亞歷山大圖書館唯一的目的是“收集全世界的書”,實現“世界知識總匯”的夢想,國內的乾隆匯編四庫全書,每個收集的過程都有主觀因素在里面,而他們當時都認為可以收集全部的書籍,到最后,我們也沒有得到那個夢中的全體。
2 不是精確性,而是混雜性
既然我們過去總是在抽樣,那本身就是在一個置信水平下,有明確的容錯度或者是偏差值。人類永遠知道我們是在精確性受限的條件下工作。同時,作者本身也承認 “錯誤并不是大數據固有的特性,而是一個亟需我們去處理的現實問題,并且有可能長期存在”。那大數據的特征究竟是精確性還是混雜性?
由此衍生出一個問題,大數據的品質如何控制:一、本身就不要求精確,但是不精確到何種程度是需要定義的,否則就亂套了,換個角度,如果定義了容錯度,那符合條件的都是精確的(或者說我這句話還是停留在小數據時代?這里的邏輯我沒有理順)。就像品質管理大師克勞斯比提出過零缺陷理論,我一直覺得是一個偽命題,缺陷是一定存在的,就看如何界定了;二、大量非結構化數據的處理,譬如說對新聞的量化、情感的分析,目前對非SQL的應用還有巨大的進步空間。
“一個東西要出故障,不會是瞬間的,而是慢慢地出問題的”。“通過找出一個關聯物并監控它,我們就能預測未來”。這句話當然是很認同,但不意味著我們可以放棄精確性,只是說我們需要重新定義精確度。之于項目管理行業,如果一個項目出了嚴重的問題,我們相信,肯定是很多因素和過程環節中出了問題,我們也失去了很多次挽救的機會。而我們一味的容忍混雜性的話,結果顯然是不能接受的。
3 不是因果關系,而是相關關系
這是本書對大數據理論的最大的貢獻,也是最受爭議的地方。連譯者都有點看不下去了。
相關關系我實在是太熟了,打小就學的算命就是典型的“不是因果關系,而是相關關系”。算命其實是對趨向性的總結,在給定條件下,告訴你需要遠離什么,接近什么,但不會告訴你為什么那樣做。
我們很多時候都在說科學,然而,什么是科學,沒有人能講清楚。我對科學的認識是:一、有一個明確的范圍;二、在這個范圍內樹立一個強制正確的公理;三、有明確的推演過程;四 可以復制。科學的霸道體現在把一切不符合這四個條件的事物都斥為偽科學、封建迷信,而把自己的錯誤都用不符合前兩條來否決。從這個定義來看,大數據不符合科學。
混沌學理論中的蝴蝶效應主要關注相關關系。它是指對初始條件敏感性的一種依賴現象,輸入端微小的差別會迅速放大到輸出端,但能輸出什么,誰也不知道。
人類一旦放棄了對因果關系的追求,也就放棄了自身最優秀的品質:意志力。很多人不愿意相信算命是擔心一旦知道了命運,就無法再去奮斗。即使我相信算命,也在探求相關關系中的因果要素。我放棄第一份工作的原因之一是厭倦了如此確定的明天:一個任務發出去,大概能預測到哪些環節會出問題,只要不去 follow,這些環節十有八九會出問題。
解析完這三大觀點,下面是我對大數據理論的一些疑惑。大數據是目前風行的反饋經濟中的重要一環,在金融、互聯網行業的應用最為廣泛,而這些行業都是大家所認為的高薪領域。很多時候我就在想,所謂無形的手所產生的趨勢究竟是不是無形的。比如幾家公司強推一個概念,說這是趨勢,不久就真的變成趨勢了。我們身邊活生生的例子就是天貓的雙十一和京東的618,一個巨頭開路,無數人跟風,自然就生造出購物節,至于合理不合理,追究的意義也不大,因為很多事情是沒有可比性的。這和沒有強制控制中心的蜂群思維又不一樣。
1 數據獨裁。個人意志將受制于集體意志,個人的自由在哪里?用大數據預測來懲罰人的行為又確定的違反了無罪推定的原理。
2 所有數據都來源于過去,大數據分析出來的確定性結果是否意味著我們在重復過去?拉普拉斯的決定論已經被認為是錯誤的,愛因斯坦也說過“上帝不會跟宇宙玩骰子”,但霍金不同意這句話。
3 在金融市場中,每個相關性都有對應的利潤空間。如果大家都基于同樣的數據(假設我們必須用全體數據,那全體數據顯然是一樣的),最優秀的數據算法師會得出同樣的結果,市場也會反應得非常高效,導致相關性套利空間的減少和消失。歷次金融市場的危機,也都是量化交易觸發了相同的交易方向,導致市場失控。就像大家都認為明天會堵車而不開車,明天自然就不會堵了,海森堡的不確定性原理也這么說。
4 涉及的隱私問題,這點在書里寫了一些,我始終覺得還欠缺什么,只是沒想好。
5 數字化之后的數據保存期限,在企業的ISO管理中有對保留時限的要求,這些數據基本都是原始數據。在大數據的背景下,分析后的數據是否也需要保存?因為這也屬于全體數據啊。順便列一下數據量級的縮寫:2的10次方是KB,20次方是MB,30次方是GB,40次方是TB,50次方是PB,60次方是 EB,70次方是ZB,80次方是YB。
6 資產價值,這點書里也寫了,當大數據真的被公眾接受的話,會計準則如果調整也會是一個大問題。
看完這本書,總是覺得作者說的過于絕對,也許是我的認識太淺了吧,所以最后用法演四戒做總結:
勢不可以使盡,使盡則禍必至
福不可以受盡,受盡則緣必孤
話不可以說盡,說盡則人必易
規矩不可行盡,行盡則事必繁
【《大數據時代》讀后感心得字以上】相關文章:
大數據時代的創業趨勢06-12
大數據時代的績效管理03-05
大數據時代讀書筆記03-31
大數據時代網絡教育論文12-04
大數據時代讀后感1000字(精選7篇)05-30
大數據時代新聞傳播創新研究論文11-10
大數據時代信息安全與隱私保護論文06-26
大數據時代網絡信息安全探析論文01-12
大數據時代廣播電視技術的發展11-14