云(yun)計算時代 大數據與云(yun)計算和物(wu)聯網之間的關系
大數據時代的(de)到來,是(shi)全球知名咨(zi)詢公司麥肯錫最早(zao)提出的(de),麥肯錫稱(cheng):“數據,已經滲透到當今(jin)每一個行(xing)業和(he)(he)業務(wu)職能(neng)領域,成為(wei)重要的(de)生產因素。人們對于海量數據的(de)挖掘和(he)(he)運用(yong),預示(shi)著新一波生產率增長和(he)(he)消費者盈余(yu)浪潮的(de)到來。”
《互聯(lian)網(wang)(wang)進(jin)化(hua)論(lun)》一(yi)書中(zhong)提出(chu)“互聯(lian)網(wang)(wang)的未(wei)來(lai)功能和結(jie)構(gou)將(jiang)于(yu)人類大腦高度相似,也將(jiang)具備互聯(lian)網(wang)(wang)虛(xu)(xu)擬(ni)感覺,虛(xu)(xu)擬(ni)運動(dong),虛(xu)(xu)擬(ni)中(zhong)樞,虛(xu)(xu)擬(ni)記憶神經(jing)系統”,并繪制(zhi)了(le)一(yi)幅互聯(lian)網(wang)(wang)虛(xu)(xu)擬(ni)大腦結(jie)構(gou)圖。
根據這一觀點,我們嘗試分析目前互聯網最流行的四個概念————-大數據,云計算,物聯網(wang)和移動(dong)互(hu)聯網(wang)與(yu)傳統互(hu)聯網(wang)之間的(de)關系。
從這(zhe)幅圖中我們可以看出:
物聯網(wang)對應了互(hu)聯網(wang)的感覺和運動(dong)神(shen)經系(xi)統。
云計算是(shi)互聯網的核心(xin)硬件(jian)層和核心(xin)軟件(jian)層的集合,也是(shi)互聯網中樞神經系統萌芽(ya)。
大數據代表了互聯網的信息層(數據海洋),是互(hu)聯網智慧和(he)意識產生(sheng)的(de)基(ji)礎(chu)。
包括(kuo)物(wu)聯網(wang),傳統互(hu)聯網(wang),移動互(hu)聯網(wang)在源(yuan)源(yuan)不(bu)斷的(de)向互(hu)聯網(wang)大(da)數(shu)(shu)據(ju)層匯聚(ju)數(shu)(shu)據(ju)和接受數(shu)(shu)據(ju)。
作為數據存儲巨頭,大數據理念是,首先從“大”入手,“大”肯定是指大型數據集,一般在10TB規模左右。很(hen)多(duo)用戶把(ba)多(duo)個(ge)數(shu)據(ju)集放在一(yi)起,形(xing)成PB級(ji)的數據量。同(tong)時從數據源來談,大數據是指(zhi)這些數據來自多種數據源,以實時、迭(die)代(dai)的方式來實現。
物聯網所需要感受的物件對象范圍非常之寬,物聯網收集數據,我們剛剛說虛擬東西也是物聯網對象,我們看很多東西收集,如瀏覽器、搜索引擎、智能終端、游戲終端、GPS等(deng),他通過大家日常網絡(luo)留下(xia)痕跡和(he)腳印獲(huo)取大量的(de)數據(ju)。
物聯網產生大數據。美國人前幾年醫院一年產生500個數據,IMT1。4TB數(shu)(shu)據(ju)等各種(zhong)的數(shu)(shu)據(ju)通過傳感器產生,也(ye)有在(zai)網(wang)上直接產生的,我們現在(zai)處(chu)于大數(shu)(shu)據(ju)時代,物聯網(wang)一分鐘可以產生非常(chang)多的東西,蘋果下(xia)載2萬(wan)余次,一分鐘會上傳10萬條(tiao)新微(wei)博,全世界物聯網(wang)上(shang)虛擬網(wang)絡上(shang),產生了大(da)量的數據。
國外的這些公司數據量不一定有中國大,中國在一天創收10。5億,新浪微博晚上(shang)有100萬(wan)以上的響(xiang)應請(qing)求,中(zhong)國聯(lian)通(tong)也(ye)進行大數據(ju)搜集(ji),他(ta)們以前給用戶(hu)每一個月發一個帳單,很多用戶(hu)認(ren)為我沒有上這么(me)多,中(zhong)國聯(lian)通(tong)改(gai)制就詳細(xi)記(ji)錄客戶(hu)的上網(wang)記(ji)錄一秒(miao)鐘83萬(wan)條。
虛擬運行管理產生數據量更大,這個比較是美國,每天是80個,發動機引擎收據(ju)588,企業(ye)資源(yuan)管理客戶關(guan)系管理等現在(zai)是(shi)大(da)數據(ju),企業(ye)本身也(ye)是(shi)每時每刻產(chan)生(sheng)大(da)量數據(ju)。
2012年IDC公司指出在2005年由機器產生的(de)(de)數(shu)據占到(dao)數(shu)據總量的(de)(de)11%,2020增加到42%。比如(ru)說醫(yi)療,現(xian)在到(dao)醫(yi)院看病都要CT,清晰(xi)度很高(gao)300多兆,一個病人CT影(ying)響往(wang)往(wang)多大兩千幅,數據量已經到了幾十個GB,如今中國大(da)城市的醫院(yuan)每天門診上完人,全國每年住(zhu)院(yuan)已(yi)經達到了兩億人次,按照醫療行業的相關規定,一(yi)個(ge)患者(zhe)的數據通(tong)常需要保留50年以上。
物聯(lian)網(wang)產(chan)生(sheng)的(de)(de)(de)大(da)數據(ju)(ju)與一般的(de)(de)(de)大(da)數據(ju)(ju)有(you)不(bu)同的(de)(de)(de)特點。物聯(lian)網(wang)的(de)(de)(de)數據(ju)(ju)是(shi)異構(gou)(gou)的(de)(de)(de)、多樣性的(de)(de)(de)、非(fei)結構(gou)(gou)和有(you)噪聲的(de)(de)(de),更大(da)的(de)(de)(de)不(bu)同是(shi)它的(de)(de)(de)高增長率。物聯(lian)網(wang)的(de)(de)(de)數據(ju)(ju)有(you)明顯的(de)(de)(de)顆粒(li)性,其數據(ju)(ju)通常帶有(you)時間、位置、環境和行為等信(xin)息(xi)。物聯(lian)網(wang)數據(ju)(ju)可(ke)以說也是(shi)社(she)交數據(ju)(ju),但不(bu)是(shi)人與人的(de)(de)(de)交往(wang)信(xin)息(xi),而是(shi)物與物,物與人的(de)(de)(de)社(she)會合作信(xin)息(xi)。
物聯網(wang)的(de)混搭將使物聯網(wang)的(de)數(shu)據變得(de)更有用,將物聯網(wang)感(gan)知的(de)數(shu)據與通(tong)過社(she)會媒體(ti)獲得(de)的(de)數(shu)據結合,也就是人跟機器的(de)社(she)會聯網(wang),將使決策更科學。
與隱私與法(fa)律有關的特殊性,誰是物聯網數據的擁有者,通過(guo)物聯網可以(yi)控制(zhi)家用(yong)電器(qi)。
最(zui)后,大數據助力物(wu)聯網,不僅(jin)僅(jin)是收集傳感性的數據,實物(wu)跟(gen)虛擬物(wu)要(yao)(yao)結(jie)合起來。今天北(bei)京(jing)交通堵(du)(du)塞,但是并不知道堵(du)(du)塞原(yuan)因,如(ru)果政府發布(bu)消息(xi)(xi)和(he)市民(min)微(wei)博(bo)發布(bu)消息(xi)(xi)結(jie)合起來就知道發生(sheng)什(shen)么事,物(wu)聯網要(yao)(yao)過濾(lv),過濾(lv)要(yao)(yao)有一定模式。
決策的時候還要考慮發布什么東西,會帶來什么影響,最近有地震,他能預測60%地震,總(zong)有一(yi)天會說準。
物聯網數據挖掘涉及到數據存儲(chu)(chu),從實物虛(xu)擬(ni)物獲取(qu)存儲(chu)(chu),然后進行一些虛(xu)擬(ni)化和找出數據摘要,是要加標簽的。
數據挖掘模(mo)式,合(he)并壓縮、清洗過濾、格式轉換,法階段(duan)數據分析、知識發現、可視化、數據階段(duan),關(guan)聯規則,分類(lei)、聚類(lei)、序列、路徑。因此后(hou)面工作(zuo)更大更重要而且更難(nan)。
最近大家關注PM2.5,另外云(yun)南(nan)西北邊、西川西南(nan)邊干旱容易(yi)發生(sheng)火災,利用雷達、飛機(ji)可以搜集數據,也需要(yao)進行分析,然后產生(sheng)判斷。
在水面取樣,通過衛星發(fa)出去(qu),利用云計算、中心數據(ju)(ju)挖掘(jue),河流的環境(jing)污染(ran)(ran),數字化的模(mo)式,我們(men)可以(yi)(yi)發(fa)現有(you)的地方有(you)環境(jing)污染(ran)(ran),所污染(ran)(ran)本身需要(yao)異源數據(ju)(ju),除了傳感器、物聯網數據(ju)(ju)有(you)噪聲的不干(gan)凈的,所以(yi)(yi)需要(yao)多(duo)種數據(ju)(ju)的結合,歷史(shi)數據(ju)(ju)的挖掘(jue),然后進行分析(xi)預感、預警,所以(yi)(yi)數據(ju)(ju)后面的處理,食品現在也是大(da)家(jia)所關(guan)注的,手機(ji)拍(pai)下(xia)來食品到后臺去(qu)查(cha),是哪(na)個(ge)公司的食品,在什(shen)么(me)地方生(sheng)產,食品生(sheng)產日期等等,包括(kuo)食品安(an)全(quan)不安(an)全(quan),營養成分怎么(me)樣,食品監控,運用后臺數據(ju)(ju)等等。最(zui)近禽(qin)流感流行,怎么(me)去(qu)監測,凡是產生(sheng)流感病(bing)人在網上尋找(zhao),吃什(shen)么(me)藥好(hao)(hao),哪(na)個(ge)地方看病(bing)好(hao)(hao),或者微博交流。
智能交通虛擬化和可視化。交通管理中心再大,也裝不上所有的視頻,因此10秒鐘,這(zhe)樣看(kan)上去每(mei)(mei)時每(mei)(mei)刻只有能夠監控很小一部分內容,通過軟件把整條路(lu)上變成一個視(shi)(shi)頻,再(zai)進一步(bu)我把所有馬路(lu)都通過大(da)數據(ju)軟件后臺分析組成圖(tu)象(xiang),這(zhe)圖(tu)象(xiang)像(xiang)上海市領(ling)導人坐飛機俯視(shi)(shi)地面(mian)一樣。所以這(zhe)些(xie)都是后臺數據(ju)分析。
大數據在社會管理上有很好的作用。美國紐約的警察分析交通用度與犯罪發生地點的關系有效改進治安。北京交通一卡通每天產生4千萬(wan)條刷卡記錄(lu),地鐵(tie)每(mei)天(tian)1千萬人次(ci),分析(xi)這些數(shu)據可(ke)改善城(cheng)市交通(tong)狀況。新加(jia)坡的(de)公共交通(tong)部(bu)門十(shi)年來已經使用個人位置(zhi)數(shu)據做交通(tong)需求的(de)預(yu)測(ce)(ce)。荷蘭的(de)交通(tong)部(bu)門利用移動(dong)電話的(de)定位功能(neng)預(yu)測(ce)(ce)汽車和行人的(de)擁堵狀況。
最后講M2M的總量,全世(shi)界的M2M到(dao)2011年將有(you)20億,2020年180億,預(yu)測2020年有500億連接,主要是在消費電子(zi)和智能建筑兩個領域,將(jiang)占(zhan)70%。
2011年M2M全市場為2000億美(mei)元,2022年(nian)12000億美(mei)元,三(san)分(fen)之二收入來自設備與安(an)裝,三(san)分(fen)之一來自服務,2020年最大的M2M市(shi)場在中國和美國,分(fen)別占20%和19%。
經濟學人預測物聯網所帶來的產業價值將比互聯網大30倍(bei),物聯網將成為下一個(ge)萬(wan)億元級(ji)別的信息產業業務。
2014年10月22-23日,第二屆國(guo)際物聯網(wang)暨(ji)傳感技術與(yu)應(ying)用(yong)高峰論(lun)壇(tan)(tan)在杭州(zhou)召開(kai),參(can)加(jia)論(lun)壇(tan)(tan)的100多位(wei)專(zhuan)家學者和1000多位企業代表、行業精英(ying),將一起共話物聯(lian)網(wang)聯(lian)手(shou)大(da)數(shu)據帶(dai)來的(de)前景。組委會為了適(shi)應國(guo)際合作(zuo)的(de)需求,還配(pei)備了專業的同聲傳譯,保證交流無阻。