云計算時(shi)代 大數據(ju)與(yu)云計算和物聯網之間的關系
大數(shu)據時代(dai)的(de)到來(lai),是全(quan)球知名咨(zi)詢公(gong)司麥(mai)肯錫最早提出的(de),麥(mai)肯錫稱(cheng):“數(shu)據,已經滲(shen)透到當今每一個行業(ye)(ye)和(he)業(ye)(ye)務職(zhi)能領(ling)域,成為重(zhong)要的(de)生(sheng)產(chan)因素(su)。人(ren)們對(dui)于(yu)海量(liang)數(shu)據的(de)挖掘和(he)運用,預示著新一波生(sheng)產(chan)率增長和(he)消費者盈余浪潮的(de)到來(lai)。”
《互(hu)(hu)聯網進化(hua)論(lun)》一(yi)書中(zhong)提出“互(hu)(hu)聯網的未來功能和結構(gou)將(jiang)于人類大(da)(da)腦高度相(xiang)似,也將(jiang)具備互(hu)(hu)聯網虛擬(ni)感覺,虛擬(ni)運(yun)動,虛擬(ni)中(zhong)樞,虛擬(ni)記憶神經(jing)系(xi)統”,并繪制了一(yi)幅互(hu)(hu)聯網虛擬(ni)大(da)(da)腦結構(gou)圖。
根據這一觀點,我們嘗試分析目前互聯網最流行的四個概念————-大數據,云計(ji)算,物聯(lian)網和(he)移動(dong)互(hu)(hu)聯(lian)網與傳(chuan)統互(hu)(hu)聯(lian)網之間的關(guan)系。
從這幅圖中我們可以(yi)看出:
物聯網對應了(le)互聯網的(de)感覺和(he)運動神經系統。
云計算是(shi)互聯(lian)網(wang)的核(he)心硬件(jian)層和(he)核(he)心軟(ruan)件(jian)層的集合,也是(shi)互聯(lian)網(wang)中樞神(shen)經系統(tong)萌芽。
大數據代表了互聯網的信息層(數據(ju)海洋(yang)),是互聯網智(zhi)慧和意識產生的(de)基(ji)礎。
包(bao)括物聯(lian)(lian)網,傳統互聯(lian)(lian)網,移動互聯(lian)(lian)網在(zai)源(yuan)源(yuan)不斷的向互聯(lian)(lian)網大數(shu)據層匯聚數(shu)據和接受數(shu)據。
作為數據存儲巨頭,大數據理念是,首先從“大”入手,“大”肯定是指大型數據集,一般在10TB規模左右。很(hen)多(duo)用戶把(ba)多(duo)個(ge)數據集(ji)放在一起,形(xing)成(cheng)PB級的數(shu)據量。同時從數(shu)據源來談,大數(shu)據是指這些數(shu)據來自多(duo)種數(shu)據源,以(yi)實(shi)時、迭代的方式(shi)來實(shi)現。
物聯網所需要感受的物件對象范圍非常之寬,物聯網收集數據,我們剛剛說虛擬東西也是物聯網對象,我們看很多東西收集,如瀏覽器、搜索引擎、智能終端、游戲終端、GPS等(deng),他通過大家日常網(wang)絡(luo)留下痕跡和腳印獲(huo)取大量的數據。
物聯網產生大數據。美國人前幾年醫院一年產生500個數據,IMT1。4TB數據等各(ge)種的(de)數據通過傳(chuan)感(gan)器產(chan)生,也有在網上(shang)直接產(chan)生的(de),我們(men)現在處于(yu)大數據時代,物聯(lian)網一分鐘可以產(chan)生非常(chang)多的(de)東西(xi),蘋果(guo)下載2萬余(yu)次,一分鐘(zhong)會上(shang)傳10萬條新微博,全世界物聯網上虛擬網絡上,產生了大(da)量(liang)的(de)數據(ju)。
國外的這些公司數據量不一定有中國大,中國在一天創收10。5億,新浪(lang)微博晚(wan)上有100萬以(yi)上(shang)的響應請求,中國(guo)聯通也(ye)進行大數據搜集,他們以(yi)前給用戶每(mei)一個(ge)月(yue)發一個(ge)帳單,很多用戶認為(wei)我沒有上(shang)這么多,中國(guo)聯通改制就(jiu)詳細記錄客戶的上(shang)網記錄一秒鐘83萬條(tiao)。
虛擬運行管理產生數據量更大,這個比較是美國,每天是80個,發(fa)動(dong)機引(yin)擎收據588,企業(ye)資源管理(li)客戶關系管理(li)等現在是(shi)大(da)數據,企業(ye)本身也是(shi)每(mei)時(shi)每(mei)刻產生大(da)量數據。
2012年IDC公司指出在2005年由(you)機器產生的數據(ju)占到數據(ju)總量的11%,2020增加到42%。比如說醫療,現(xian)在到(dao)醫院看病(bing)都(dou)要CT,清晰度很高(gao)300多(duo)兆,一個病人CT影響往往多大兩千幅,數據量已經到了幾十個GB,如今中國大城市的醫院每天門診(zhen)上完人,全國每年住院已經達到了兩億人次,按照醫療行業的相關規(gui)定,一個患者(zhe)的數據(ju)通常需要保(bao)留50年以上(shang)。
物(wu)聯網(wang)產生的(de)(de)(de)大數(shu)據(ju)(ju)與(yu)(yu)一般的(de)(de)(de)大數(shu)據(ju)(ju)有不(bu)同的(de)(de)(de)特(te)點。物(wu)聯網(wang)的(de)(de)(de)數(shu)據(ju)(ju)是(shi)(shi)異構的(de)(de)(de)、多樣性的(de)(de)(de)、非結構和有噪聲的(de)(de)(de),更大的(de)(de)(de)不(bu)同是(shi)(shi)它(ta)的(de)(de)(de)高(gao)增長率。物(wu)聯網(wang)的(de)(de)(de)數(shu)據(ju)(ju)有明顯的(de)(de)(de)顆粒性,其數(shu)據(ju)(ju)通常帶有時間(jian)、位(wei)置、環境和行為等信(xin)(xin)息(xi)。物(wu)聯網(wang)數(shu)據(ju)(ju)可以說也是(shi)(shi)社交數(shu)據(ju)(ju),但不(bu)是(shi)(shi)人(ren)與(yu)(yu)人(ren)的(de)(de)(de)交往(wang)信(xin)(xin)息(xi),而是(shi)(shi)物(wu)與(yu)(yu)物(wu),物(wu)與(yu)(yu)人(ren)的(de)(de)(de)社會(hui)合作(zuo)信(xin)(xin)息(xi)。
物聯網(wang)的(de)混搭將使物聯網(wang)的(de)數據變得更有用,將物聯網(wang)感(gan)知的(de)數據與(yu)通過社(she)(she)會媒體獲得的(de)數據結合,也(ye)就是(shi)人跟機器的(de)社(she)(she)會聯網(wang),將使決策更科學。
與隱私與法律有關的(de)特殊性(xing),誰(shui)是物(wu)聯網(wang)數(shu)據的(de)擁有者,通過物(wu)聯網(wang)可以(yi)控制家用電(dian)器(qi)。
最后,大數(shu)據助力物(wu)聯(lian)網,不僅(jin)僅(jin)是(shi)收集傳感性的數(shu)據,實物(wu)跟(gen)虛擬物(wu)要結合起來。今(jin)天北京交通堵塞,但是(shi)并不知道堵塞原因,如果(guo)政府發布消(xiao)息(xi)和市民微(wei)博(bo)發布消(xiao)息(xi)結合起來就知道發生什么事,物(wu)聯(lian)網要過濾,過濾要有一定模式。
決策的時候還要考慮發布什么東西,會帶來什么影響,最近有地震,他能預測60%地(di)震(zhen),總(zong)有一天會說準。
物聯網數據(ju)挖(wa)掘涉及到數據(ju)存儲,從實物虛(xu)擬(ni)物獲取存儲,然后進行一些虛(xu)擬(ni)化和找出數據(ju)摘要,是要加標簽的。
數(shu)據挖掘模(mo)式(shi),合并壓縮、清洗過(guo)濾、格式(shi)轉(zhuan)換,法階段數(shu)據分析、知(zhi)識發現、可視(shi)化、數(shu)據階段,關聯(lian)規則,分類(lei)、聚(ju)類(lei)、序列(lie)、路徑。因此后面工作更(geng)(geng)大更(geng)(geng)重要而(er)且更(geng)(geng)難。
最近大家關注PM2.5,另(ling)外云(yun)南(nan)西(xi)北(bei)邊(bian)(bian)、西(xi)川西(xi)南(nan)邊(bian)(bian)干(gan)旱容易發生(sheng)(sheng)火(huo)災,利用(yong)雷達、飛機可以搜集數據,也(ye)需要進(jin)行(xing)分析,然后產生(sheng)(sheng)判斷。
在水面取樣,通過(guo)衛星發出去,利用云計算、中心(xin)數(shu)(shu)據挖(wa)掘,河流(liu)(liu)的(de)(de)(de)(de)環(huan)境污(wu)染,數(shu)(shu)字化的(de)(de)(de)(de)模式(shi),我們可以(yi)(yi)(yi)發現(xian)有的(de)(de)(de)(de)地方有環(huan)境污(wu)染,所(suo)污(wu)染本身需(xu)要(yao)異(yi)源數(shu)(shu)據,除(chu)了(le)傳感(gan)(gan)器、物(wu)聯網數(shu)(shu)據有噪聲的(de)(de)(de)(de)不干凈的(de)(de)(de)(de),所(suo)以(yi)(yi)(yi)需(xu)要(yao)多(duo)種數(shu)(shu)據的(de)(de)(de)(de)結合,歷史數(shu)(shu)據的(de)(de)(de)(de)挖(wa)掘,然后進行分析(xi)預感(gan)(gan)、預警,所(suo)以(yi)(yi)(yi)數(shu)(shu)據后面的(de)(de)(de)(de)處(chu)理,食(shi)(shi)(shi)品(pin)(pin)(pin)(pin)現(xian)在也是(shi)(shi)(shi)大家所(suo)關注的(de)(de)(de)(de),手機拍下來(lai)食(shi)(shi)(shi)品(pin)(pin)(pin)(pin)到后臺去查,是(shi)(shi)(shi)哪(na)個(ge)公(gong)司的(de)(de)(de)(de)食(shi)(shi)(shi)品(pin)(pin)(pin)(pin),在什么(me)(me)(me)地方生(sheng)產,食(shi)(shi)(shi)品(pin)(pin)(pin)(pin)生(sheng)產日期等(deng)等(deng),包括食(shi)(shi)(shi)品(pin)(pin)(pin)(pin)安全(quan)不安全(quan),營(ying)養成分怎(zen)么(me)(me)(me)樣,食(shi)(shi)(shi)品(pin)(pin)(pin)(pin)監控,運(yun)用后臺數(shu)(shu)據等(deng)等(deng)。最近禽流(liu)(liu)感(gan)(gan)流(liu)(liu)行,怎(zen)么(me)(me)(me)去監測(ce),凡是(shi)(shi)(shi)產生(sheng)流(liu)(liu)感(gan)(gan)病(bing)人在網上尋找,吃什么(me)(me)(me)藥好,哪(na)個(ge)地方看病(bing)好,或者微博交流(liu)(liu)。
智能交通虛擬化和可視化。交通管理中心再大,也裝不上所有的視頻,因此10秒鐘,這(zhe)樣(yang)看(kan)上去每時(shi)每刻(ke)只有能夠監控很小(xiao)一(yi)部分內容(rong),通過(guo)軟(ruan)件(jian)把整條路(lu)上變成一(yi)個視頻,再(zai)進一(yi)步我把所(suo)(suo)有馬路(lu)都(dou)通過(guo)大數據軟(ruan)件(jian)后(hou)(hou)臺分析(xi)組(zu)成圖(tu)象,這(zhe)圖(tu)象像上海(hai)市領導(dao)人(ren)坐飛(fei)機俯視地面一(yi)樣(yang)。所(suo)(suo)以這(zhe)些都(dou)是后(hou)(hou)臺數據分析(xi)。
大數據在社會管理上有很好的作用。美國紐約的警察分析交通用度與犯罪發生地點的關系有效改進治安。北京交通一卡通每天產生4千萬條刷卡(ka)記錄(lu),地鐵每天(tian)1千萬人次(ci),分析這些(xie)數據(ju)可改善城市交通(tong)狀況(kuang)。新加坡(po)的(de)(de)公共交通(tong)部門(men)十年(nian)來已(yi)經使用個人位(wei)(wei)置數據(ju)做交通(tong)需求的(de)(de)預(yu)測(ce)。荷蘭的(de)(de)交通(tong)部門(men)利用移動(dong)電(dian)話(hua)的(de)(de)定(ding)位(wei)(wei)功能預(yu)測(ce)汽車和行(xing)人的(de)(de)擁堵狀況(kuang)。
最后講M2M的總量,全(quan)世界的M2M到(dao)2011年將有20億,2020年180億,預測2020年(nian)有500億連接,主要(yao)是(shi)在消(xiao)費電子和智能建筑兩個領域(yu),將占70%。
2011年M2M全(quan)市場為2000億美元,2022年12000億美(mei)元,三(san)分之(zhi)二收入(ru)來(lai)自設備與安裝,三(san)分之(zhi)一(yi)來(lai)自服務(wu),2020年最大的M2M市(shi)場(chang)在中(zhong)國和美國,分別占20%和19%。
經濟學人預測物聯網所帶來的產業價值將比互聯網大30倍,物聯網將(jiang)成(cheng)為(wei)下一個萬億元級別的(de)信(xin)息產業業務。
2014年10月22-23日,第二屆國際物聯網暨(ji)傳感技術與(yu)應(ying)用高峰論壇在杭州召開,參加論壇的100多(duo)位專家學者(zhe)和1000多位企業代表、行業精英,將一起共話物(wu)聯(lian)網聯(lian)手大(da)數據帶來的(de)前(qian)景。組(zu)委會為了適(shi)應國際(ji)合作的(de)需求,還配備(bei)了(le)專業的同聲傳(chuan)譯,保證(zheng)交流無阻。