云(yun)計算時代 大數據(ju)與云(yun)計算和物聯(lian)網之(zhi)間的關系
大(da)數據時代的(de)(de)(de)到(dao)(dao)來(lai),是全球(qiu)知名咨詢公司(si)麥肯錫最早提(ti)出的(de)(de)(de),麥肯錫稱:“數據,已經(jing)滲透(tou)到(dao)(dao)當(dang)今每一個行業和業務職(zhi)能領域,成為重要的(de)(de)(de)生產因素。人們對于海(hai)量數據的(de)(de)(de)挖掘和運用,預示著新一波(bo)生產率增長和消費(fei)者盈余浪潮的(de)(de)(de)到(dao)(dao)來(lai)。”
《互聯(lian)(lian)網(wang)(wang)進化論(lun)》一書中(zhong)提(ti)出“互聯(lian)(lian)網(wang)(wang)的(de)未來(lai)功(gong)能(neng)和結構將(jiang)于人(ren)類大腦高度相似(si),也將(jiang)具(ju)備互聯(lian)(lian)網(wang)(wang)虛擬感覺,虛擬運動(dong),虛擬中(zhong)樞,虛擬記憶神經系統”,并繪制了(le)一幅互聯(lian)(lian)網(wang)(wang)虛擬大腦結構圖(tu)。
根據這一觀點,我們嘗試分析目前互聯網最流行的四個概念————-大數據(ju),云計算,物(wu)聯網(wang)和移動(dong)互聯網(wang)與傳統互聯網(wang)之間的關系。
從這幅圖中我們(men)可以看出:
物聯(lian)網(wang)對應了互聯(lian)網(wang)的感(gan)覺(jue)和運動(dong)神經系統。
云計算是互聯網(wang)的核心硬(ying)件層(ceng)和核心軟(ruan)件層(ceng)的集合(he),也是互聯網(wang)中(zhong)樞神經(jing)系統萌芽。
大數據代表了互聯網的信息層(數據海洋),是互聯網智慧(hui)和意識產生的基(ji)礎。
包(bao)括(kuo)物聯網,傳統互(hu)聯網,移動互(hu)聯網在源(yuan)源(yuan)不斷的向(xiang)互(hu)聯網大數據層(ceng)匯聚數據和接受數據。
作為數據存儲巨頭,大數據理念是,首先從“大”入手,“大”肯定是指大型數據集,一般在10TB規(gui)模左右。很多(duo)用戶把多(duo)個(ge)數據集放在(zai)一起,形成PB級(ji)的(de)數據(ju)(ju)量。同時從數據(ju)(ju)源來(lai)(lai)談,大數據(ju)(ju)是指這些數據(ju)(ju)來(lai)(lai)自多種(zhong)數據(ju)(ju)源,以(yi)實時、迭(die)代(dai)的(de)方式來(lai)(lai)實現。
物聯網所需要感受的物件對象范圍非常之寬,物聯網收集數據,我們剛剛說虛擬東西也是物聯網對象,我們看很多東西收集,如瀏覽器、搜索引擎、智能終端、游戲終端、GPS等,他通過大家日常網(wang)絡留下痕跡和腳印獲取大量的數(shu)據(ju)。
物聯網產生大數據。美國人前幾年醫院一年產生500個(ge)數據,IMT1。4TB數據(ju)等各種的數據(ju)通(tong)過(guo)傳感器產(chan)(chan)生(sheng),也有在(zai)網上直(zhi)接產(chan)(chan)生(sheng)的,我們現在(zai)處于大數據(ju)時代(dai),物(wu)聯網一分鐘可以產(chan)(chan)生(sheng)非常(chang)多的東西,蘋果下載2萬余次,一分鐘會上傳10萬條新微博,全世界物聯網上虛擬(ni)網絡上,產生了大量(liang)的(de)數據(ju)。
國外的這些公司數據量不一定有中國大,中國在一天創收10。5億,新浪微博晚上有100萬以上(shang)的響應請(qing)求,中國(guo)聯(lian)(lian)通也進(jin)行大數據搜集(ji),他們(men)以前給用戶每一(yi)(yi)個(ge)月發(fa)一(yi)(yi)個(ge)帳單,很多用戶認為我沒有(you)上(shang)這(zhe)么多,中國(guo)聯(lian)(lian)通改制就詳細記錄客戶的上(shang)網記錄一(yi)(yi)秒鐘(zhong)83萬條(tiao)。
虛擬運行管理產生數據量更大,這個比較是美國,每天是80個,發(fa)動機引擎收據588,企業資源管理客戶關系管理等(deng)現在是大(da)數據,企業本(ben)身也是每時每刻(ke)產生大(da)量數據。
2012年IDC公(gong)司(si)指出在2005年由(you)機(ji)器產生的數據(ju)占(zhan)到數據(ju)總量的11%,2020增加到42%。比如說醫療,現在到醫院看病(bing)都要CT,清晰度(du)很高300多兆,一個病(bing)人CT影響往往多大兩(liang)千幅(fu),數(shu)據量已經到了幾(ji)十個GB,如今中(zhong)國(guo)大城市(shi)的(de)醫院每天(tian)門診上完(wan)人,全(quan)國(guo)每年住院已經達到了兩(liang)億人次,按照醫療行業的(de)相關規定,一個(ge)患(huan)者(zhe)的(de)數(shu)據通常需(xu)要(yao)保留50年以上(shang)。
物(wu)聯網產生的(de)(de)(de)大數(shu)據(ju)與一般的(de)(de)(de)大數(shu)據(ju)有(you)不同(tong)的(de)(de)(de)特點。物(wu)聯網的(de)(de)(de)數(shu)據(ju)是異構(gou)的(de)(de)(de)、多樣性的(de)(de)(de)、非(fei)結構(gou)和(he)有(you)噪聲的(de)(de)(de),更(geng)大的(de)(de)(de)不同(tong)是它的(de)(de)(de)高增長(chang)率。物(wu)聯網的(de)(de)(de)數(shu)據(ju)有(you)明顯的(de)(de)(de)顆粒性,其(qi)數(shu)據(ju)通常帶有(you)時(shi)間、位置、環(huan)境和(he)行為等(deng)信(xin)(xin)息(xi)。物(wu)聯網數(shu)據(ju)可以說也是社交(jiao)數(shu)據(ju),但不是人(ren)與人(ren)的(de)(de)(de)交(jiao)往信(xin)(xin)息(xi),而是物(wu)與物(wu),物(wu)與人(ren)的(de)(de)(de)社會(hui)合作信(xin)(xin)息(xi)。
物(wu)(wu)聯網(wang)(wang)的(de)混搭將使物(wu)(wu)聯網(wang)(wang)的(de)數據變得更有用,將物(wu)(wu)聯網(wang)(wang)感(gan)知的(de)數據與通過社會媒體獲得的(de)數據結合,也就是人跟機器的(de)社會聯網(wang)(wang),將使決策(ce)更科學。
與隱(yin)私與法律有關的(de)特殊性(xing),誰是(shi)物(wu)聯網(wang)數(shu)據的(de)擁有者,通(tong)過物(wu)聯網(wang)可以控制(zhi)家用(yong)電器。
最后,大數據助(zhu)力物聯網(wang),不僅(jin)僅(jin)是(shi)(shi)收集(ji)傳(chuan)感性(xing)的數據,實物跟虛擬物要(yao)結合起來。今天北京交通堵塞,但是(shi)(shi)并不知(zhi)道堵塞原因,如(ru)果政府發(fa)(fa)布消息和市民微博發(fa)(fa)布消息結合起來就知(zhi)道發(fa)(fa)生(sheng)什么事,物聯網(wang)要(yao)過濾,過濾要(yao)有一定(ding)模式。
決策的時候還要考慮發布什么東西,會帶來什么影響,最近有地震,他能預測60%地震(zhen),總有一天會說準。
物聯網數據挖(wa)掘(jue)涉(she)及到數據存(cun)儲,從(cong)實(shi)物虛擬物獲(huo)取存(cun)儲,然后進行(xing)一些虛擬化和找(zhao)出數據摘要,是要加(jia)標簽的(de)。
數(shu)(shu)據(ju)挖掘模式(shi)(shi),合并壓縮、清洗過(guo)濾、格(ge)式(shi)(shi)轉換(huan),法(fa)階(jie)段(duan)數(shu)(shu)據(ju)分析、知識發現、可視化、數(shu)(shu)據(ju)階(jie)段(duan),關(guan)聯規則,分類(lei)(lei)、聚(ju)類(lei)(lei)、序(xu)列、路徑。因此后面(mian)工作更大(da)更重要而且(qie)更難(nan)。
最近大家關注PM2.5,另外(wai)云南(nan)西北邊(bian)、西川西南(nan)邊(bian)干旱容易發生火災,利(li)用雷達、飛機可以(yi)搜集數據,也需要進行分(fen)析,然后產生判斷。
在水面(mian)取樣,通(tong)過衛星發出去,利用云(yun)計算、中(zhong)心數(shu)據挖掘,河流(liu)(liu)的(de)(de)(de)(de)環(huan)境污染,數(shu)字化(hua)的(de)(de)(de)(de)模式,我(wo)們可以發現有的(de)(de)(de)(de)地(di)方有環(huan)境污染,所(suo)污染本(ben)身需(xu)要(yao)異源數(shu)據,除(chu)了傳(chuan)感(gan)(gan)器、物聯網(wang)數(shu)據有噪聲的(de)(de)(de)(de)不(bu)干(gan)凈的(de)(de)(de)(de),所(suo)以需(xu)要(yao)多(duo)種數(shu)據的(de)(de)(de)(de)結合(he),歷(li)史數(shu)據的(de)(de)(de)(de)挖掘,然后(hou)(hou)進(jin)行分析(xi)預感(gan)(gan)、預警,所(suo)以數(shu)據后(hou)(hou)面(mian)的(de)(de)(de)(de)處(chu)理(li),食(shi)品(pin)現在也(ye)是大(da)家所(suo)關注(zhu)的(de)(de)(de)(de),手機(ji)拍下來(lai)食(shi)品(pin)到(dao)后(hou)(hou)臺去查,是哪(na)個(ge)公司的(de)(de)(de)(de)食(shi)品(pin),在什么地(di)方生產(chan)(chan),食(shi)品(pin)生產(chan)(chan)日期等等,包括食(shi)品(pin)安(an)(an)全(quan)不(bu)安(an)(an)全(quan),營養成分怎(zen)么樣,食(shi)品(pin)監(jian)控(kong),運用后(hou)(hou)臺數(shu)據等等。最(zui)近(jin)禽流(liu)(liu)感(gan)(gan)流(liu)(liu)行,怎(zen)么去監(jian)測,凡是產(chan)(chan)生流(liu)(liu)感(gan)(gan)病人在網(wang)上尋找,吃什么藥好(hao),哪(na)個(ge)地(di)方看(kan)病好(hao),或者(zhe)微博交(jiao)流(liu)(liu)。
智能交通虛擬化和可視化。交通管理中心再大,也裝不上所有的視頻,因此10秒鐘,這(zhe)樣看上去每時每刻只有能夠監控很小一部分(fen)內容(rong),通(tong)過(guo)軟(ruan)件把整條路上變成一個視頻,再進(jin)一步(bu)我把所(suo)有馬路都通(tong)過(guo)大數據軟(ruan)件后臺分(fen)析組成圖(tu)象,這(zhe)圖(tu)象像(xiang)上海市領(ling)導人坐飛機俯視地面一樣。所(suo)以(yi)這(zhe)些都是后臺數據分(fen)析。
大數據在社會管理上有很好的作用。美國紐約的警察分析交通用度與犯罪發生地點的關系有效改進治安。北京交通一卡通每天產生4千萬條刷卡(ka)記(ji)錄,地鐵每(mei)天1千萬人次,分析這些數(shu)據可(ke)改(gai)善(shan)城市交通(tong)狀(zhuang)況。新加坡的(de)公共交通(tong)部門十年(nian)來已經(jing)使(shi)用個人位(wei)置數(shu)據做交通(tong)需(xu)求的(de)預(yu)測(ce)。荷蘭(lan)的(de)交通(tong)部門利用移動電話(hua)的(de)定位(wei)功能預(yu)測(ce)汽車(che)和(he)行(xing)人的(de)擁(yong)堵狀(zhuang)況。
最后講M2M的總量,全(quan)世(shi)界的M2M到2011年將有20億,2020年180億,預測2020年有500億(yi)連(lian)接,主要是在消費(fei)電(dian)子和智(zhi)能建筑兩個領域(yu),將占70%。
2011年M2M全(quan)市場(chang)為(wei)2000億美元(yuan),2022年(nian)12000億美(mei)元,三(san)分(fen)之二收入(ru)來自(zi)設備與(yu)安裝,三(san)分(fen)之一(yi)來自(zi)服務,2020年最大的M2M市場在中國(guo)和(he)美(mei)國(guo),分別占20%和19%。
經濟學人預測物聯網所帶來的產業價值將比互聯網大30倍,物聯網將成為下一個萬(wan)億元(yuan)級(ji)別的信息產業業務(wu)。
2014年10月22-23日(ri),第(di)二(er)屆國際物聯網暨傳感技術與(yu)應用高峰(feng)論壇(tan)在杭州召開,參加論壇(tan)的100多位專家學者和(he)1000多(duo)位企業代表、行業精英(ying),將一起共話(hua)物聯網(wang)聯手大(da)數(shu)據(ju)帶來的前景(jing)。組(zu)委會(hui)為了適應國際合(he)作的需(xu)求,還配備了(le)專業的同聲傳(chuan)譯(yi),保證(zheng)交流無阻。