云(yun)計(ji)算時代 大(da)數據與云(yun)計(ji)算和物(wu)聯網(wang)之間(jian)的關(guan)系(xi)
大數(shu)據(ju)時代的到(dao)來,是全球知名咨詢公司麥肯錫最早提出的,麥肯錫稱(cheng):“數(shu)據(ju),已經滲透到(dao)當今每一個行業和(he)業務職能領(ling)域,成(cheng)為(wei)重要的生產(chan)(chan)因素。人們(men)對于海量(liang)數(shu)據(ju)的挖掘和(he)運用(yong),預示著新(xin)一波生產(chan)(chan)率增長和(he)消(xiao)費者盈余浪潮的到(dao)來。”
《互聯(lian)網(wang)(wang)進化論》一(yi)書中提(ti)出“互聯(lian)網(wang)(wang)的未來功能和結(jie)構(gou)將于(yu)人類大腦高度相似,也將具備(bei)互聯(lian)網(wang)(wang)虛(xu)擬感覺,虛(xu)擬運動,虛(xu)擬中樞,虛(xu)擬記憶神經系統”,并(bing)繪制了一(yi)幅互聯(lian)網(wang)(wang)虛(xu)擬大腦結(jie)構(gou)圖。
根據這一觀點,我們嘗試分析目前互聯網最流行的四個概念————-大數(shu)據,云計算(suan),物聯(lian)網和移動互聯(lian)網與傳統(tong)互聯(lian)網之間的(de)關(guan)系(xi)。
從這幅圖中我(wo)們(men)可以看出:
物(wu)聯(lian)網(wang)對應了互聯(lian)網(wang)的感覺(jue)和運動神(shen)經(jing)系統。
云計算(suan)是(shi)互(hu)聯網(wang)的(de)核(he)(he)心(xin)(xin)硬件層(ceng)和核(he)(he)心(xin)(xin)軟件層(ceng)的(de)集合(he),也是(shi)互(hu)聯網(wang)中(zhong)樞神經系(xi)統萌芽。
大數據代表了互聯網的信息層(數據海洋),是互聯(lian)網智慧和意識產生的基礎。
包括(kuo)物(wu)聯(lian)(lian)網(wang)(wang)(wang),傳統互(hu)聯(lian)(lian)網(wang)(wang)(wang),移動(dong)互(hu)聯(lian)(lian)網(wang)(wang)(wang)在(zai)源源不斷的向互(hu)聯(lian)(lian)網(wang)(wang)(wang)大數(shu)(shu)據(ju)(ju)層匯(hui)聚數(shu)(shu)據(ju)(ju)和接受(shou)數(shu)(shu)據(ju)(ju)。
作為數據存儲巨頭,大數據理念是,首先從“大”入手,“大”肯定是指大型數據集,一般在10TB規(gui)模(mo)左右。很多(duo)用戶把(ba)多(duo)個數據集放在(zai)一起,形成(cheng)PB級的(de)數(shu)(shu)(shu)據量。同時(shi)從(cong)數(shu)(shu)(shu)據源來談,大(da)數(shu)(shu)(shu)據是(shi)指這(zhe)些數(shu)(shu)(shu)據來自多(duo)種數(shu)(shu)(shu)據源,以(yi)實時(shi)、迭(die)代的(de)方式來實現。
物聯網所需要感受的物件對象范圍非常之寬,物聯網收集數據,我們剛剛說虛擬東西也是物聯網對象,我們看很多東西收集,如瀏覽器、搜索引擎、智能終端、游戲終端、GPS等,他通過(guo)大家日常網絡留下痕跡和(he)腳印獲(huo)取大量的(de)數據。
物聯網產生大數據。美國人前幾年醫院一年產生500個數據,IMT1。4TB數據等各種的(de)數據通過傳感器產(chan)(chan)生,也有在(zai)網(wang)上直接產(chan)(chan)生的(de),我們現在(zai)處于大數據時代,物(wu)聯網(wang)一分鐘可以(yi)產(chan)(chan)生非常多(duo)的(de)東西,蘋(pin)果下載2萬余次,一(yi)分鐘會上傳10萬條新微博,全世界(jie)物聯網上虛擬網絡上,產生了大(da)量的數(shu)據。
國外的這些公司數據量不一定有中國大,中國在一天創收10。5億(yi),新(xin)浪微(wei)博晚(wan)上有100萬(wan)以(yi)(yi)上的響應請求(qiu),中國聯(lian)通(tong)也進行大數(shu)據搜(sou)集(ji),他們以(yi)(yi)前給用戶每一(yi)個(ge)月發一(yi)個(ge)帳單,很(hen)多用戶認為我沒(mei)有上這么多,中國聯(lian)通(tong)改制就詳細記錄客戶的上網記錄一(yi)秒鐘83萬條。
虛擬運行管理產生數據量更大,這個比較是美國,每天是80個,發(fa)動機(ji)引擎(qing)收據(ju)588,企業資源管(guan)理(li)客戶關系(xi)管(guan)理(li)等現(xian)在是大(da)數據,企業本身也是每時每刻(ke)產生大(da)量(liang)數據。
2012年IDC公(gong)司指出在2005年由機器產生的(de)數據(ju)占(zhan)到數據(ju)總量的(de)11%,2020增加到42%。比如說醫療(liao),現在到(dao)醫院看病都要CT,清晰度很高300多兆,一個(ge)病人CT影響往(wang)往(wang)多大兩千幅,數據量已(yi)經(jing)到了(le)幾十個GB,如今中(zhong)國大城(cheng)市的醫(yi)院每天(tian)門診(zhen)上完人,全國每年(nian)住院已經達到了兩億人次,按(an)照(zhao)醫(yi)療(liao)行(xing)業的相關(guan)規(gui)定,一個患者(zhe)的數據通(tong)常需要保留50年以上。
物(wu)聯網(wang)(wang)產生的(de)(de)(de)(de)大(da)(da)數(shu)據與一般的(de)(de)(de)(de)大(da)(da)數(shu)據有(you)不同的(de)(de)(de)(de)特點。物(wu)聯網(wang)(wang)的(de)(de)(de)(de)數(shu)據是(shi)異構的(de)(de)(de)(de)、多樣(yang)性(xing)的(de)(de)(de)(de)、非(fei)結構和(he)(he)有(you)噪聲的(de)(de)(de)(de),更大(da)(da)的(de)(de)(de)(de)不同是(shi)它的(de)(de)(de)(de)高增長率。物(wu)聯網(wang)(wang)的(de)(de)(de)(de)數(shu)據有(you)明顯的(de)(de)(de)(de)顆粒(li)性(xing),其數(shu)據通常(chang)帶有(you)時間、位置(zhi)、環境(jing)和(he)(he)行為等信(xin)息。物(wu)聯網(wang)(wang)數(shu)據可以(yi)說也是(shi)社交數(shu)據,但不是(shi)人與人的(de)(de)(de)(de)交往信(xin)息,而(er)是(shi)物(wu)與物(wu),物(wu)與人的(de)(de)(de)(de)社會合作(zuo)信(xin)息。
物(wu)聯(lian)網的混搭將(jiang)(jiang)使(shi)物(wu)聯(lian)網的數據變得更有(you)用,將(jiang)(jiang)物(wu)聯(lian)網感知的數據與(yu)通過社會媒體獲得的數據結(jie)合,也(ye)就是人(ren)跟機(ji)器的社會聯(lian)網,將(jiang)(jiang)使(shi)決策更科學。
與隱私(si)與法律有(you)關(guan)的特(te)殊性,誰是物(wu)聯網數據的擁有(you)者,通過物(wu)聯網可以控制家用電器。
最后,大(da)數(shu)據(ju)助(zhu)力(li)物(wu)聯網,不(bu)(bu)僅僅是收集傳感性的數(shu)據(ju),實物(wu)跟虛(xu)擬物(wu)要結合起(qi)來(lai)。今天北京交通堵塞,但是并不(bu)(bu)知(zhi)(zhi)道堵塞原因,如果政府發(fa)布消(xiao)息(xi)和(he)市民(min)微博(bo)發(fa)布消(xiao)息(xi)結合起(qi)來(lai)就知(zhi)(zhi)道發(fa)生什么(me)事,物(wu)聯網要過濾(lv),過濾(lv)要有一(yi)定模(mo)式。
決策的時候還要考慮發布什么東西,會帶來什么影響,最近有地震,他能預測60%地震,總有一天會說準。
物聯網(wang)數(shu)據(ju)挖掘(jue)涉及到(dao)數(shu)據(ju)存儲(chu),從實物虛(xu)擬物獲取(qu)存儲(chu),然后(hou)進行一些虛(xu)擬化和找(zhao)出數(shu)據(ju)摘要,是要加(jia)標簽的。
數(shu)據挖掘模(mo)式,合并壓縮、清洗(xi)過濾、格式轉換,法階段數(shu)據分析、知識發(fa)現(xian)、可視化、數(shu)據階段,關聯規則,分類、聚(ju)類、序列、路徑。因此后面工作更大更重要(yao)而且更難(nan)。
最近大家關注PM2.5,另外云南(nan)西(xi)北邊、西(xi)川西(xi)南(nan)邊干旱容(rong)易(yi)發生火災,利用雷達、飛(fei)機(ji)可以搜集數據(ju),也需要進行分(fen)析,然后產生判斷。
在(zai)水(shui)面取(qu)樣,通(tong)過衛星發出去(qu)(qu),利用(yong)(yong)云計算、中心數(shu)(shu)(shu)據(ju)(ju)挖掘,河流(liu)的(de)(de)環境(jing)污(wu)染,數(shu)(shu)(shu)字化的(de)(de)模式,我們(men)可以(yi)發現(xian)有的(de)(de)地(di)方有環境(jing)污(wu)染,所(suo)污(wu)染本身需(xu)要(yao)異源數(shu)(shu)(shu)據(ju)(ju),除了傳感(gan)(gan)器(qi)、物聯網數(shu)(shu)(shu)據(ju)(ju)有噪聲的(de)(de)不(bu)干凈(jing)的(de)(de),所(suo)以(yi)需(xu)要(yao)多種數(shu)(shu)(shu)據(ju)(ju)的(de)(de)結合,歷(li)史(shi)數(shu)(shu)(shu)據(ju)(ju)的(de)(de)挖掘,然后(hou)(hou)進行分析預感(gan)(gan)、預警,所(suo)以(yi)數(shu)(shu)(shu)據(ju)(ju)后(hou)(hou)面的(de)(de)處理,食(shi)品現(xian)在(zai)也(ye)是(shi)大(da)家所(suo)關注的(de)(de),手機拍下來食(shi)品到后(hou)(hou)臺(tai)去(qu)(qu)查,是(shi)哪個公司的(de)(de)食(shi)品,在(zai)什(shen)么(me)地(di)方生產,食(shi)品生產日期等等,包括食(shi)品安全(quan)不(bu)安全(quan),營養成分怎么(me)樣,食(shi)品監(jian)控,運用(yong)(yong)后(hou)(hou)臺(tai)數(shu)(shu)(shu)據(ju)(ju)等等。最近禽流(liu)感(gan)(gan)流(liu)行,怎么(me)去(qu)(qu)監(jian)測,凡是(shi)產生流(liu)感(gan)(gan)病(bing)人在(zai)網上(shang)尋找,吃什(shen)么(me)藥(yao)好(hao),哪個地(di)方看病(bing)好(hao),或者微博交(jiao)流(liu)。
智能交通虛擬化和可視化。交通管理中心再大,也裝不上所有的視頻,因此10秒鐘,這樣(yang)看上去(qu)每時每刻只(zhi)有能(neng)夠監控很小一(yi)部分(fen)內容,通(tong)過軟件把整條路上變成一(yi)個(ge)視頻,再進一(yi)步我把所有馬(ma)路都(dou)(dou)通(tong)過大數據軟件后臺分(fen)析(xi)組(zu)成圖象,這圖象像上海市領導(dao)人坐飛機俯視地面一(yi)樣(yang)。所以這些都(dou)(dou)是后臺數據分(fen)析(xi)。
大數據在社會管理上有很好的作用。美國紐約的警察分析交通用度與犯罪發生地點的關系有效改進治安。北京交通一卡通每天產生4千萬(wan)條(tiao)刷卡記錄,地鐵每天1千萬(wan)人次(ci),分(fen)析這些數(shu)據可改善城(cheng)市交(jiao)通狀況。新加坡的(de)(de)公(gong)共交(jiao)通部門十年來已經(jing)使用個人位(wei)置數(shu)據做交(jiao)通需求的(de)(de)預測(ce)。荷蘭的(de)(de)交(jiao)通部門利(li)用移動電話(hua)的(de)(de)定(ding)位(wei)功(gong)能預測(ce)汽(qi)車(che)和行人的(de)(de)擁(yong)堵(du)狀況。
最后講M2M的總量(liang),全(quan)世界的M2M到2011年將有20億,2020年(nian)180億,預測2020年有500億(yi)連接(jie),主要是在消費電子和智能建筑(zhu)兩(liang)個領域(yu),將占(zhan)70%。
2011年M2M全市場為2000億美元,2022年12000億美元,三(san)分之(zhi)二收(shou)入來(lai)自設備與安裝,三(san)分之(zhi)一來(lai)自服務,2020年最大的M2M市場在中國和美國,分別占20%和19%。
經濟學人預測物聯網所帶來的產業價值將比互聯網大30倍,物聯(lian)網將成為下一個萬億元級別的信(xin)息(xi)產(chan)業業務。
2014年10月22-23日(ri),第二屆國際物聯(lian)網暨(ji)傳感技術(shu)與應用高峰(feng)論壇在杭州召(zhao)開,參加論壇的100多(duo)位專家學者和1000多位(wei)企業代(dai)表、行(xing)業精英(ying),將一起共話(hua)物(wu)聯(lian)網聯(lian)手大(da)數(shu)據帶(dai)來的前景。組(zu)委會為(wei)了適(shi)應國際合作的需求,還配備了專業的同聲傳譯,保證交流無阻。