云計(ji)算(suan)時代 大數據與云計(ji)算(suan)和物聯網之間的關系(xi)
大數(shu)據(ju)時(shi)代(dai)的(de)到來(lai),是全球知名咨詢公司麥肯錫(xi)最早(zao)提出的(de),麥肯錫(xi)稱:“數(shu)據(ju),已經(jing)滲透到當(dang)今每一個行業和業務職能領(ling)域,成為重要的(de)生(sheng)(sheng)產因素。人們(men)對于(yu)海(hai)量數(shu)據(ju)的(de)挖掘和運用,預示著新一波生(sheng)(sheng)產率(lv)增(zeng)長和消費(fei)者盈(ying)余浪(lang)潮的(de)到來(lai)。”
《互聯網(wang)(wang)進(jin)化(hua)論》一書中提出“互聯網(wang)(wang)的未來功能和結(jie)(jie)構(gou)將(jiang)(jiang)于人類大腦(nao)高度相(xiang)似,也(ye)將(jiang)(jiang)具備互聯網(wang)(wang)虛(xu)擬(ni)感覺,虛(xu)擬(ni)運(yun)動(dong),虛(xu)擬(ni)中樞,虛(xu)擬(ni)記憶神經系(xi)統”,并繪(hui)制(zhi)了一幅互聯網(wang)(wang)虛(xu)擬(ni)大腦(nao)結(jie)(jie)構(gou)圖。
根據這一觀點,我們嘗試分析目前互聯網最流行的四個概念————-大數據,云計算,物聯網(wang)和移動互聯網(wang)與傳統互聯網(wang)之間的關系。
從這幅圖中我(wo)們可以(yi)看出(chu):
物聯網對應了互(hu)聯網的感覺和(he)運動神經(jing)系統。
云計算是互聯網的核心硬件層和(he)核心軟件層的集合(he),也是互聯網中樞(shu)神(shen)經系統萌芽。
大數據代表了互聯網的信息層(數據海洋),是(shi)互聯網智慧和意(yi)識(shi)產生的基礎。
包括物聯網,傳統互聯網,移動互聯網在源源不斷的向互聯網大(da)數(shu)據(ju)層匯聚數(shu)據(ju)和接受數(shu)據(ju)。
作為數據存儲巨頭,大數據理念是,首先從“大”入手,“大”肯定是指大型數據集,一般在10TB規模左(zuo)右。很多用戶把多個數據集放在(zai)一起,形成PB級的數(shu)(shu)據量。同(tong)時(shi)從數(shu)(shu)據源(yuan)來談(tan),大數(shu)(shu)據是指(zhi)這些數(shu)(shu)據來自多種數(shu)(shu)據源(yuan),以(yi)實(shi)時(shi)、迭(die)代的方式來實(shi)現。
物聯網所需要感受的物件對象范圍非常之寬,物聯網收集數據,我們剛剛說虛擬東西也是物聯網對象,我們看很多東西收集,如瀏覽器、搜索引擎、智能終端、游戲終端、GPS等,他通過大(da)家(jia)日常網(wang)絡留下痕跡和(he)腳(jiao)印獲取大(da)量的數據。
物聯網產生大數據。美國人前幾年醫院一年產生500個數據(ju),IMT1。4TB數據等(deng)各種的(de)數據通過傳(chuan)感器產生,也有在網上直接(jie)產生的(de),我們現在處于大數據時代,物聯(lian)網一分鐘可以產生非(fei)常多(duo)的(de)東西,蘋(pin)果(guo)下載2萬余次,一分鐘會上傳10萬條新微博,全世界物聯網上(shang)虛(xu)擬網絡上(shang),產生(sheng)了大(da)量的數據。
國外的這些公司數據量不一定有中國大,中國在一天創收10。5億,新浪微博晚上(shang)有100萬以(yi)上(shang)的響應請求,中國聯通也進行大數據搜集,他(ta)們以(yi)前給用(yong)戶每一(yi)個(ge)月發一(yi)個(ge)帳單,很多用(yong)戶認為(wei)我沒有上(shang)這(zhe)么多,中國聯通改制就(jiu)詳細記(ji)(ji)錄客戶的上(shang)網(wang)記(ji)(ji)錄一(yi)秒鐘(zhong)83萬條。
虛擬運行管理產生數據量更大,這個比較是美國,每天是80個(ge),發動(dong)機(ji)引擎收據588,企業資源管理(li)客戶關系管理(li)等現在是(shi)大數據,企業本身也是(shi)每(mei)時(shi)每(mei)刻產生大量數據。
2012年IDC公司(si)指(zhi)出在2005年由機(ji)器產生的(de)數(shu)據占到數(shu)據總量(liang)的(de)11%,2020增(zeng)加到(dao)42%。比如(ru)說(shuo)醫療,現在到醫院看病都(dou)要CT,清晰度很高300多(duo)兆(zhao),一個(ge)病人(ren)CT影(ying)響往往多大兩千幅(fu),數(shu)據量已經到了(le)幾十(shi)個GB,如今中(zhong)國大城市的醫院每天門診上完(wan)人,全國每年住院已(yi)經達到(dao)了兩(liang)億(yi)人次,按照醫療(liao)行(xing)業的相(xiang)關規(gui)定,一個(ge)患者的數據通常需要保留50年(nian)以上。
物(wu)(wu)(wu)(wu)聯網產生(sheng)的(de)(de)(de)大數(shu)(shu)(shu)據(ju)(ju)與(yu)一般(ban)的(de)(de)(de)大數(shu)(shu)(shu)據(ju)(ju)有(you)(you)不同的(de)(de)(de)特點。物(wu)(wu)(wu)(wu)聯網的(de)(de)(de)數(shu)(shu)(shu)據(ju)(ju)是(shi)異構的(de)(de)(de)、多樣性的(de)(de)(de)、非結(jie)構和(he)有(you)(you)噪(zao)聲(sheng)的(de)(de)(de),更(geng)大的(de)(de)(de)不同是(shi)它(ta)的(de)(de)(de)高(gao)增長率。物(wu)(wu)(wu)(wu)聯網的(de)(de)(de)數(shu)(shu)(shu)據(ju)(ju)有(you)(you)明顯的(de)(de)(de)顆(ke)粒性,其(qi)數(shu)(shu)(shu)據(ju)(ju)通常帶有(you)(you)時間、位置、環境和(he)行為(wei)等信息(xi)。物(wu)(wu)(wu)(wu)聯網數(shu)(shu)(shu)據(ju)(ju)可以(yi)說也是(shi)社交數(shu)(shu)(shu)據(ju)(ju),但不是(shi)人與(yu)人的(de)(de)(de)交往信息(xi),而是(shi)物(wu)(wu)(wu)(wu)與(yu)物(wu)(wu)(wu)(wu),物(wu)(wu)(wu)(wu)與(yu)人的(de)(de)(de)社會合作信息(xi)。
物聯(lian)(lian)網的(de)(de)混搭(da)將(jiang)使物聯(lian)(lian)網的(de)(de)數(shu)據變得(de)更有用,將(jiang)物聯(lian)(lian)網感知的(de)(de)數(shu)據與通過(guo)社(she)會(hui)媒體獲得(de)的(de)(de)數(shu)據結合(he),也就是人跟機器的(de)(de)社(she)會(hui)聯(lian)(lian)網,將(jiang)使決(jue)策(ce)更科(ke)學。
與隱(yin)私與法律(lv)有關的特殊(shu)性,誰是物聯網數據的擁有者,通過物聯網可以控制(zhi)家用(yong)電器(qi)。
最后,大數(shu)據助力物聯網(wang),不(bu)僅(jin)僅(jin)是(shi)收集傳感性(xing)的數(shu)據,實(shi)物跟虛擬(ni)物要結(jie)合起來。今天北京交通(tong)堵塞(sai),但是(shi)并不(bu)知道(dao)堵塞(sai)原(yuan)因,如(ru)果(guo)政府發布(bu)消息和市(shi)民(min)微博發布(bu)消息結(jie)合起來就(jiu)知道(dao)發生什么事,物聯網(wang)要過濾(lv),過濾(lv)要有(you)一定(ding)模式。
決策的時候還要考慮發布什么東西,會帶來什么影響,最近有地震,他能預測60%地(di)震,總有一天會說準(zhun)。
物(wu)聯(lian)網數據挖掘涉(she)及到(dao)數據存儲,從實(shi)物(wu)虛(xu)擬物(wu)獲取存儲,然(ran)后進行一些虛(xu)擬化和找出數據摘(zhai)要,是(shi)要加標簽(qian)的。
數據(ju)挖掘(jue)模式,合并(bing)壓縮、清洗(xi)過濾(lv)、格(ge)式轉換,法階(jie)段數據(ju)分析、知識(shi)發現、可(ke)視化、數據(ju)階(jie)段,關聯規(gui)則,分類、聚(ju)類、序(xu)列、路徑。因此后面工作(zuo)更大更重要而且更難。
最近大家關注PM2.5,另外云(yun)南西北邊、西川(chuan)西南邊干旱容易發生火災,利(li)用(yong)雷(lei)達(da)、飛機可(ke)以搜集數據,也(ye)需要進(jin)行分析,然后產(chan)生判斷。
在水面取樣,通(tong)過衛星發出去,利(li)用(yong)云計算、中心(xin)數(shu)據(ju)挖掘,河流(liu)的環境(jing)污(wu)染,數(shu)字(zi)化的模式,我們可以(yi)發現有的地(di)方(fang)有環境(jing)污(wu)染,所(suo)(suo)污(wu)染本(ben)身需要異源數(shu)據(ju),除(chu)了(le)傳感器、物聯網數(shu)據(ju)有噪(zao)聲的不干凈(jing)的,所(suo)(suo)以(yi)需要多種(zhong)數(shu)據(ju)的結合,歷史(shi)數(shu)據(ju)的挖掘,然后(hou)(hou)進行(xing)分(fen)析預感、預警(jing),所(suo)(suo)以(yi)數(shu)據(ju)后(hou)(hou)面的處理(li),食品(pin)現在也是大家所(suo)(suo)關注的,手機(ji)拍下來食品(pin)到后(hou)(hou)臺去查,是哪個(ge)公司的食品(pin),在什么地(di)方(fang)生產,食品(pin)生產日(ri)期(qi)等等,包括食品(pin)安全(quan)不安全(quan),營養成分(fen)怎(zen)么樣,食品(pin)監控,運用(yong)后(hou)(hou)臺數(shu)據(ju)等等。最近禽流(liu)感流(liu)行(xing),怎(zen)么去監測,凡是產生流(liu)感病人在網上(shang)尋找,吃什么藥好,哪個(ge)地(di)方(fang)看病好,或者微博交流(liu)。
智能交通虛擬化和可視化。交通管理中心再大,也裝不上所有的視頻,因此10秒(miao)鐘,這(zhe)樣(yang)看上去(qu)每時每刻只(zhi)有能夠監控很小(xiao)一(yi)部分(fen)(fen)內(nei)容(rong),通過軟(ruan)件把整(zheng)條(tiao)路上變(bian)成(cheng)一(yi)個視頻,再進一(yi)步(bu)我把所有馬路都(dou)通過大數(shu)據軟(ruan)件后臺分(fen)(fen)析(xi)組成(cheng)圖象,這(zhe)圖象像(xiang)上海市領導人坐飛機俯視地面一(yi)樣(yang)。所以這(zhe)些都(dou)是后臺數(shu)據分(fen)(fen)析(xi)。
大數據在社會管理上有很好的作用。美國紐約的警察分析交通用度與犯罪發生地點的關系有效改進治安。北京交通一卡通每天產生4千萬條刷卡記錄,地鐵每(mei)天1千萬人(ren)次,分析(xi)這些數據可(ke)改善城市(shi)交(jiao)通狀(zhuang)況。新加(jia)坡的公共交(jiao)通部(bu)門十(shi)年來已經使用個人(ren)位置(zhi)數據做交(jiao)通需求的預(yu)測。荷蘭的交(jiao)通部(bu)門利用移動電(dian)話的定位功能預(yu)測汽車和(he)行人(ren)的擁堵狀(zhuang)況。
最后講M2M的總(zong)量,全世(shi)界的M2M到2011年將有20億(yi),2020年180億(yi),預測2020年有500億連接,主要是在消費電(dian)子和(he)智能建筑兩(liang)個領域,將占70%。
2011年(nian)M2M全市場為(wei)2000億美元(yuan),2022年12000億(yi)美元(yuan),三分之二收入來(lai)自設備與安裝(zhuang),三分之一來(lai)自服務,2020年最大的M2M市場(chang)在(zai)中(zhong)國和美國,分別占(zhan)20%和(he)19%。
經濟學人預測物聯網所帶來的產業價值將比互聯網大30倍,物(wu)聯網將(jiang)成為下一個萬億元級(ji)別(bie)的信息產業業務。
2014年10月22-23日,第二屆國際物聯網暨(ji)傳(chuan)感(gan)技術與應用高峰(feng)論壇在杭州召開,參加論壇的(de)100多位專家學者和1000多位企(qi)業(ye)代表(biao)、行業(ye)精英,將一起共話物聯網(wang)聯手大數據帶(dai)來(lai)的前(qian)景(jing)。組委會為了適應(ying)國際合作的需求,還配備(bei)了專(zhuan)業的(de)同聲傳(chuan)譯,保證交(jiao)流(liu)無(wu)阻。