芒果视频

分布式系統的技術棧分析 分布式管理系統常用技術和應用場景

本文章由注冊用戶 知無涯 上傳提供 2024-11-30 評論 0
摘要:分布式系統是一種復雜的系統,應用過程中會衍生出很多分布式需求,為了應對這些需求,分布式系統的技術棧主要有分布式通信技術、分布式資源管理和負載調度技術、分布式協調與同步技術、分布式存儲技術等,不同的技術在應用場景方面也有所不同,下面一起來看看分布式系統的技術棧分析以及分布式管理系統常用技術和應用場景吧。

一、分布式系統的技術棧分析

分布式系統的出現是業務發(fa)展導致的最終(zhong)結(jie)果(guo),而由于業務的拆(chai)分(fen)(fen),我(wo)們(men)又(you)被迫會衍生(sheng)出更多的分(fen)(fen)布式需(xu)求來,以及應對這些需(xu)求的技術:

1、因為業務拆分的多,業務對應的模塊之間就需要通信,為了保證通信的快速可靠,我們需要掌握分布式通信技術

2、業務拆分的過多,每個模塊可能還需要搞集群,那么多服務器資源,為了能夠保證資源的精準分配,我們還需要考慮分布式資源管理和負載調度技術

3、業務拆分之后,模塊與模塊之間又需要對很多共享數據做訪問,為了保證安全完整的數據狀態,我們也要用到分布式協調與同步技術

4、到了業務拆分的階段,數據必然龐大,為了數據存儲的可靠,為了保證優秀的數據讀寫性能,我們需要分布式存儲技術

5、業務如此復雜,為了公司的發展,業務能繼續擴大,就需要能更加精準的營銷和運營,我們還需要對數據進行實時、離線處理分析,此時,我們又得考慮分布式計算技術

6、在業務拆分后,整體架構出現了巨變,不可能再用以前集群方式的思維去考慮高可用,那么分布式的可靠性技術又要納入(ru)我們的(de)掌握范(fan)疇。

二、分布式管理系統常用技術和應用場景

1、consistent hashing:一(yi)致性哈(ha)希,解決數據均衡(heng)分布(bu)問題。

2、vector clock:時鐘向量,多(duo)版本數(shu)據修(xiu)改。

3、Quorum W R>N[with vector clock]:抽屜原理(li),數據(ju)(ju)一(yi)致性的另一(yi)種解決方案。時鐘向量,多(duo)版本(ben)數據(ju)(ju)修改。

4、Merkle tree [with anti-entropy]:數據(ju)復制。

5、MVCC:copy-on-write與snapshot。

6、2PC/3PC:分布式事(shi)務。

7、Paxos:強一致性協(xie)議。

8、Symmetry and Decentralization:對(dui)(dui)稱(cheng)性和去(qu)中(zhong)心化(hua)(hua)。對(dui)(dui)稱(cheng)性(symmetry)簡化(hua)(hua)了(le)系(xi)統(tong)的(de)配(pei)置和維護,去(qu)中(zhong)心化(hua)(hua)是對(dui)(dui)對(dui)(dui)稱(cheng)性的(de)延伸,可以避免master單點,同時方便集群scale out。

9、Map-Reduce:分而治(zhi)之(zhi);移動數據不如移動計(ji)算。將計(ji)算盡量調度到與存儲節點在同一臺(tai)物理機(ji)器上(shang)(shang)的計(ji)算節點上(shang)(shang)進(jin)行,這稱之(zhi)為本(ben)地化計(ji)算,本(ben)地化計(ji)算是計(ji)算調度的一種重要優化。

10、Gossip協(xie)議:節(jie)點(dian)管理。

網站提醒和聲明
本站為注(zhu)冊用戶提供(gong)(gong)信(xin)(xin)息存儲空間服務,非“MAIGOO編輯”、“MAIGOO榜單研究員(yuan)”、“MAIGOO文章(zhang)編輯員(yuan)”上(shang)傳提供(gong)(gong)的文章(zhang)/文字均是注(zhu)冊用戶自主發(fa)布上(shang)傳,不(bu)代表本站觀點,版權歸原作(zuo)者(zhe)所(suo)有(you)(you),如(ru)有(you)(you)侵權、虛假信(xin)(xin)息、錯誤信(xin)(xin)息或任(ren)何問(wen)題,請及時聯(lian)系我們,我們將在第(di)一時間刪除或更(geng)正。 申請刪除>> 糾錯>> 投訴侵權>> 網頁上相(xiang)關信(xin)息(xi)的(de)知識產權歸網站方所有(包括但不(bu)限(xian)于文(wen)字、圖片、圖表、著作(zuo)權、商標權、為(wei)用戶提(ti)供(gong)的(de)商業(ye)信(xin)息(xi)等),非經許(xu)可不(bu)得抄襲或使用。
提交說明: 快速提交發布>> 查看提交幫助>> 注冊登錄>>
您還未登錄,依《網絡安全法》相關要求,請您登錄賬戶后再提交發布信息。點擊登錄>>如您還未注冊,可點擊注冊>>,感謝您的理解及支持!
發表評論
最新評論
暫無評論
相關推薦
分布式管理系統的市場前景怎么樣 分布式系統的發展趨勢分析
分布式系統具有高性能、低能耗、易擴展等優勢,在指揮中心、物聯網、醫療保健等多個領域有著廣泛的應用,整體來看應用場景是比較廣闊的,未來隨著技術的發展,分布式管理系統將向智能化、靈活性、健壯性等方向發展,提高性能和可靠性、穩定性,并進一步提高管理效率和降低操作成本。下面一起來看看分布式管理系統的市場前景怎么樣以及分布式系統的發展趨勢分析吧。
分布式系統架構設計三大原則 分布式系統架構設計有哪些優化策略
分布式系統的架構設計直接關系到分布式系統的性能表現,進行架構設計時,要注意三大原則,分別是高可用設計、高并發設計和高性能設計,設計過程中,為了優化架構,可以采用數據分片、負載均衡、緩存機制、異步處理、分布式事務、容錯處理等策略。下面一起來詳細了解一下分布式系統架構設計三大原則以及分布式系統架構設計有哪些優化策略吧。
什么是分布式儲能系統 分布式儲能在電力系統的應用場景
隨著可再生能源的擴展,越來越有必要將不斷變化、間歇式的電力輸出轉變成更穩定和可靠的電力供應。分布式儲能系統通過調節負荷,吸收電力峰值,在電力供應突然降低時注入電力,就地能源存儲可以緩解由可再生能源生產輸出所造成的電源波動。分布式儲能系統接入位置靈活,目前多在中低壓配電網、分布式發電及微電網、用戶側應用。
分布式系統的基礎是什么 分布式系統的設計難點有哪些
分布式系統是建立在計算機網絡之上的,因此它的基礎就是計算機網絡,不過分布式系統的設計思想和網絡操作系統不同,并且由于分布式系統自身的特點及應用環境的復雜性,分布式系統在設計中存在部分失效問題、性能和可靠性過分依賴于網絡、缺乏統一控制等難點。下面一起來了解一下分布式系統的基礎是什么以及分布式系統的設計難點有哪些吧。
分布式系統的技術棧分析 分布式管理系統常用技術和應用場景
分布式系統是一種復雜的系統,應用過程中會衍生出很多分布式需求,為了應對這些需求,分布式系統的技術棧主要有分布式通信技術、分布式資源管理和負載調度技術、分布式協調與同步技術、分布式存儲技術等,不同的技術在應用場景方面也有所不同,下面一起來看看分布式系統的技術棧分析以及分布式管理系統常用技術和應用場景吧。