主流的overlay技術(shù)有哪些協(xié)議？

Ov:VXLAN是一種隧道轉(zhuǎn)發(fā)，在UDP傳輸層封裝以太網(wǎng)報(bào)文，目的UDP端口號為4798。為了使VXLAN充分利用承載網(wǎng)路由的平衡，VXLAN使用了原以太網(wǎng)頭的哈希值(MAC，IP，四層端口號等。)作為UDP號；用24位來標(biāo)識二層網(wǎng)段稱為VNI(VXLAN網(wǎng)絡(luò)標(biāo)識符)，類似于VLANID。未知目的地、廣播、組播等網(wǎng)絡(luò)流量封裝為組播轉(zhuǎn)發(fā)，要求物理網(wǎng)絡(luò)支持任意源組播(ASM)。

2)nvgr:nvgr

YARN到底是怎么一回事？

紗線編程模型

1.為了保證編程模型的向下兼容性，MRv2重用了MRv1的編程模型和數(shù)據(jù)處理引擎，但運(yùn)行環(huán)境被重寫。

2.編程模型和數(shù)據(jù)處理引擎mapreduce應(yīng)用程序之間有兩套編程接口:新API(mapred)和舊API(mapreduc:Jobracker和Tasktrack:YARN和ApplicationMasterYARN主要由ResourceManager、NodeManager、ApplicationMaster、Container等幾個(gè)組件組成。ResourceManager(RM)RM是一個(gè)全局資源管理器，負(fù)責(zé)整個(gè)系統(tǒng)的資源管理和分配。它主要由兩個(gè)組件組成:調(diào)度程序和應(yīng)用程序管理器(ASM)調(diào)度程序。調(diào)度程序基于容量、隊(duì)列等。約束，將系統(tǒng)中的資源分配給正在運(yùn)行的應(yīng)用程序，不負(fù)責(zé)特定應(yīng)用程序的相關(guān)工作，如監(jiān)控或跟蹤狀態(tài)，也不負(fù)責(zé)重新啟動失敗的任務(wù)。資源分配單元使用"資源容器和指示容器是一個(gè)動態(tài)資源分配單元，它封裝了內(nèi)存、CPU、磁盤和網(wǎng)絡(luò)等資源。所以每個(gè)任務(wù)的資源調(diào)度器都是一個(gè)可的組件，用戶可以自己設(shè)計(jì)。YARN提供了各種直接可用的調(diào)度器，如公平調(diào)度器和容量調(diào)度器。應(yīng)用程序管理員負(fù)責(zé)管理整個(gè)系統(tǒng)中的所有應(yīng)用程序。ApplicationMaster(AM)用戶提交的每個(gè)應(yīng)用程序都包含一個(gè)AMAM。主要功能是與RMscheduler協(xié)商獲取資源(用容器表示)，并進(jìn)一步將獲取的任務(wù)分配給內(nèi)部任務(wù)，與NM通信自動/停止任務(wù)，監(jiān)控所有任務(wù)的運(yùn)行狀態(tài)。并且當(dāng)任務(wù)運(yùn)行失敗時(shí)，重新為任務(wù)申請資源以重啟任務(wù)。目前，YARN附帶了兩個(gè)am來實(shí)現(xiàn)一個(gè)演示AM編寫方法的示例程序，一個(gè)Mapreduce程序的分布式shell-MRAppMaster。對應(yīng)其他計(jì)算框架的AM正在開發(fā)中，比如spark。Nodemanager(NM)和ContainerNM是每個(gè)節(jié)點(diǎn)上的資源和任務(wù)管理器，定期向RM報(bào)告本節(jié)點(diǎn)上的資源使用情況和每個(gè)容器的運(yùn)行狀態(tài)，接收和處理來自AM的容器啟動/停止等各種請求。容器是紗線中的一種資源抽象。它封裝了一個(gè)節(jié)點(diǎn)上的多維資源。YARN會給每個(gè)任務(wù)分配一個(gè)容器，只有容器中描述的資源容器可以用來改變?nèi)蝿?wù)。它是一個(gè)動態(tài)的資源劃分單元。YARN是根據(jù)應(yīng)用的需求動態(tài)生成的，主要由以下協(xié)議組成:ApplicationClientProtocol作業(yè)客戶端通過RPC協(xié)議提交應(yīng)用程序，查詢應(yīng)用狀態(tài)等。ResourceManagementProtocolAdmin通過該協(xié)議更新系統(tǒng)配置文件，如節(jié)點(diǎn)黑名單、用戶隊(duì)列權(quán)限等。ApplicationMasterProtocolAM希望RM通過RPC協(xié)議注冊和注銷自己，為每個(gè)任務(wù)申請資源。ContainerManagementProtocolAM通過n的要求。m啟動或停止容器，獲取每個(gè)容器的使用狀態(tài)和其他信息。ResourceTrackerNM通過RPC協(xié)議向RM注冊，定期發(fā)送心跳信息，報(bào)告當(dāng)前節(jié)點(diǎn)的資源使用情況和容器的運(yùn)行狀態(tài)。紗線與紡織品。;的工作流文本描述了這個(gè)過程:1.客戶提交申請，RMamp提交的申請內(nèi)容是什么？;接受申請請求后的sASM:a:applicationmast:;啟動應(yīng)用程序的命令masterc:;自己的應(yīng)用內(nèi)容2:提交三部分給R.M，然后RM找NodeManager，然后Nodemanager啟用Applicationmast:，但它需要資源來執(zhí)行任務(wù)，所以我們必須向RM它將向RM注冊，比如說我已經(jīng)開始了。注冊后，我可以通過RM管理它，我們的用戶也可以通過RM的網(wǎng)絡(luò)客戶端。)ASM只負(fù)責(zé)激活A(yù)PplicationMaster。注冊后，我們必須申請資源。申請資源是通過第四步。在向ResourceSch:申請資源后，它會尋找Nod:在知道自己申請了任務(wù)后會啟動任務(wù)，環(huán)境會在當(dāng)前啟動前準(zhǔn)備好。7:啟動任務(wù)后，會和APplicationmast:將向RM報(bào)告，并讓RSM注銷。然后RSM將回收資源。當(dāng)然，我們是分布式的，所以我們不會只和自己的Nodemanager通信。它還將與其他節(jié)點(diǎn)通信。