計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)個(gè)人總結(jié)

計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)個(gè)人總結(jié)

通過本次項(xiàng)目的研究與實(shí)踐，認(rèn)識(shí)到了理論指計(jì)算機(jī)網(wǎng)絡(luò)工程這門學(xué)科學(xué)習(xí)上的重要性，也了解到了知識(shí)不是孤立的一點(diǎn)兒，或者一部分，它都有一定的知識(shí)架構(gòu)和知識(shí)體系，本次網(wǎng)絡(luò)工程課中的很多知識(shí)都是基于計(jì)算機(jī)網(wǎng)絡(luò)原理，計(jì)算機(jī)組成原理的，如果沒有前導(dǎo)課作為基礎(chǔ)，對(duì)本門課程的掌握就難上加難了。這次項(xiàng)目的研究，使得所學(xué)的專業(yè)知識(shí)得到了統(tǒng)一化的理解。
由于對(duì)程序這塊基礎(chǔ)不夠扎實(shí)，我主要就對(duì)理論知識(shí)進(jìn)行了深層次的學(xué)習(xí)�？戳宋墨I(xiàn) MapReduce模型在Hadoop平臺(tái)下實(shí)現(xiàn)作業(yè)調(diào)度算法的研究與改進(jìn)。本文首先簡(jiǎn)要介紹了云計(jì)算的定義，特點(diǎn)和應(yīng)用場(chǎng)景；然后對(duì)云計(jì)算的最廣泛運(yùn)用的開源平臺(tái)Hadoop的關(guān)鍵技術(shù)-MapRe
……（新文秘網(wǎng)http://120pk.cn省略497字，正式會(huì)員可完整閱讀）……　
s)來組織作業(yè)，并把資源公平的分到這些資源池里。默認(rèn)情況下，每一個(gè)用戶擁有一個(gè)獨(dú)立的資源池，以使每個(gè)用戶都能獲得一份等同的集群資源而不管他們提交了多少作業(yè)。按用戶的Uni*群組或作業(yè)配置屬性來設(shè)置作業(yè)的資源池也是可以的。在每一個(gè)資源池內(nèi)，會(huì)使用公平共享的方法在運(yùn)行作業(yè)之間共享容量(capacity)。也可以給予資源池相應(yīng)的權(quán)重，以不按比例的方式共享集群。除了提供公平共享方法外，公平調(diào)度器允許賦給資源池保證最小共享資源，這個(gè)用在確保特定用戶、群組或生產(chǎn)應(yīng)用程序總能獲取到足夠的資源時(shí)是很有用的。當(dāng)一個(gè)資源池包含作業(yè)時(shí)，它至少能獲取到它的最小共享資源，但是當(dāng)資源池不完全需要它所擁有的保證共享資源時(shí)，額外的部分會(huì)在其它資源池間進(jìn)行切分。
相關(guān)算法的了解，僅限于數(shù)學(xué)角度的對(duì)知識(shí)的理解。這里主要有：權(quán)重計(jì)算及更新權(quán)值、更新最小共享額、更新公平共享額算法。
1、作業(yè)權(quán)重計(jì)算
(1)默認(rèn)情況下，權(quán)重是基于作業(yè)優(yōu)先權(quán)的，但也可以基于作業(yè)的大小和年 齡。權(quán)重的計(jì)算方法如下：
JobWeight=
(2)根據(jù)優(yōu)先權(quán)計(jì)算權(quán)重：jobWeight =jobWeight*priorityFactor
(3)根據(jù)用戶自定義的weightAdjusteI’類調(diào)整權(quán)重
(4) 更新權(quán)重每個(gè)已經(jīng)運(yùn)行的作業(yè)權(quán)重更新公式：jobWeight=jobWeight
2、更新作業(yè)的最小共享額
在每個(gè)pool中，將其擁有的Slot按作業(yè)的權(quán)重分配給各個(gè)作業(yè)(由步驟(1)完成)，分完之后將剩余的Slot按作業(yè)的權(quán)重和缺額分配給仍需slot的作業(yè)(由步驟(2)和(3)完成)，如果還有S10t剩余，則將這些slot共享給其他Pool。
初始化:
當(dāng)前所有作業(yè)的最小共享額置零；poo1的minMapS數(shù)或者minReduees數(shù)由用戶在配置文件中設(shè)定。重復(fù)以下幾步，直到slotsLeft=0：
(1)計(jì)算每個(gè)作業(yè)的最小共享額：jobinfo.minMaps或jobinfo.minReduCeS
首先計(jì)算該作業(yè)可獲得的共享值：min Slots=
根據(jù)當(dāng)前pool的剩余slot數(shù)，調(diào)整該共享值；
slotToGive=min｛main｛slots，runnableNum-curMin｝，min slots｝，將slotsToGive作為最小共享額賦予相應(yīng)的作業(yè)，修改值為值減去slotsToGive。
如果此輪循環(huán)中，SlotSLeft值未變，即沒有51。t分給任何作業(yè)，則將剩余的Slot共享給pool中所有作業(yè)，即，執(zhí)行(2 ……（未完，全文共2193字，當(dāng)前僅顯示1394字，請(qǐng)閱讀下面提示信息。收藏《計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)個(gè)人總結(jié)》）