基于參數(shù)服務器的分布式機器學習研究.pdf

1、廈門大學學位論文原創(chuàng)性聲明本人呈交的學位論文是本人在導師指導下，獨立完成的研究成果。本人在論文寫作中參考其他個人或集體已經發(fā)表的研究成果，均在文中以適當方式明確標明，并符合法律規(guī)范和《廈門大學研究生學術活動規(guī)范(試行)》。另外，該學位論文為()課題(組)的研究成果，獲得()課題(組)經費或實驗室的資助，在()實驗室完成。(請在以上括號內填寫課題或課題組負責人或實驗室名稱，未有此項聲明內容的，可以不作特別聲明。)聲明人(簽名)：夸彥7?！?/p>

2、年歹月『7日摘要隨著計算機技術的發(fā)展及互聯(lián)網(wǎng)的廣泛應用，各行各業(yè)積累了大量的應用數(shù)據(jù)。如何對這樣海量的數(shù)據(jù)進行高效而精準的學習成為亟待解決的難題，引起了學術界和工業(yè)界的廣泛關注。面對這樣的難題，前人提出了一系列分布式機器學習相關的理論及方法，但是這些方法主要是從單一的系統(tǒng)或者算法角度來提供問題的解決方案，難以在實際應用中達到令人滿意的效果。本文結合前人的工作，從系統(tǒng)和算法兩方面進行了研究和探索，為分布式機器學習提供了新的參數(shù)服務器架構及

3、優(yōu)化算法，并將其應用到了實際的機器學習算法中，在保證精度的情況下，有效的提高了算法的效率。本文主要工作包括：針對分布式機器學習欠缺靈活的分布式平臺的問題，本文設計實現(xiàn)了參數(shù)服務器架構，并對其通信和容錯兩方面進行了優(yōu)化。在通信方面主要進行的優(yōu)化，包括鍵值向量存儲、有界push和pull操作，消息壓縮等。在容錯方面，主要采用一致性哈希及副本冗余等措施來進行優(yōu)化。在實驗中，充分驗證了本文系統(tǒng)的靈活性和高效性，及相應優(yōu)化措施的有效性。針對分布式

4、優(yōu)化算法所面臨的通信方面的挑戰(zhàn)，本文基于參數(shù)服務器的分布式環(huán)境，提出了有界異步拒絕算法。有界異步拒絕算法，主要包括三個部分：有界拒絕、數(shù)據(jù)服務器和自適應的學習率調節(jié)。在實驗中，充分驗證了本文提出方法的高效性和魯棒性，同時也驗證了以上優(yōu)化措施的有效性。針對稀疏邏輯回歸算法和梯度提升回歸樹算法的并行化，本文基于參數(shù)服務器的分布式環(huán)境，提出了其相應的并行化方法。對于稀疏邏輯回歸算法，采用了近鄰梯度的解法，并對其進行并行化。而對于梯度提升回歸樹