哈爾濱工程大學研究生教育的歷史可以追溯到哈軍工時期。1955年3月，哈軍工黨委做出了培養研究生的決定，當年招收3名海軍工程系研究生，開創了哈爾濱工程大學研究生教育歷史的新紀元。

1966年，哈爾濱工程大學停止招收研究生。1978年哈爾濱工程大學被確定為全國重點大學，同年恢復研究生招生，并在艦艇結構力學等學科首批招收8名碩士研究生，成為文革后第一批開展研究生教育的大學之一。1981年，哈爾濱工程大學被國務院批準為首批博士、碩士學位授權單位，船舶流體力學、水聲工程2個學科獲得首批博士學位授予權。1997年，哈爾濱工程大學開始招收全國第一批工程碩士研究生。當年，哈爾濱工程大學研究生總數達1759人，研究生導師257人。2002年，教育部批準哈爾濱工程大學設立研究生院，成為全國56所設有研究生院的高校之一，哈爾濱工程大學進入國家研究生培養主力軍行列。2007年獲準建立研究生院。2009年，哈爾濱工程大學通過工信部“研究生教育優秀工程”專家組現場評估驗收并獲優秀評價。目前，研究生院下設院辦、招生辦、培養辦、學位辦、學術辦5個科室。副校長吳林志兼任研究生院院長。

目前，哈爾濱工程大學有國家級重點學科2個，博士學位授予權一級學科12個，一級學科碩士點29個；國家重點學科一級1個、二級1個，國防特色學科11個，黑龍江省重點學科群1個。在學科門類和招生類型上，哈爾濱工程大學可在經濟學、法學、教育學、文學、理學、工學、管理學、藝術學等8個門類招收碩士研究生，在工學、法學、管理學等3個學科門類招收博士研究生，并可招收工程碩士、工商管理碩士（含EMBA）、公共管理碩士、金融碩士、翻譯碩士、社會工作等6種專業學位碩士研究生，形成了支撐哈爾濱工程大學高層次創新人才培養的學位授權體系。

截至2016年12月，哈爾濱工程大學各類在校研究生總數為8123人，其中博士生1775人，碩士生5812人，留學研究生300人。

如今，哈爾濱工程大學的博士生導師從首批批準的2人已經發展到今天的477人，形成了一支以兩院院士、長江學者等國內外知名專家為引領，全國優秀教師，教育部跨世紀優秀人才等學科帶頭人為中堅的研究生導師隊伍。高水平的導師團隊帶動了重點實驗室和研究生實踐基地的建設。目前哈爾濱工程大學有國家級重點實驗室2個，教育部重點實驗室及工程研究中心5個，國防重點學科實驗室2個，省重點實驗室及工程研究中心5個，省發改委工程實驗室3個。哈爾濱工程大學與中船重工703研究所、中國電子科技集團第49研究所等單位聯合建立了6個省級研究生培養創新示范基地，與國內眾多大中型企業建立了產學研聯合培養研究基地，為研究生開展社會實踐實習搭建了良好的創新能力培養平臺。我校與中國船舶重工集團公司第703研究所聯合培養研究生實踐基地獲評“全國示范性工程專業學位研究生聯合培養基地”。作為行業特色型高校，2011年，哈爾濱工程大學入選首批“全國工程碩士研究生教育創新院?！?，成為全國50所創新院校之一，同時船舶與海洋工程、控制工程、核能與核技術3個工程領域入選“全國工程碩士研究生教育特色工程領域”。

哈爾濱工程大學成為國家留學基金委“建設高水平大學公派研究生項目簽約高校”，比利時布魯塞爾自由大學聯合培養博士生項目、俄羅斯遠東聯邦大學聯合培養研究生項目、船舶與海洋工程人才培養項目入選“國家創新型人才國際合作培養項目”。《隨機過程》《聲學測量》《核反應堆工程》《現代設計方法》入選教育部“來華留學英語授課品牌課程”。2門課程入選全國工程專業學位教指委研究生教育在線課程重大建設項目。

近年來，哈爾濱工程大學堅持“三海一核”特色辦學方略，全面推進“創新推動，打造品牌”的人才培養戰略，研究生教育取得了明顯進步和發展，辦學規模不斷擴大，為國家和社會培養了多門類高層次專門人才。從2003年至今，哈爾濱工程大學共培養碩士、博士以及各類專業學位碩士3萬余名，研究生畢業生就業率連續多年保持在95%以上，每年海軍、船舶、核工業系統等幾百家用人單位專程到我校招聘畢業生，使我校畢業生在激烈的就業競爭中具備了特色的優勢和競爭力。

哈爾濱工程大學研究生教育始終堅持以“提高質量”為核心，全面落實哈爾濱工程大學綜合改革，以“十三五”規劃為指導，不斷深化研究生培養機制改革，全面提高研究生培養質量。

自研究生院成立的10余年來，哈爾濱工程大學步入了研究生學位教育速度、規模到質量大幅提升的跨越期。全校對“研究生教育對哈爾濱工程大學創建高水平研究型大學具有重要的先導性、全局性和戰略性地位，是哈爾濱工程大學事業發展最核心、最重要的組成部分之一”達成共識，形成了通力為研究生教育服務的氛圍，促進了研究生教育水平不斷提升，為哈爾濱工程大學創建特色鮮明的高水平研究型大學注入了強勁的發展動力，我們相信，隨著哈爾濱工程大學綜合改革的推進，哈爾濱工程大學將會為我國建設海洋強國培養更多可靠頂用的人才。