在此期間，諾貝爾經常到郊外遊玩，看到工人們在荒山野嶺里用鐵錘砸石頭，為了開通一條鐵路或公路，他們劈山斬嶺，花費很大心血和勞動。這在他的心中留下很深印象，他經常想：為了開通一條鐵路或公路，要花費多麼艱苦的勞動啊！要是能發明一種東西，一下子就能把大山劈開，該有多好！
兩年後諾貝爾返回彼得堡。當時諾貝爾的父親正幫助俄國人造水雷，諾貝爾回來後做了父親的助手。
老諾貝爾發明的水雷爆炸能力極差，使用也很不方便。能不能創造一種更好的水雷呢？諾貝爾就此與父親多次探討。“好的水雷要有好的炸藥”，老諾貝爾提出了問題的關鍵。“可目前沒有更好的炸藥。”1859年，在獲得父親的支持後，諾貝爾回到瑞典，創建化學工廠，專門研究炸藥。
1866年，諾貝爾終於製造成功了一種液體炸藥。這種炸藥爆炸力極強，人們把它稱為“諾貝爾炸油”，被全世界普遍使用。但這種液體炸藥非常容易爆炸，運送它的火車和船舶常常因震動和顛簸而引起爆炸。
“怎樣使炸藥能夠安全運輸呢？”諾貝爾開始了新的研究。1864年9月3日，諾貝爾實驗室在一聲巨響聲中化為灰燼。諾貝爾的弟弟被炸死，父親被炸成殘廢。諾貝爾毫不氣餒，忍住悲痛，繼續研究。
諾貝爾冒著生命危險，進行幾百次的試驗。4年以後，經過自己艱苦、認真地工作，他終於獲得了成功。
諾貝爾把液體炸藥吸入一種矽土中，這樣，即使遇到一定的溫度或摩擦、震動，炸藥也不會爆炸，它必須引爆後才能爆炸。這樣，能夠安全運輸的固體炸藥——黃色炸藥就問世了。相應的，諾貝爾還發明了人類歷史上第一個引爆裝置——雷管。這就給人們提供了很多方便，使人類有計劃的利用炸藥，進行開山劈路，鑽隧打井，節省了很多力氣。
後來，諾貝爾又著手發明更具爆炸力的炸藥，投入了艱苦而又複雜，而且是更加危險的試驗。
一次，他在實驗室里親自點燃了導火索，雙眼盯著火星緩緩蔓延，一動不動地站著。近了！近了！火星已經接近炸藥了，諾貝爾心臟在“怦怦”地跳動，但雙眼仍然盯著炸藥不放。是時候了，“轟！”雷鳴般的爆炸聲震撼著大地，濃煙從實驗室里飛速地湧出室外。聽到聲音的人都慌忙趕來，齊聲驚呼：“諾貝爾完了！”“諾貝爾完了！”
突然，一個滿身鮮血的中年人從地上掙扎著爬了起來。他頑強地衝出濃煙，高舉雙手呼喊著：“成功了！成功了！”他，就是諾貝爾。
1875年，諾貝爾發明了威力更大的膠質炸藥。1887年，諾貝爾又發明了威力強大、沒有濃煙的炸藥——無煙炸藥。於是，諾貝爾在很多國家建造炸藥廠，並申請專利，很快便成為擁有巨富的“炸藥大王”。
諾貝爾根本沒有料到，他發明的這種火藥並未局限於工業使用，而是更多地充當軍火，用於戰爭。面對這種情況，諾貝爾十分憂傷，他經常夜不能寐，眼望蒼茫的夜空，苦苦思索。
1888年，諾貝爾的哥哥去世，報紙錯誤地以為是諾貝爾去世了，因此評論道：靠發明火藥大發橫財的諾貝爾終於死了，整個世界將會變得太平。看過文章，諾貝爾流出眼淚。他為自己的發明感到內疚，並在1895年寫道：“由於炸藥，世界上死了不少人，我得為此補償。”