公元前1世紀左右，日耳曼人已經在多瑙河、萊茵河和維斯瓦河之間的廣大地區定居下來，過著亦農亦牧的生活，成為羅馬帝國北方的鄰居。
日耳曼人向羅馬境內遷徙，可以追溯到公元前2世紀末，基姆伯爾人和特烏托涅斯人為了尋求土地，他們越過阿爾卑斯山，進入羅馬境內，與羅馬人發生過幾次激戰。但最後被羅馬徹底打敗。可是，300年後，馬爾庫斯·奧勒利烏斯當皇帝時，日耳曼部落中的馬可曼尼人越過多瑙河再次進犯羅馬帝國，奧勒利烏斯已沒有能力把他們全部打退。
公元172年，奧勒利烏斯只得允許一部分日耳曼人定居在多瑙河以南，目的是想利用他們抵禦其他蠻族。此後，越來越多的日耳曼人湧進羅馬。他們有的前來經商，有的則在大農莊中勞動，有的則充當羅馬僱傭兵，還有個別上層分子在羅馬政府里獲得了不錯的職務。這批先來的日耳曼人，成為後來大遷徙期間進入羅馬帝國的日耳曼人的同盟軍。
公元1世紀，日耳曼人的氏族公社制度已經開始解體。到3、4世紀之交，日耳曼人由於戰爭的需要，各部落經過合併和組合，已結成許多部落聯盟，如東哥特人、西哥特人、法蘭克人、汪達爾人等。
日耳曼人在與羅馬人的接觸中，逐漸掌握了較先進的工具和武器。生產力提高了，人口增多了，助長了他們向外遷徙擴張的趨勢。部落聯盟的首領和氏族貴族，為了掠奪土地和財富，經常越過多瑙河，襲擊羅馬帝國的北方行省，這使得羅馬帝國政府越來越陷入困境。
然而，日耳曼人的大規模的遷徙運動，是從4世紀後半期開始的。這主要是受匈奴人西遷的影響。匈奴兵強馬壯、勇敢善戰，這和手持長矛、弓箭的日耳曼人相比，優勢很大。
由於匈奴人由東向西的驅趕，日耳曼部落中的東哥特人、西哥特人、汪達爾人、法蘭克人、盎格魯人、撒克遜人、勃艮第人等，不得不離開了他們居住的故土，遷徙到羅馬帝國境內，從而造成日耳曼部落大遷徙的浪潮。
西哥特人為避匈奴人，請求進入羅馬帝國避難。羅馬人同意了他們的要求，並答應分給土地，供應糧食，而西哥特人則同意為羅馬提供兵源。但羅馬人背信棄義，不但沒有履行諾言，反而對西哥特人進行沉重的盤剝。西哥特人憤而反抗，並於公元410年攻陷羅馬城，西羅馬帝國也因此而滅亡。
在羅馬人和西哥特人交戰的時候，另一支日耳曼部落汪達爾人乘虛而入，搶掠了高盧後進入西班牙定居。公元416年，西哥特人向汪達爾人發動進攻，汪達爾人抵擋不住，只好渡過直布羅陀海峽，進入北非。經過10年的征戰，汪達爾人戰勝了那裡的羅馬軍隊，占領了羅馬的阿非利加行省，定都迦太基，建立了汪達爾王國。