平家一門帶著安德帝遷都福原。在東國的源賴朝企圖打倒平家。1180年夏天，高倉上皇的第四皇子尊成親王誕生時，怪僧文覺獲得追討平家的院宣（後白河法皇的令旨），於是被流放的罪犯賴朝揭旗舉兵。得知源氏武裝蜂起，平家一門以維盛為大將率軍征討。源平兩軍隔著富士川佈陣，卻因夜半水鳥的振羽聲，平家軍誤以為是敵軍奇襲，於是不戰而逃、不戰而敗，蔚為世人笑柄。平家一門再度回到京都，院政重開。身為官軍的平家陸續平定源氏的叛軍。

翌年，高倉上皇駕崩。平時忠計畫讓中宮德子成為後白河法皇的後宮。但因德子拒絕，改由嚴島內侍之女（平清盛之女）御子姬代為進宮成為法皇養女。一個月後，清盛突然高燒病倒，不久就去世。清盛之妻時子為了加強一門的團結，對其子宗盛假傳遺囑，希望能打倒源氏。相繼的戰事中，平家軍雖然在墨?川之戰獲勝，越前水津之戰卻敗北。儘管戰事不利，平家一門陸續登上高位，德子被授予建禮門院的女院封號。

另一方面，賴朝以鎌倉為根據地，和同父弟義經相逢，木曾義仲在信濃擁有大軍。1183年，維盛的十萬大軍為了打倒義仲向北國進軍。俱利迦羅谷、志雄、藤原相繼慘敗。而且敗走中將已故重盛愛用的歷代武具、黃櫨色?鎧甲用來交換米糧。宗盛想盡辦法用鉅款向商人買回，想交給自己的嫡子清宗。

源氏大軍逐漸接近京都。平家派出三千騎迎戰源義仲及行家的軍隊，卻立刻就返回京都。召開作戰會議後，決定先退到西國，再徵兵作戰。

源氏軍終於入京，聽到要離開京都的消息，法皇先行逃到比叡山。平家一門帶著安德帝到西國。