统治延续，忠右卫门提前让位与德川家兴，由他在江户坐镇。然后自己以“太王”的身份，在全国各地巡回，甚至不避劳苦的去往檀香山、马尼拉和拉包尔，倾听全国各地百姓的意见。
多年劳苦，忠右卫门于和历光文二年，西历1873年，秋月，无疾而终于江户吹上御所。治世十二载，春秋四十九。