1890年，俾斯麦75岁的生日是在弗里德里希斯鲁过的，当地的业余乐团为他专门举行了一场音乐会。这支单管制的乐团演奏的《第六交响曲·田园》使他愉快。8月，他仍到巴伐利亚基辛根去疗养。9月，他决定写回忆录，在外交部给他当过22年顾问的洛塔尔·布赫尔先生来给他做助手。俾斯麦从柏林带回大批文件，但他太情绪化了，他罢官后怒气冲天，加之年老记忆衰退，口述历史时常常与近期发生的事相混淆，他经常大发牢骚，把正在叙述的事又丢到一边。布赫尔想让他写作纳入正轨但毫无办法。“同一件事，他今天这么说，明天却又那么说。绝对不承认参与过任何一件搞糟糕了的事。”冬天工作室仅12℃，书稿完成1/3布赫尔便病倒了。布赫尔于1892年10月去世。布赫尔的亲友们说，俾斯麦刻薄寡恩，木材要留下卖矿山，壁炉也不给他生。布赫尔是拉萨尔介绍给俾斯麦的，也有人说布赫尔过于趋炎附势丧失了自我。
俾斯麦辞职后的这个夏天，德英签订条约，德国把乌干达等转让给英。英国把黑尔戈兰岛转让给德。俾斯麦认为对英让步过多。他在接受《汉堡新闻》约稿后，好打发日子了。他发表文章含沙射影或接见记者高谈阔论。俾斯麦虽不直接攻击威廉，但威廉不能容忍。1891年6月，威廉扬言，总有一天要将俾斯麦关进柏林的施潘道监狱封住这张嘴。将军们说，俾斯麦坐监？这不是往德国人脸上抽鞭子吗？
1892年6月，赫伯特在维也纳举行婚礼，柏林向奥打招呼，官方不要出面。德国驻维也纳使馆也不许任何人员出席。俾斯麦是造舆论的老手，他利用《汉堡新闻》将这种心地狭隘，明明身在大国，却要做小国之君作为大加伐笞。大众同情被侮辱被损害者效应立即发生，火车沿途各站民众蜂拥慰问，父子彬彬有礼，一言不发。维也纳几乎倾城而出，欢迎下台的俾斯麦父子，至于新娘漂亮与否倒在其次。
归途，各车站人山人海，当地政府受命干涉，哈勒、马德堡、科堡的欢迎会被取缔，这本是越阻隔越来劲的事，民众更狂热了。经慕尼亚、奥格斯堡去基辛根，对月台上的民众，俾斯麦按捺不住发表演说了。在耶拿大学他对师生们演讲说：“君主立宪国巩固的基础，在于君主和民众的意见一致。今天德国议会的低能表现，我应负责。民选议会要监督政府，有时还应加以指导。以前，我不遗余力鼓励国民忠君。所以宫廷和官僚们都感谢我而常常为民众非难。今天，我被宫廷和官僚们冷落，却受到民众的安慰，使我深感惭愧。来日无多，覆水难收。倘若大家承认我为国家的昌盛、民族的繁荣还做了点什么的话，我深感庆幸。在三次战争中我曾让数万德国青年丧生，这是我的罪过，生为人就有数不胜数的罪过，我只有求主上帝的宽恕，求民众的谅解。”欢声雷动。俾斯麦动辄解散国会，总是对议员们玩花头。失势后才觉得民众的可亲。同民众的接触促使更多人去看他发表在报上的文章、言论。
1893年，威廉二世野心勃勃地从土耳其取得修筑巴格达铁路租让权，妄图实行将柏林、拜占廷、巴格达连接起来的“三B计划”，从而与俄、英关系更紧张。
8月，俾斯麦因患带状疱疹在基辛根疗养。危险期过后，施魏宁格9月3日向报界透露前首相患病的消息。功臣老病，主子煎逼又一次引起公众的同情。威廉二世知道，若不主动和解会有损自己的形象，于是又是致电慰问，又是表示请俾斯麦到某王宫疗养。俾斯麦答曰，村夫野老有庄园三座，皇上慷慨似属多余，不过仍然感念。
1894年1月26日，威廉二世再三邀请俾斯麦到柏林。一队近卫军护送前首相至皇宫，沿途民众夹道欢呼高唱爱国歌曲。2月下旬，威廉二世到底屈尊到弗里德里希斯鲁乡下来拜望了。
1895年4月1日，俾斯麦80寿辰。威廉带了一大帮骑马耍着银光闪闪的马刀前来拜寿。柏林来的人以为会见到一个心平如水的老人，哪知俾斯麦几杯下肚，肝火益旺、壮心不已地高论道：有创造的生活，是从奋斗而来的。植物经昆虫进化到鸟儿，从搏击长空的鹰扑杀羊群的狼到人类都是一样，没有奋斗就谈不上生活！这种社会达尔文主义，这种物竞天择、弱肉强食的论调哪儿还能找到一点耶稣基督的影子呢？私下俾斯麦也承认，在最后20年中，他离上帝越来越远了，他感到难过。他常想人世间充满了苦难，是不是上帝也受了他的摄政的蒙蔽呢？上帝有摄政吗？
柏林有一个心胸比俾斯麦更为狭窄的小人醋意十足地旁观着皇帝对俾斯麦的恩宠，他是失宠的瓦德西。这家伙当然知道皇帝做样子给人看。果然，不久《汉堡新闻》上俾斯麦披露德俄再保险条约确有其事，并抨击卡普里维（俾斯麦的继任首相）拒绝续订，损害两国关系。一时间，德国一些反对放弃殖民地，要求扩张的人和反对拒俄结欢英国的人搅在一起，打出了“俾斯麦抵抗运动”的旗号。气得威廉大骂：叛国行为，混蛋！
1895年11月1日，沙皇表兄逝世，其子即位，是为尼古拉二世。二世于1896年5月26日，在莫斯科加冕。李鸿章参加加冕仪式，俄国事了后，于6月拜访了俾斯麦。李请俾对中国发表意见，俾认为自己：“无法判断那些遥远的事物。”并感慨地加上一句：世界的运动就像一句古希腊谚语所说，“逝者如斯，事物无定。”
1895年还有一件大事，即是基尔运河开凿成功。这条北海至波罗的海运河从易北河口的布伦斯比特尔科各向东进100公里，达基尔港的荷尔台瑙。成为沟通两海最安全最短和最经济的路线。德国军舰可不再绕丹麦半岛。开航典礼的那天却不见首议策划督促开工的俾斯麦，没有任何地方任何人提到他。次年，庆祝帝国诞辰25周年时，威廉致电俾斯麦讲了些感激之类的漂亮话。1897年庆贺威廉一世诞辰100周年时，表彰了一批老臣包括一些位小职卑的，惟独俾斯麦榜上无名。不久，威廉又打发人送了一只舰艇模型到弗里德里希斯鲁。柏林有个贵族举行婚礼，既请了威廉又请了赫伯特。威廉说，赫伯特去他就不去。
谁都知道威廉二世是个一反一复没有定准的小人，他根本不能对自己的行为负责，却大言不惭地说，他肩负伟任，要带领德国人民走向美好的时代。结果他把德国送进深渊，自己却逃到荷兰去了。
俾斯麦因迷走神经疼痛腿脚不便只好坐轮椅。1897年圣诞节前威廉在俾斯麦生前最后一次来访。客人中有毛奇的侄儿，小毛奇后来在1914年也当了总参谋长。威廉发觉俾斯麦有话要讲，他总是在当口想方设法把话岔开。俾斯麦非讲不可，自己家里嘛！“陛下，您不要以为掌握了军官团就可以为所欲为，万一哪天您掌握不了呢？那时事情就可能是另外一种样子了。”俾斯麦的确讲中了要害。威廉的父亲和祖父在实践中的所谓指挥，不过是种形式而已，他们信赖自己的将官，老实本分地安于这种形式，他们甚至还出生入死地投入过一些血战。威廉二世却安于自欺，当别人将什么都给他准备好，并装着这些想法都出自于他的时候他很坦然。他觉得自己是名副其实的统帅。
威廉来访问俾斯麦前，11月1日有两个德国人在中国被杀。事情是这样的，山东曹州府各县有德国传教士欺压老百姓，巨野县张家庄农民击毙能方济和韩里两名教士。消息传来，威廉二世高兴地说：“中国人终于给我们以口实，立即出兵！”7日，泊于上海的德国东洋舰队受命开赴胶州湾。11月14日，三艘舰数百名德军登陆，胶州湾被占。德驻华公使海靖，提出撤鲁巡抚、赔银69000两、办凶手、合建胶州至北京铁路等6项要求。与此同时，德派亨利亲王率另一舰队赴中国。舰队抵达，海靖再提租借胶州湾。1898年3月6日，德逼清订立强租胶州湾，划山东为德势力范围的《胶澳租借条约》。
1898年夏，俾斯麦患肺炎，病势凶险，施魏宁格终日不离左右。半个月后似有些起色。一天俾斯麦坐轮椅在阳台上看着大枞树间几只吵嘴的椋鸟出神。忽然，铁道方向传来了吉普赛人欢快的歌声。啊，是《哈巴涅拉舞曲》，男声领唱，合唱《斗牛士之歌》：
有双黑色的眼睛充满了爱情在等着你，
在等着你勇士，
黑色的眼睛充满了爱情在等着你！
手鼓、沙锤、响板、提琴、弹拨，还有鬼才知道是些什么乐器烘托着激烈欢畅的歌声几近疯狂！
入夜，俾斯麦做梦了，他首先看见约翰娜那双诚实的灰黑色眼睛，凄然地看着他，这不是年轻时候的她吗？意大利人一样！“快来救救我吧！亲爱的。”“怎么啦，你不是在天堂吗？”“我离开你们后，就下了地狱，现在才快到净界。”“天哪！这是怎么回事呢？”“刚一离开你们，我就遇到了但丁先生，他说，上帝告诉我，我可以马上进天堂。但是，丈夫死后必须马上下地狱，他干了很多坏事，根本不是个基督徒。我求但丁先生，劝上帝改变主意。但丁先生说，上帝知道我会代你求情，他早有个办法，那就是我先下地狱为你赎罪，你死的时候就可以同我一起上天堂。我毫不犹豫地答应了，亲爱的，我不下地狱，谁下地狱呢？”俾斯麦痛哭着说：“这怎么能行呢？上帝也太不公平了！”“你又讲上帝的坏话了，有我代替你下地狱不好吗？但丁先生还说，上帝早就讲过，男人都不是好东西，有点小聪明就自以为了不起，要女人给他做牛做马。要是自己搞坏了事，就往女人头上推。”“我没有往你头上推什么呀。”
“你不是常说你性格不好是你妈造成的吗？”“你怎么几年不见嘴就这么厉害了呢？”“是玛丽和凯蒂教的，她俩也为了你自愿在地狱待了一年。哦，告诉你吧，那位马克思先生被打入地狱最底层，哪知道他带着他那班门徒在地狱造反，他们大吵大闹，上帝只好在一个晚上让他们从天堂后门进去了。马克思带了瓦尔兰、沃尔夫一大帮子人上天堂，拉萨尔也想同去，马克思和上帝都不同意。他只好留在地狱，现在比我低好几层。”“上帝也怕狠人吗？”“你又讲上帝的坏话，但丁先生说，上帝主要是图清静，地狱要有地狱的秩序，上帝也知道马克思是好人，他上天堂后和恩格斯、沃尔夫、彭斯、圣西门、傅立叶、欧文，还有一个叫陶渊明的中国人组织了一个诗社，作了很多爱情诗、田园诗，他还打算排练贝多芬的《第九交响曲》。但丁先生小声说，上帝大概不敢把你打入地狱，你表面上信奉上帝，尊重法律，实际上专门搞鬼，要是到地狱和拉萨尔那鬼精灵搞在一起，串通一气更不得了。他最后告诉我，今晚11点我俩到天堂后门，门会开着，我们家那只狗等在那儿。”“你还说上帝不怕狠人。”“叫你不要瞎说，快来吧，我等你。”约翰娜那双黑眼睛隐去。俾斯麦突然坐了起来，使尽全力抓住一杯啤酒一饮而尽，高呼一声：“我来了！”然后，躺倒在枕头上再也没有起来。
1898年7月30日11时，俾斯麦的心脏停止了跳动，享年83岁零4个月。
身后之事，俾斯麦预先都有安排。报纸公布了1890年辞呈的全文。辞呈指斥威廉妄改外交政策破坏对俄友谊。俾斯麦去世时，威廉正泛舟夏天的大海上。得知消息他立即从挪威海滨返航基尔，并电告赫伯特移灵柏林举行国葬。8月2日，威廉抵达弗里德里希斯鲁，假模假样地向鲜花和花环丛中的俾斯麦遗体志哀。至于国葬，只好免了。老头早已选好此庄园一片针叶林中的一块空地。威廉碰了一鼻子灰返回柏林。
翌日，《帝国新闻》报道：皇帝陛下亲临弗里德里希斯鲁，对上帝为实现德国统一和这一不朽的伟大思想而养育的义工——俾斯麦深表哀悼。对威廉二世，俾斯麦是至死不买账的，他的墓碑上刻的字是：“冯·俾斯麦侯爵威廉一世皇帝的忠实的德国仆人。”
