民國英雄段祺瑞至死不與外敵妥協，誓死不做亡國奴。（網路圖片）
1926年4月20日，段祺瑞在三一八慘案後宣布下野，至此真正結束了自己的政治生涯。只是相比於六年前的直皖戰爭後的下野，段祺瑞不再有太多的想法。多年以來對於佛的學習，使得段祺瑞自己放下了很多。本就是個傀儡，何必再要執著。
據說，段祺瑞是在直皖戰爭失敗後開始禮佛吃素的。或許是因為這場戰爭對他的打擊太大，政治理想灰飛煙滅，苦心經營的軍隊在吳佩孚的面前不堪一擊。凡此種種，使得段祺瑞在現實生活中需要佛家思想來給予其精神上的慰藉。也正因為此，段祺瑞不再開葷，即便是日後自己病重，危在旦夕之時。
六年後，段祺瑞繼續回天津做寓公。跟隨他一起回天津的，依然是曾經的皖系軍閥與智囊。只是這其中少了徐樹錚。徐樹錚是被馮玉祥殺掉的。在被殺之前，徐樹錚在西洋還為段祺瑞謀得一批軍火，只可惜軍火未到，徐樹錚已慘死。
據說段祺瑞得知徐樹錚遇難之時，只是兩眼含淚，默不作聲，也並沒有對此事發出過任何的感嘆，即便馮玉祥在幾天後通電全國對此事表示遺憾，並為之哀悼。
不過段祺瑞依舊記得自己這位最大的智囊，火車從北京開往天津路過廊坊時，段祺瑞曾無聲的哭泣以哀悼這位永遠的朋友：為了他們共同的政治理想而得罪了天下人的徐樹錚。只不過一切都過去了，此時的北洋政府不再姓皖而姓奉，大權掌握在張作霖手裡。南方的國民黨也正在磨刀霍霍，準備飲馬黃河。
一年之後，張作霖被日本人炸死，張學良東北易幟，國民黨統一了全國。段祺瑞苦苦追求的武力統一全國，最後卻由他的政敵來完成，這不得不說是一種諷刺，而唯一的慰藉則是，率領國民黨統一全國的是他曾經的學生--蔣介石。
老段回到天津，生活不是很富裕。畢竟老段在位這幾年沒給自己個人謀多少福利，即便手裡有些錢，還要資助一些圍棋棋手。在段祺瑞執政期間，段祺瑞每個月用於圍棋的開支，包括給圍棋棋手的工資要超過千元，難怪會有人把段祺瑞比作為「近代圍棋的大後臺」。因此，段祺瑞的日常生活需要靠他的部下，學生接濟，而即便如此生活也沒有太大的改善，他的太太們要經常做一些家務。太太做家務，這在上層人士中也算是「另類」了。
段祺瑞也並沒有忘記這些接濟過他的人，在段祺瑞最後在上海的幾年，國民政府曾特批每個月給段祺瑞兩萬元生活費，而段祺瑞卻要將這其中的半數以上分給自己的老部下和家屬，包括曹汝霖，吳光新等人。
段祺瑞第三次退居天津，他的日子也算是充實。據段祺瑞的外孫女回憶「每天早上起來，外公的第一件事便是唸經送佛，待吃過早飯，他的老部下王揖唐便過來幫他整理編選歷年來的詩文，準備刊印一本《正道居集》。午睡之後，外公照例是下圍棋，晚上打麻將。」這樣的生活倒是蠻像現在的退休老人的，下棋搓麻，順便出本書。真是不亦樂乎。只是這個退休老人卻隨著時間的推移，又橫生出了許多的煩心事。
1931年，日本發動九一八事變強佔東三省後，開始謀求華北地區脫離國民政府的統治。華北獨立需要一個政壇上響噹噹人物來撐場子，能鎮得住傀儡政府，也能夠在國際社會上站得住腳。於是，日本人想到了曾經的北洋總管段祺瑞。因為曾經的「西元借款」，段祺瑞被扣上了親日的帽子，所以日本人特別想拉他出山。而勸說段祺瑞出山的，則是臭名昭著的日本特務土肥原賢二。土肥原賢二曾數次拉攏段祺瑞重新出山，但都被段祺瑞拒絕了。
國民政府也注意到了日本人的動向，也深知如果段祺瑞真的組建了傀儡政權，那麼華北的局勢將一發不可收拾。因此，在1933年1月19日，國民政府派特使錢永銘秘密來津，並奉上蔣介石的親筆信邀其南下。段祺瑞當即表示可立即南下「余老矣。無能為矣。介石如認為我南下於國事有益，我隨時可以就道。」段祺瑞短暫的收拾行李，於1月21日離開天津南下，1月22日中午抵達南京。蔣介石命令南京少將以上軍銜的將軍們都去迎接，而自己則以學生的姿態迎接這位曾經的校長，政界的前輩。
段祺瑞到達南京後，便接受了記者的採訪，發表了一些言論：「瑞以國民資格紓難，義不敢後，勞蔣總司令及各界諸君歡迎，深致慚謝。」同時也表達了對蔣介石以及國民政府的期望。可以說，段祺瑞被蔣介石接去南京是一個雙贏的結果，我們可以參考之後吳佩孚被日本人暗殺的遭遇。如果段祺瑞固執的留在天津，恐怕他的晚年會更不太平。也正是由於蔣介石的邀請，段祺瑞得意安享晚年。
23日，段祺瑞提出拜謁中山陵。蔣介石聞之大喜，與夫人宋美齡，行政院院長孫科以及軍政部長何應欽陪同段祺瑞拜謁中山陵。段祺瑞在靈堂向孫中山遺像三鞠躬，並敬獻花圈。段祺瑞想以此方式來表示當年對於中山先生的歉意。同時，此舉亦在告知國人，國難當頭，中華民族各界人士應該摒除芥蒂，團結一心對抗日寇。
段祺瑞的行為，得到了各方的讚賞。至此，段祺瑞與國民黨的恩恩怨怨也隨即煙消雲散。23日夜，段祺瑞乘車前往上海，在那裡，他度過了自己生命中的最後幾年。
從19日準備南下，到23日前往上海，一路舟車勞頓，把老段折騰的的確夠嗆。但這樣的結果卻是值得的，或許段祺瑞的心裏會想：即便顛沛流離，也不做亡國奴！然而，即便到了上海老段依然沒有能夠擺脫日本人的糾纏。日本人假借段祺瑞之名四處活動，組織傀儡政府，擾亂社會治安。這使得段祺瑞頗為苦惱。無奈之下，只得致電自己的老部下以示抗日決心「余養痾海上，不問世事。目下華北局勢嚴重，恐有假借名義，為軌外活動者，殊非愛國之道。盼諸弟嚴密訪察，告知地方當局，嚴加制止。」
老段在上海期間，雖然表示自己不問政事，但依然十分關注當下的政治，對於日本的侵華行為表示出了極大的擔心。1934年，段祺瑞的胃病復發，蔣介石邀請老段去廬山避暑。在此期間老段接受了大公報記者的採訪，在談到中日之間關係的發展時曾說道：中國本無亡國之理，而目前的形勢，卻向亡國之途以趨。中國吃虧在「大」字上，而日本卻得力於「小」與「窮」。中國惟其大，故一切不在乎。日本惟其小，故拚命苦幹。日本人的妄念太重，當然有碰釘子的那一天，不過中國若長此泄沓，前途實難樂觀。老段的分析的確有精闢之處，而此時距離七七事變，只剩下了三年時間。如果以這個角度來看，真被老段言中了。
1936年11月1日，段祺瑞胃潰瘍復發，胃部大量出血，雖然及時送醫，但卻搶救無效。2日晚8時，段祺瑞與世長辭，結束了自己殊不平凡的一生。臨終前，段祺瑞留下了他的親筆遺囑，也就是被稱道至今政治八勿：
餘年已七十餘，一朝怛化，揆諸生寄死歸之理，一切無所縈懷，惟我瞻四方，蹙國萬里，民窮財盡，實所痛心。生平不為多言，往日徙薪曲突之謀，國人或不盡省記，今則本識途之驗，為將死之鳴，願國人靜聽而力行焉。則余雖死猶生，九原瞑目矣。國雖危弱，必有復興之望。復興之道，亦至簡單。勿因我見而輕啟政爭，勿空談而不顧實踐，勿興不急之務而浪用民財，勿信過激之說而自搖邦本；講外交者勿忘鞏固國防，司教育者勿忘保存國粹，治家者勿棄固有之禮教，求學者勿鶩時尚之紛華。本此八勿，以應萬有。所謂自力更生者在此，轉弱為強者亦在此矣。餘生平不事生產，後人宜體我樂道安貧之意，喪葬力崇節儉，斂以居士服，勿以葷腥饋祭。此囑。
遺囑中充滿了憂國憂民的深思，而此時的段祺瑞也不再被國民加以惡名。畢竟，他的最後幾年足夠精彩，足夠為世人稱道，足夠被國家銘記。據說，臨終前段祺瑞囑咐自己的兒子兩件事情，第一件事便是將此遺囑轉交國民政府，第二件事便是要求自己歸葬北京，魂歸自己曾經輝煌過的地方。
段祺瑞大斂當日，國民政府通令全國，給予段祺瑞國葬，並高度讚揚了段祺瑞為國家做出的貢獻，也是段祺瑞自己引以為驕傲的：三造共和。
段祺瑞葬禮的規格非常高，全國各界人士，尤其是國民政府的精英都前來拜祭。老段曾經的敵人吳佩孚也發來唁電和輓聯表示哀悼。他曾經的皖系部將與智囊一身重孝親自治喪，負責安排老段的身後事。之後他們更是扶靈北返，以寄託他們對於老段的敬畏之情。只可惜，這些事情老段都看不到了。
人死如燈滅，生命的靈光再不存在，一切都將歸於無邊的寂滅與黑暗。只是那些對於未亡人的囑託，百年過後，依舊字字珠璣，猶如暮鼓晨鐘。
