朱舜水像，1872年 ，草川重远绘
朱舜水之墓在历代水户藩主的墓地瑞龙山（位于茨城县常陆太田市）。为了纪念他不忘故国，墓特地建为明朝式样。
朱之瑜定居日本时曾反复强调自己并非想倡明儒学于异域，仅是为了蹈海全节。康熙四年（1665年），他在长崎正准备购地躬耕之际，日本国副将军（大将军德川家纲之叔父）、水户侯德川光国欲兴庠序之教（庠序，旧称，古代指地方学校），派儒臣小宅生顺到长崎礼聘朱氏为国师，要朱到江户（今东京）去讲学。朱之瑜竭力谦让。
但是，当他听安东守约等人介绍“上公好贤嗜学，宜勿辜其意”之后，答应了德川光国的要求，表示“至若招仆，仆不论禄而论礼”。翌年六月，朱之瑜抵江户。德川光国亲执弟子礼，竭诚尽敬。德川光国认为朱之瑜年高德重，不敢直接称名称字，要他取一名号以称呼。朱之瑜就以故乡“舜水”为号，意为“舜水者敝邑之水名也”，以示不忘故国故土之情。“舜水先生”之称始于此时。德川光国欲为建新居，以“耻逆虏之末灭，痛祭祀之有阙，若丰屋而安居，非我志”四次力辞。在德川光国影响下，日本学者、达贵也纷纷诣门求教，或执弟子礼，或听其讲学。从此，朱之瑜往来于江户、水户两地，公开讲学。他曾去信远在柳川的安东守约介绍讲学的盛况。
康熙九年(1670年)，日本初造学宫，朱之瑜绘画图纸，度量尺寸，亲临施工现场指导，事后撰《学宫图说》。又造古祭器簋、笾、豆、登等，率学生习释奠礼，改定仪注，详明礼节。康熙十一年（1672年），德川光国设置彰考馆，由之瑜门生安积觉任主编，聘请之瑜指导，编纂鼓吹“尊王一统”之说的《大日本史》，其影响直至二百年后的“明治维新”。德川光国对朱之瑜敬爱有嘉，就任藩主之际朱舜水也随同前往江户，朱之瑜与同为德川光国编撰《大日本史》的安积澹泊、木下道顺、山鹿素行结为好友，并对水户学的思想产生很大影响。
康熙二十一年（1682年）朱之瑜因水土不服而致病，全身遍生疥疮，卧床不起。明年四月，即顾炎武辞世三月后，朱之瑜在日本大阪逝世，享年83岁，葬在历代水户藩主的墓地瑞龙山（茨城县常陆太田市），为了纪念他不忘故国，墓特地建为明朝式样，碑文题“明徵君子朱子墓”，私谥“文恭先生”。德川光国率诸朝士临其葬。朱舜水死前遗言：“予不得再履汉土，一睹恢复事业。予死矣，奔赴海外数十年，未求得一师与满虏战，亦无颜报明社稷。自今以往，区区对皇汉之心，绝于瞑目。见予葬地者，呼曰‘故明人朱之瑜墓’，则幸甚。”朱之瑜一直企望中原能有恢复的一天，为此，他滞日期间生活十分节俭，死时居然储蓄了三千馀金。这是他企图恢复国家的经费。
其日本学者今井弘济、安觉济为他们的中国老师写下悼文：“呜呼先生，明之遗民。避难乘槎，来止秋津。寤寐忧国，老泪沾巾。衡门常杜，箪瓢乐贫。韬光晦迹，德必有邻。天下所仰，众星拱辰。既见既觐，真希世人。温然其声，俨然其身。威容堂堂，文质彬彬。学贯古今，思出风尘。道德循借，家保国珍。函丈师事，恭礼夤宾……” 在他死后周年时，安东守约在祭文中哭道：“呜呼先生，知我望我。今也既逝，学殖云堕。有疑谁问？有过谁督？有事谁计？有怀谁告？
朱之瑜死后，德川光国派人整理了他的遗稿、正德五年（1715年）刊行了《舜水先生文集》全28卷。东京大学农学院内至今立有“朱舜水先生终焉之地”（朱舜水先生临终之地）的石碑。日本汉诗长老小野湖山在青年时代访水户谒朱舜水墓时曾作过一首《朱舜水先生墓》：安危成败亦唯天，绝海求援岂偶然。一片丹心空白骨，两行哀泪洒黄泉。丰碑尚记明征士，优待曾逢国大贤。莫恨孤棺葬殊域，九州疆土尽腥膻。
清康熙十七年（1678），之瑜长孙毓仁知祖父海外健在，浮海至日本长崎寻觅，未见归，康熙二十五年复至日本哭祭。
今余姚龙泉山南坡有朱舜水先生故里碑亭。1982年5月，为纪念朱之瑜逝世300周年，日中文化交流协会、日本朱舜水纪念会于龙泉山西坡建朱舜水先生纪念碑，沙孟海书，碑北建舜水亭，周而复题额。
