菩提达摩尊者本性刹帝利，本名叫菩提多那，后来遇到般若多罗尊者，改称达摩。菩提达摩尊者虔诚地信奉佛教精义，殷勤服侍他的师父将近四十年，从来没有过疏忽与纰漏。直到师父去世以后，他才开始在国内推行教化，远近学者信徒纷纷慕名前来求学请教，六十多年中，他指引化度了无数信徒。
当时，发生了异见国王污辱佛法僧的事情，尊者知道以后叹息道：“这个人德行浅薄，该怎样救一救他呢？”于是让徒弟波罗提前去宣扬佛法。异见王恼怒地问道：“什么是佛？”波罗提说：“透彻地了解自己的心灵就是佛。”
异见王说：“你了解自己的心灵了吗？”波罗提说：“我已经理解了佛家的觉悟。”异见王说：“佛家觉悟在什么地方？”波罗提说：“佛家的觉悟在具体的作用。”异见王又问：“是什么作用？”波罗提便念出一首偈语来回答：“以在为身，处世为人。在眼曰见，在耳曰闻。在鼻辨香，在口谈论。在手执捉，在足远奔。遍现俱该法界，收摄在一微尘。识者知是佛性，不识唤作精魂。“
异见王听完偈语，领悟了其中道理，对以前的认识感到惭愧，因而问到：”你的理论见解十分机智高明，不知你的师父是谁？“波罗提回答：”我的师父就是大王叔菩提达摩。“
异见王听后非常惊讶，立即命令亲信大臣前去隆重迎请。于是菩提达摩尊者随大臣来到此地，为异见王忏悔以往的过错。异见王感激涕零，拜谢菩提达摩尊者的教化指引，从此十分尊崇佛法僧。
有一天，尊者考虑又该出去推行教化了，于是辞别祖师灵塔，告别异见王而离去。异见王准备了大船，率领群臣百姓相送直到海边。
菩提达摩尊者远渡重洋，历时三年，到达南海，这时是梁朝普通八年。广州刺史肖昂将菩提达摩尊者来到中国的消息报告给梁武帝，梁武帝便派人把尊者一行迎请到金陵。
武帝问题：”我建造寺院，抄写经卷，其数量无法算清。做这些事情能得到什么功德？“尊者说：”这些事都是人在凡世间所成就的小事，是为了消除心中烦恼而做的，就像影子跟随形体而动，虽然有影，但并不是实在而有用的东西。“武帝说：”那么怎样做才是真功德？“尊者说：”清净智慧，超凡无碍，身心自然便会解脱。这种功德，不是靠凡世功夫能修得的。“武帝又说：”什么是神圣的最高意义？“尊者说：”空阔天地之间并无神圣。“武帝说：”那么与我对话的是谁呢？”尊者说：“我不认识。”
武帝仍然不明白。尊者知道两人话不投机，于是返回江北，住进嵩山少林寺。
他面对石壁而坐，整天默然不语。众人都不知道什么缘故，说他心如壁立。
当时有位名叫神光的和尚，博览群书，善谈玄妙的理论。听说菩提达摩尊者来到少林寺，便前来拜访请教，尊者却始终面对石壁一言不发，不予理睬。
一天夜晚，天降大雪，神光和尚仍然冒雪坚持站在那里一动不动。等到天亮时，积雪已经漫过了他的膝盖。尊都被神光的执着所感动，对他表示慰问，然而仍旧不传授佛法。
于是神光暗地里取出利刀，切断了自己的左臂，献于尊者面前，以表达自己誓求佛法的决心。尊者明白神光确实是能够继承发扬佛道的传人，于是为他改名叫慧可。神光说：“现在我可以知道各位佛祖的教义了吧？”尊者说：“诸佛法印，匪从人得。”神光说：“我的心灵仍然得不到安宁，请师父为我安抚。”尊者说：“你把心拿来我给你安抚。”神光说：“我寻找过了，但拿不到。”尊者说：“我已经为你安抚过心灵了。”
尊者在少林寺住了九年，打算返回天竺。于是对徒弟们说：“分别的时候快要到了，你们都说说自己学到了什么。”
徒弟道副说：“如果按我的见解，不过份拘泥于文字，也不过份脱离文字，就可以得到佛法了。”尊者说：“你得到了我的学问的皮毛。”
徒弟尼总持说：“按照我现在的理解，修习就象庆喜见到阿閦佛国一样，见过一次就不用再见了。”尊者说：“你得到了我的学问的筋肉。”
徒弟道育说：“自然界的地、水、火、风本来就是空泛之物，人自身的色、受、想、行、识实际上也是非分之物，在我看来，没有哪一种法是可以得到的。”尊者说：“你得到了我学问的骨架。”
最后，慧可上前拜过师父，便依位站在一边。尊者说：“你得到了我的学问的精髓。”于是，把如来佛祖的最高佛法授与慧可，并传给他一首偈语：“吾本来兹土，传教救迷情。一花开五叶，结果自然成。”说完，尊者便坐在那里逝世了。这时是后魏孝明帝大和十九年。
尊者的弟子们将他安葬在熊耳山，并且在定林寺建筑佛塔作为纪念。过了二年，北魏朝宋云受朝廷派遣出使西域，回国途中经过葱岭，遇见了尊者。只见他手里拎着一只鞋，悠然自得地独自走来。宋云问他到哪里去，尊者说：“往西天去。”宋云茫然与他道别。
后来孝庄王即位登基，宋云把这桩奇遇奏明皇帝，孝庄王命令掘墓察看。掘开墓穴后，只见棺材空着，里面只剩下一只鞋。所有的人都万分惊异。于是，按照孝庄王圣旨，将尊者遣留的那只鞋供奉在少林寺中。后来，这只鞋被人偷到五台山华严寺。现在已经不知哪里去了。
