大迦葉是佛陀十大弟子之首，尊者少欲知足、常修苦行，故被稱為「頭陀第一」。
尊者出生於摩竭陀國，生下來便具足三十二相，聰明穎悟，無人能敵。八歲起便依婆羅門教的規定學習五明、四吠陀，對邏輯學、語言學、天文、地理、數學、文學、繪畫、雕塑、祭祀、歌舞無所不通，但卻性格奇異，常離群索居，不喜合群玩耍。
長大成人後，父母多次催他擇偶娶妻，他只是一味不睬，後來實在無奈，便隨意指著一尊黃金鑄成的美女像對父母說：「若沒有這樣的金色女子，我就終生不娶。」他本以為這樣就可以終身不娶，不想父母真的為他找到了一位叫跋陀伽毗羅尼的迦毗羅女。這位女子生得與黃金女子一般無二，迦葉尊者無奈只好聽命於父母。
新婚之夜，新娘愁眉不展，經再三詢問，才知道這位女子對於嫁人毫無興趣，只樂修行。尊者一聽，喜出望外。兩個人決定互不干擾，各修梵行，輪流睡眠：一人睡時，另一個經行或坐禪，就這樣度過了十二年。父母相繼謝世後，迦葉尊者自己除去鬚髮、披上法衣，對跋陀伽毗羅尼說：「我出家修行，決心在世間尋找覺悟的聖者。如果找不到這樣一位聖人，便自己獨立思考，走獨覺成佛的路。」遂將家產全部布施，離家而去。兩人分手時，大地被他們的出離功德威力所震動。
佛陀察覺到大地的這次震動，知道那意味著有傑出的弟子要來找他。在未通知任何比丘的情況下，他獨自上路，走了五里路去見未來的學生——這個慈悲的舉動，後來一直被受讚頌。在王舍城與那爛陀之間的路上，佛陀坐在榕樹下，等待未來的弟子到達。他並未像普通沙門一樣坐在那裡，而是展現出一切莊嚴的佛光。他放光照亮了方圓八十公尺，整片樹林呈現一片光明。他示現三十二種大丈夫相，莊嚴相好。當迦葉尊者到達時，看見佛陀坐在那裡，充滿覺者之光，心想：「這一定就是我要尋找的老師!」他走向佛陀，匍匐在他的腳下，大聲說道：「世尊!佛陀是我的老師，我是他的弟子!」這樣重複說了三次，世尊說：「如是，迦葉，我是你的老師，你是我的弟子。」並為他開示五蘊之苦和四聖諦法，隨後說：「善哉迦葉，快哉迦葉!你將以苦行第一著稱於世，為佛教在人間的流傳作出巨大的貢獻，是故今後當稱你為摩訶迦葉。」摩訶迦葉跟隨世尊服侍左右，將自己珍貴的帛衣墊在世尊的足下，祈求世尊接受他的供養。世尊慈悲接受了帛衣，把自己的糞掃衣賜給摩訶迦葉，以激勵他苦行。從此以後，尊者終生都堅持嚴格的苦行，甚至一直到老年，仍持守年輕時許下的誓願。僅僅七天，他就證得了究竟的阿羅漢果，內心解脫一切煩惱。
尊者見世尊讚嘆阿蘭若法，於是長跪合掌請世尊慈悲垂示。世尊慈悲地教誨他：「比丘在阿蘭若處修行，應遠離我、法二執，身心清淨，行頭陀規範。此法有十二個要點：一者，阿蘭若，就是遠離家人的閒靜處，寂靜的山野、樹林皆可。二者，常行乞食。三者，頭陀比丘應不著於色，以平等心哀憐一切眾生，不分貧富，依次乞食，不得有所選擇。四者，只受一餐。五者，應節量食。六者，控制自己的飲食慾望。七者，應拾取別人拋棄的衣服，洗淨後補穿用。八者，少欲知足，只備三衣一缽。九者，冢間住。十者，樹下坐法。十一者，於樹下坐時，不應對樹生貪著。十二者，常坐不臥。要注意繫心一處，不要散亂，再進一步深入思維，認識到五蘊本空，滅除諸相。再發菩提心，即可回小向大，修菩薩十地。」迦葉尊者聽完非常歡喜，立即付諸實踐。他常常在寂靜的深山中獨自修行，他不顧雨淋日曬，勤苦不倦。或是露天靜坐，或是冢間觀屍，晝夜正念修習無常、苦、空、無我、不淨觀，勇猛精進。迦葉尊者一生苦行，直至年老也未曾有絲毫懈怠。世尊勸言：「你今已老，糞掃衣重，可改穿壞色輕衣。」迦葉白世尊言：「世尊，修行苦行使我現在安寧快樂，也可為未來眾生照亮前途作出表率。未來世眾生想到我修行苦行，會這樣想：『過去有上座六神通，出家日久，梵行純熟，為世尊所嘆，為智慧梵行者之所奉事。他於長夜在寂靜處修習，讚嘆寂靜處，讚嘆糞掃衣、乞食法。』凡是知道我苦行的人，都會以清淨心隨喜，並將由此得到安樂。」世尊很高興，讚賞他的頭陀苦行說：「將來正法的毀滅，不在天魔外道的破壞，而正在僧團的腐化與崩潰!大迦葉的話說得很對，要弘揚佛法，讓真理之光永照世間，則必先要鞏固僧團。要鞏固僧團，就必須過嚴肅的生活，我的正法，如大迦葉尊者就能負責住持!」並將坐墊讓出一半來，當眾對大迦葉說：「善哉!大迦葉過來，請坐在我的墊子上。」說著，大千世界為之震動。
有一次，天界之王在靈鷲山上向佛陀敬獻金色波羅花，請佛說法，世尊拈花示眾，微笑不語。當時座下所有的弟子都不明白，只有大迦葉微笑著，因為他了悟了佛陀的心。佛陀說：「正道大法是無法用眼睛看出來的，只有涅槃寂靜的心才能領會。實在的法相其實是沒有法相，這是一門微妙玄通的法門，不立文字，是用特殊的教法傳授的，我就將這些囑託給摩訶迦葉。」這就是以心傳心，即所謂靈山會上正法眼藏付囑的拈花微笑，也是禪宗最初的典故。
在佛陀八十歲於拘屍那迦示現涅槃時，尊者正在北方的鐸叉那耆國領著五百比丘教化度眾，他得知訊息後非常傷心，星夜率比丘眾來到拘屍那迦。佛陀的弟子們有的愁眉不展，有的伏地痛哭。眾生失去了人天導師、失去了皈依，異常悲傷。尊者覺得有必要結集佛陀的教法，於是擔起正法流傳的重任，在佛陀滅度後的九十日，開始結集三藏，將世尊的法教流傳於世。
結集三藏後的大約二三十年，大迦葉忽然想提早入滅。當時，大迦葉的年齡已超過百歲。他即刻走到阿難陀住的地方，付囑佛陀所說的教法，讓阿難陀繼續傳承下去，然後躍身虛空，到佛陀的八塔一一供養禮拜。回到王舍城，他前去向阿闍世王告辭，守衛說國王在睡覺，他就逕往離王舍城西南的雞足山走去。當尊者到達此山時，三峰裂開，自然形成他的禪座。他即刻席地而坐，並且說道：「我今將以神通力來保持這個身體，用糞掃衣來蓋覆它，等彌勒菩薩降生成佛，我再去拜見他，協助他教化眾生!」說完後，雞足三峰就合起來，隱藏了他的身體。
阿闍世王知道大迦葉尊者入滅的訊息，悲傷無比!馬上往見阿難陀尊者，要他同登雞足山一看，當阿難陀尊者和阿闍世王到達雞足山時，雞足三峰自然裂開，他們看到大迦葉尊者端然的入滅盡定，身上還覆蓋了美麗的天花。他兩人供養禮拜退出後，山峰又自然地合起來。
大迦葉尊者以他一生嚴格的苦行，贏得了僧團的尊重，對佛法的流傳有極大的功勞，是僧團之父。