百丈懷海禪師，馬祖道一禪師法嗣，是福州長樂（今福州東南）人，俗家姓王。幼年時從西山慧照和尚出家，後來到衡山法朝律師處受具足戒。受戒之後，聽說馬祖道一禪師正在江西傳法，於是前往江西投師參學，後與西堂智藏、南泉普願齊名，成為馬祖大師座下三大入室弟子。
一天，懷海禪師陪同馬祖大師正在野外行腳，這時恰好有一群野鴨子飛過。
馬祖大師就問：「是甚麼？」
懷海禪師答道：「野鴨子！」
馬祖大師又問：「甚處去也？」
懷海禪師答道：「飛過去也！」
馬祖大師突然轉過身來，使勁擰懷海禪師的鼻子，懷海禪師疼得失聲大叫。
馬祖大師喝道：「又道飛過去也！」
懷海禪師言下恍然大悟。
事後，懷海禪師回到侍者寮內，忽然放聲大哭，悲傷至極。
同寮看到懷海禪師這個樣子，就問：「汝憶父母耶？」
懷海禪師答道：「無。」
同寮又問：「被人罵耶？」
懷海禪師答道：「無。」
同寮覺得難以理解，繼續追問：「哭作甚麼？」
懷海禪師答道：「我鼻孔被大師扭得痛不徹。」
同寮繼續追問：「有甚因緣不契？」
懷海禪師卻說：「汝問取和尚去！」
於是，同寮來到方丈室問馬祖大師：「海侍者有何因緣不契，在寮中哭，請和尚為某甲說。」
馬祖大師卻說：「是伊會也，汝自問取他！（他已經開悟了，你自己去問他！）」
同寮重新回到寮房，對懷海禪師說：「和尚道汝會也，教我自問汝。（大和尚說你已經開悟了，教我親自來問你呢！）」
懷海禪師聞言，不由呵呵大笑起來。同寮感到莫名其妙，又問：「適來哭，如今為甚卻笑？（你剛才再悲傷哭泣，如今為什麼又發笑？）」
懷海禪師卻說：「適來哭，如今笑。（剛才是在痛哭，如今是在大笑。）」
同寮聽了懷海禪師這話，還是一頭霧水，不知所云。
到第二天，馬祖大師升堂說法。大眾剛匯集在一起，懷海禪師卻走出來，把馬祖大師的座席捲走。馬祖大師於是下座，又回到方丈室，懷海禪師也跟進去。
馬祖大師問道：「我適來未曾說話，汝為甚便卷卻席？（我剛才還沒有開始說話，你為什麼就將坐席捲走？）」
懷海禪師答道：「昨日被和尚扭得鼻頭痛！（昨天我的鼻子被大和尚扭得很痛！）」
馬祖大師又問：「汝昨日向甚處留心？（你昨天向什麼地方留心？）」
懷海禪師答道：「鼻頭今日又不痛也。（鼻子今天又不痛了！）」
馬祖大師說道：「汝深明昨日事。（你已經深入領悟昨天這件事。）」
懷海禪師於是禮拜馬祖大師，其後才退出方丈室。
又有一天，懷海禪師再參馬祖大師，隨後站在馬祖大師身邊侍奉。
馬祖大師拿起繩床邊的拂子，高高擎起。
懷海禪師問道：「即此用，離此用？」
馬祖大師於是又將拂子放回原處。
過了一會，馬祖大師問道：「汝向後開兩片皮，將何為人？（你今後若開口說法，將如何教導人？）」
懷海禪師同樣擎起繩床邊的拂子。
馬祖大師問道：「即此用，離此用？」
懷海禪師聽到這一句話，也將拂子放回原地。
這時，馬祖大師忽然大喝一聲。這一喝是如此厲害，震得懷海禪師三日耳聾！
上述兩則公案，都極富戲劇性，也充滿了禪機，千百年來一直在禪林中傳頌，成為參禪者參究的主要話頭之一。
馬祖大師圓寂之後，懷海禪師曾一度住在石門山馬祖塔旁隱修，後應信眾邀請，到洪州新吳（今江西奉新縣）大雄山駐錫傳禪，一時四方衲子爭相參禮。因為此山高峻，人們也稱此山為百丈山，所以懷海禪師也被稱為「百丈和尚」或者「百丈懷海」。
百丈禪師於唐憲宗元和九年（814）圓寂，春秋六十五歲，著名得法弟子有黃檗希運、溈山靈祐等。百丈禪師生前提倡「一日不作，一日不食」，創立農禪並重的叢林生活制度和清規（後稱「百丈清規」），對中國禪宗的發展產生過極為深刻的影響。
《敕修百丈清規》卷八：「大眾同記五事，至今猶存，可為鑑戒，並錄於左。大師遷化後未請院主日，眾議釐革，山門久遠事宜都五件：一、塔院常請一大僧及令一沙彌灑掃。一、地界內不得置尼台、尼墳塔及容俗人家居止。一、應有依止及童行出家悉令依院主一人，僧眾並不得各受。一、台外及諸處不得置莊園田地。一、住山徒眾不得內外私置錢穀。欲清其流，在澄其本，後來紹續，永願遵崇。立碑日大眾同記。」五條是對《清規》的補充和發展，文字不多，意義重大，確實是保障寺院、僧團乃至整個禪宗佛教長期興盛的關鍵，經過補充和發展的《清規》，對於在制度上保證禪宗順利發展起了重大作用，這也是懷海禪師及其僧團的獨特貢獻。制訂清規正是百丈懷海禪師對禪宗的獨特貢獻，也是他在叢林中享有盛譽的重要原因。
禪宗史籍記載，百丈禪師每次說法之時，都有一位老人常隨大眾聽法，眾人離開時老人亦離開。一天，老人並未在說法結束時離開，百丈禪師問他：「面前站立者又是什麼人？」老人答道：「我不是人，過去迦葉佛時，我曾住持此山，有位雲遊僧人問我：『大修行人還會落因果嗎？』我回答說：『不落因果。』因為回答錯誤，我被罰變成為狐狸身而輪迴五百世。現在懇請禪師代轉一語，好讓我脫離野狐身。」
老人說完就問百丈懷海：「大修行人還會落因果嗎？」百丈禪師答道：「大修行人不昧因果！」老人聞言，猶如醍醐灌頂，茅塞頓開，頂禮禪師，然後對禪師說：「我已經脫離野狐身，住在山後，請按和尚禮儀將我下葬。」百丈禪師前往後山，在一個洞穴中，果真找到一具野狐屍體，隨後依禮將其火葬。