一九七六年底，海賢老和尚從桐柏山到來佛寺所在的村里看望海慶法師，還帶了一封海圓法師從北京寄來的信。信上說，「文革」已經結束了，宗教政策即將開放，被毀壞的道場可以準備恢復了。大伙兒得知這個訊息後都非常振奮，馬上就開始籌辦，恢復來佛寺。
寺院的重建困難重重，歷盡曲折，才終於建起東邊幾間草房。當時沒有佛菩薩塑像，只好請一位畫家在白棉布上畫了一幅西方三聖像用來供奉。
這其中還有個小插曲。那時護持寺院的王春生居士的太太整天生病，看了很多醫生都不見好。有人對他說：「你整天護持寺院，就不會帶她去寺院看看，求菩薩幫幫忙嗎?」王居士於是就帶著太太來到這三聖畫像前禮拜。沒想到他太太剛往下一跪，馬上就對王居士說：「我好了!」站起來後，就啥病痛也沒有了。
鄰村有個婦女也是得了醫生看不好的病，聽說王居士的太太在佛像前一跪拜病就好了，她也學著去拜佛，結果跪下去就站不起來了，好幾個棒小伙子一起拉她都拉不起來。她就這樣跪了幾個小時，才自己站立起來。她承認她來這隻想治病，並不信佛。經這麼一折騰，她不但自己服氣了，還勸其他人，一定要對佛菩薩有真正的恭敬心，這樣自己才能受益。
南陽及社旗縣的許多護法居士，相約一起到桐柏山上的塔院寺禮請海賢老和尚前來主持來佛寺道場，可海賢老和尚當時正在準備恢復塔院寺，於是他派了四位弟子先到來佛寺長住，他本人只是偶爾過來住上一段時間。
後來歷經磨難，居士們又為寺院要回七八畝地，於是在北邊又蓋起幾間房，這就是現在的大殿。所以，來佛寺僅修起大殿和羅漢殿各三間，一直到現在，寺內供奉的佛像仍然全部是泥塑的。
道場建得簡單樸實，利於修心養道，海賢老和尚這一生真的是穩穩噹噹。對於道場建設，他常說：「不怕沒有廟，就怕沒有道。」
大約在一九八一年，海賢老和尚到來佛寺長住。
那一年秋天，人們都開始耕地準備種麥子了，邀請海賢老和尚主持道場的王居士，一天回家路過寺院時，看到八十一歲的海賢老和尚和七十二歲的海慶法師正在地裡忙活，一個拿著鐵耙子在刨，一個拿著鐵鍬在挖。他看得心裡很難過，便叫他們趕快停下來。可海賢老和尚卻說：「若不抓緊翻翻土，那就要耽誤種麥了。」
王居士埋怨道：「你們有啥活兒去找我，我哪能讓你們作這樣的難哪!」
老和尚說：「你們也是個人家，不能啥事都痲煩你。」
王居士動情地說：「您以後不能再這樣說了，有啥事一定要去找我，我任憑自己的活兒放那，也要先給您的幹了再說。要不然人家都知道是我帶頭把您請到這來的，結果讓您到這受罪來了，我這護法還要不要臉了?你們誰也不許再刨了，我現在就回家牽牛過來犁地。」恭錄自《海賢和尚》