이 절은 스님이 몇 분되지 않는 작은 절이었는데 빈대가 너무 많아 승려들은 이를 견디지 못하고 떠나 버려 폐사가 되고 말았다.
그러나 한 스님은 절에 남아 있었다. 어느 날 이 스님은 텅 빈 절간을 바라보다 하도 울적하여 바로 뒤에 있는 작산에 올라가 사방을 살피며 신세 한탄을 하였다. 그때 화려한 배 한 척이 서쪽에서 다가오고 있었다. 자세히 보니 그 배에 타고 있는 사람은 남자가 아닌 여자였다. 스님은 여인의 모습이 하도 아름다워 넋을 잃고 바라보았다.
잠시 후 배가 작산 어귀에 닿았다. 그런데 이상하게도 배는 갑자기 온데간데없고 배에 타고 있던 여인만 스님 앞에 나타났다.
아름다운 여인을 바라보자 스님은 불제자로서는 도저히 생각할 수 없는 욕망이 가슴 가득 불타올랐다. 스님은 더는 참을 수 없게 되어 여인에게 하소연을 하였다.
“저는 나이가 삼십이 넘도록 불제자로서 뒤에 있는 절에서 수도를 했습니다만 이제 그 절이 퇴락하여 의지할 곳조차 없게 되었습니다. 방황 중에 이렇게 우연히 낭자를 만나고 보니 수도의 길이 싫어졌습니다. 속세로 내려가 낭자와 백년가약을 맺고 싶습니다. 낭자께서는 아무쪼록 이 몸을 가엾이 여겨 응락해 주십시오.”
스님의 말을 들은 여인은 잠시 생각하는 듯하다가 대답하였다.
“스님의 청은 있을 법한 일이나 아직 때가 되지 않았습니다. 더 많은 세월을 기다려야 합니다.”
스님은 기다리면 될 수 있다는 말에 기쁨을 감추지 못하면서 되물었다.
“얼마나 기다리면 같이 살 수 있습니까?”
여인은 노기 띤 얼굴로 스님을 쳐다보았다.
“스님은 어찌 마음을 그렇게 급하게 가지십니까? 현재 당신이 앉아 있는 그 자리에서 조금도 움직이지 않고 백일기도를 하면 1백일째 되는 날 그 소원이 이루어질 것입니다. 그러나 만약 이 약속을 잊어버리고 딴짓을 하면 중벌을 받을 것입니다.”
여인은 이 말을 남기고 홀연히 사라졌다. 스님은 여인의 말대로 앉아 있는 그 자리에서 백일기도를 시작하였다.
어느덧 99일이 지나 내일이면 여인과 약속한 1백일째 되는 날이었다. 그날 밤은 유난히 청명한 날씨였는데 웬일인지 별안간 먹구름이 끼고 천둥과 번개를 동반한 비가 억수같이 퍼붓기 시작하였다. 스님은 비바람이 너무 세차게 불어 어쩔 줄을 몰라 하였다.
그때 오매불망 그리던 여인이 웃음 띤 아름다운 얼굴로 앞에 나타났다. 스님은 어찌나 반갑고 기쁘던지 그만 여인과의 백일기도 약속을 잊어버리고 자신도 모르게 벌떡 일어나 여인의 손목을 덥썩 잡았다.
그런데 이게 웬일인가. 여인은 간곳없고 잡히는 것은 빈 허공뿐이었다. 스님은 깊은 절망감에 사로잡혀 허공을 향해 소리쳤다.
“낭자! 낭자!”
그때 공중에서 꾸짖듯 여인의 소리가 은은히 들려왔다.
“이제껏 드린 99일간의 기도는 헛된 것이 돼 버렸소. 당신은 내가 이르는 말을 듣지 않았으므로 앞으로 3백 년 동안 기도를 더 해야 나를 만날 수 있을 것이오.”
스님은 그 자리에 그대로 주저앉아 헛된 욕망에 빠졌던 자기의 잘못을 깊이 뉘우치고 다시 불제자로 돌아가 기도를 드리기 시작하였다. 그리하여 스님은 앉은 그대로 바위로 변해 돌부처가 되었다고 한다. 현재 그곳의 속지명은 ‘중방모퉁’이다.