昔、伊予の国浮穴郡荏原の郷に衛門三郎というとても欲深い長者が住んでいました。ある時、みすぼらしい格好をした僧が門前に来た時、衛門三郎は托鉢を取り上げて投げつけてしまいました。その僧は弘法大師でした。
その後、8人の男の子が次々になくなっていくのを見、衛門三郎も恐ろしくなり、邪見をひるがえし家を捨て、身を忘れて弘法大師に会う四国巡拝に旅立ちました。
ところが、いくら四国を回っても弘法大師にお会いすることができません。21回目、天長8年阿波の国、焼山寺の麓で病に倒れ、起きあがる事さえもできなくなりました。
その時突然、弘法大師が枕元に現れ、彼の手に一寸八分の石に「衛門三郎」と彫りつけますと、衛門三郎は安心して息を引きとりました。
幾重の年月を経て、ここの地方豪族、河野息利に男子が生まれましたが、その子はいつまでたっても右手は握られたままで開きません。そこでこの安養寺に願をかけましたところ、手の中から「衛門三郎」と書かれた石がでてきたのです。
その石は安養寺に納められ、寺号は「石手寺（第51番札所）」に改められたそうです。
現在、その衛門三郎の石は大講堂の正面に安置してあります。