当乘船沿西江顺流而下至羚羊峡将出峡时,向南眺望：在江边山上耸立了一块巨石,其状如妇人向西遥望,若有所待；此即“望夫石”是也。“望夫石”又名“望夫归”,是岭南景观之一,位于广东肇庆市西江羚羊峡文殊村附近的山上。
民间传说古时有一名叫“阿成”的青年,为生活所迫,到广西打工谋生,不幸被困留人洞,一去数年杳无音信。其妻就天天到江边崖上,向西眺望,只要见纤夫拉船经过,她就大声问：“我夫归未？”......日复一日,年复一年,终化成石头屹立江边。
阿成妻子虽化成石人,然“我夫归未？”这凄婉喊声却从未断绝,仍在峡山上空回响。之后每逢纤夫拉船过此,定会派人上山到石人处烧香并献上一点香油,说是给石人梳髻用,以祈求保佑船只平安。当点好香烛后,会对着石人讲一句“你丈夫在下一只船里！”
一直到了明代,南海伦文叙高中状元回乡,途经羚羊峡时作了一首诗凭吊此事,石人听见此诗后得到了安慰,从此就不再叫了。现在民间还流传着“广西有个留人洞,广东有个望夫归”的俚语。
明·伦文叙《题望夫石》
白石佳人住海旁,天为罗帐地为床;
日为宝镜朝朝照,月作银灯夜夜光。
千年不梳龙凤髻,万载不换紫罗裳;
可怜不见亲夫面,痛哭江干恨断肠。