平安時代に建立。 久しく紀ノ川の渡し場に建っていたが根元から折れた際今の慈尊院総門の外側に移されました。 そのとき惜しくも下乗の乗の文字が土中に埋まってしまったそうです。 その昔どんな位の高い身分であってもこの石から門までは馬からおりたことから「下乗石」と呼ばれています。