在漢代時期沿黃袍山大盤山來佛寺側的古道及山窩相繼建起了上寺、中寺、下寺、觀音（又稱東庵，女性佛教信士集聚之地）等四寺，寺廟建築面積宏大，信徒眾多，曾一度香火極為旺盛。東漢時期在洛陽等地建起了白馬寺等寺廟，佛教也開始慢慢在我國各地廣為興起。
黃袍山蘭若寺（來佛寺）的附近有唐朝臣相金興政、北宋詩人黃庭堅和北宋抗金英雄方瓊等歷史名人所書的“佛源”“佛宗”“佛祖”等古石刻。湖北省通城縣黃袍山來佛寺也和中國其他各地的寺廟一樣，曾經戰爭及朝代更替而數度浩劫，時至今日，上寺、下寺、中寺、觀音寺都已不見，只有重建於明清時期的來佛寺的幾間瓦屋、幾段斷壁、幾塊裂石碑，還瀟條且破落地立於黃袍山高山古道邊，現存的寺廟規模、信徒香火都遠不如從前，甚至是已被世人遺忘。
黃袍山蘭若寺（來佛寺）不遠處有多棵至少1500年以上樹齡的紅豆杉、銀杏等古樹，也許是古時的佛教信士們所種植，這些古樹也被稱為黃袍山活著的歷史。來佛寺左側古道上行百餘米有一塊由後人修補過的千年古佛石碑，我們在古道附近見到了古石橋、古石埂、古石梯、古石道、古石洞等，但楚吳古道邊的古茶樓、古驛站、古街道、古客棧都已不見。
