北宋亡后，金、元先后入主中原，天書觀失去了來自皇家的“恩遇”，沉寂了500余年。正德二年（1507年），天書觀再次受到了世人矚目。此時，碧霞元君已成為全國各階層普遍信奉的神靈，其祠廟遍布大江南北。明武宗朱厚照下令，在天書觀舊址建“碧霞元君殿”，并御制告文，遣官致祭。自此，天書觀雖然名字未改，但與宋真宗時期的“天書”已徹底沒了關系，成為專祭碧霞元君的廟宇。明武宗甚至為這位女神創造了中國歷史上的一個新稅種——香稅，并美其名曰“泰山元君祠香金備修費”。

?

　　 萬歷四十二年（1614年），明神宗朱翊鈞生母李太后去世。兩年后，明神宗將其封為“九蓮菩薩”，并在天書觀碧霞殿后建“九蓮殿”，安置“九蓮菩薩銅像”，改天書觀額為“天慶宮”。

　　 崇禎年間，明王朝內憂外患、風雨飄搖。崇禎十三年（1640年），明思宗朱由檢為挽頹勢，假借神道并效法祖父明神宗，將其生母劉氏封為“智上菩薩”，在天書觀碧霞殿、九蓮殿后建“智上殿”，供奉“智上菩薩銅像”，改觀額為“圣慈天慶宮”。

　　 清代時，碧霞元君信仰逐漸式微。咸豐五年（1855年），泰安知縣汪相芬將九蓮菩薩、智上菩薩銅像移奉蒿里山東邊的靈應宮中。道光年間，歷經滄桑的天書觀在“降天書”800多年后，成了一座真正的“書觀”——道光六年（1826年），知縣徐宗干在此設立“醴泉義塾”，城內貧苦之家的子弟多在此念書。光緒二十九年（1903年），泰安知縣毛徵在這里創辦“縣立第一學校”，這也是泰山周圍近代第一個高等小學校。毛徵延攬教員，分門授課，并開設外語教學，多方搜求中外書籍、科學儀器，為此還專門建了一座西式的“藏書樓”。當時的山東巡撫周馥曾專程到該校視察，對毛徵制訂的學堂章程、功課、管理法、教授法等給予了高度評價。民國初年，這里還曾設立“師范講習所”。

　　 天書觀最終消亡于20世紀50年代，曾在這里“尊居”的九蓮菩薩、智上菩薩銅像，由靈應宮分別移至紅門宮、斗母宮，原有的“十三級鐵塔”也僅剩三層，被移至岱廟保護。

　　 今天，天書觀遺址已成為一座公園，園內有一石，上書“天書觀遺址”，似乎在講述這里曾經的輝煌。