公元1244年，元朝一代贤相、开国元勋耶律楚材病逝于蒙古高原，举国致哀。朝廷为纪念这位对元朝做出巨大贡献的杰出人物，特意在京都西郊瓮山一带为耶律楚材专设祠堂，以示隆重。
    如今的耶律楚材祠默默地伫立在昆明湖畔，大殿后是耶律楚材的墓地，祠堂的庭院中竖有清代乾隆御碑一座及翁仲（石人）一尊，关于这个石人还有一个趣闻。
    元朝灭亡以后，对蒙古族统治者怀有深刻仇恨的中原百姓将耶律楚材的墓地和祠堂彻底毁坏，祠堂庭院中的那尊石人也被推倒砸坏。传说数十年以后，有一个夏天的晚上，一些萤火虫落在被推倒的石人的脸上，偶然看到这一景象的人以为是石人的眼睛会在夜里发光，于是便将这一奇事传扬开去，不料一传十，十传百，关于“石人晚上两眼能发光”、“石人一到晚上就变成了活人”之类的子虚乌有被宣扬得满天飞。当地一些人认为这是凶灾的象征，大为不安，于是将石人推入水中。
    直到1750年，乾隆在修建清漪园（今颐和园）时，发现这里是耶律楚材墓的旧址。乾隆出于对耶律楚材在历史上所做贡献的充分肯定，决定在原处恢复墓地与祠堂，并将祠堂圈入御园，那尊石人也因此得以重见天日。