在宝石河北岸现存宝石会场（原“舒氏家庙”）原来是村子里最豪华、最讲究的建筑，也是规格最高的所在。据史载，明代嘉靖“许民间皆联宗立庙”，后来做过皇帝或封侯过的姓氏才可称“家庙”，其余皆称宗祠。据宝石村《始祖仲續公家庙记》中称其“飞阁层楼、歌台舞榭”，原有大拱门、牌楼、中厅、仪亭、鼓乐楼、神宇等，占地近999平方米。被舒氏引以为豪、富丽无比、规模宏大、性质精湛，号称“六都第一祠”的“舒氏家庙”于1938年10月被日军付之一炬，现仅存前后四根雕刻精美的高大石柱、家门幡墩。至今村人还记得“舒氏家庙”仅对联就有历代名人撰写的对联数十副，其中就有家庙门重楼上的：数百户烟锁楼台一水中流分两岸，十五传基延堂构九宫高望並千秋。现原址存“宝石会场”为解放后进行重修。

舒氏家庙是2002年被公布为第四批省文物保护单位，2014年被列入第三批中国传统村落，2019年被公布为第七批中国历史文化名镇名村。舒氏家庙体现出传统工艺与新功能需求之间匹配与适应，对于研究传统工艺的演变具有重要的历史和科学价值。2024年，舒氏家庙主体整体翻修。

红五纵队宿营地和抗日民众学校于二十世纪30年代先后迁到此地，是组织抗日活动，宣传发动群众所在地之一，主要领导人有何长工、雷同等。