专人守护。
后来，到了公元522年正月的一天深夜，忽然有人拿着棍子来打门，说是梁武帝弟弟萧宏部下的奴仆造反，跑到阁，让人把门打开检查，看守无奈打开阁门，为首的到了灵牙座前，取出灵牙，拜了三拜，用绸缎把牙包起来，拿着跑了，从此牙的下落不明。
到了永定元年（557年）十月的一天，陈高祖陈霸先即位后，下令在杜姥宅下集四部设无遮大会，高祖亲自从宫出来礼拜，牙又在这里出现了。
五代时期，原战乱，那颗牙辗转到辽代都城南京，也是后来的京城。公元1071年，大辽大王耶律仁先母燕国太夫人郑氏将那颗牙安置在招仙塔内，也即是后来的京西八大处公园。招仙塔是一座八角十级的砖塔，因塔的砖刻有佛像或佛塔的花纹，又称“画像千佛塔”。
1900年，八国联军侵入，大肆焚掠，借口义和团在灵光寺内设坛祭拜，于是用炮火猛烈轰击，招仙塔被毁，只剩塔基。
1957年，官府出资兴建舍利塔，舍利塔在形式参照仙塔，采用近代的钢筋混凝土结构，八角十三层密檐，覆钵形喇嘛塔的形式建造而成，下部有高大的须弥座。塔身内部分作七层殿堂，底层为一暗室，四周墙壁镶嵌石刻碑和经，室外有石梯达佛牙