像阿史那弥射这样在名前刻“故”字的石人像竟然有十余个，这足以说明乾陵石人像群并不是唐高宗或武则天入葬时来参加祭奠的人。
对于石人像头部的去处，在民间有许多说法。最流行的一种说法是：明末清初时，一个外国使节后代到乾陵来游玩，发现他的祖先在给大唐的皇帝守灵。他们认为有失国格，有辱人格，但又怕若把这些石像打碎会引起当地政府官员的阻拦，所以他想了一个招：每天晚上去到附近的农田里糟蹋庄稼，糟蹋完以后到附近农民家里去说这些石人晚上成精，把所有粮食都糟蹋光了。要保护粮食，就必须把这些石人消灭，把他们的头敲碎，他们就不能成精了。当地农民觉得这话说的有道理，就一气之下把石像的脑袋都打碎了。
另一种说法认为是八国联军侵华时，看见唐乾陵前立有外国使臣的群像，感到有辱洋人的脸面，于是把石人的头砍掉了。但据历史学家考证，八国联军当时并没有到过乾陵。
明朝的开国元勋刘伯温曾到过乾陵，并留下了“番王严似立层层，天马排行势预腾”的诗句。然而在明朝末年一些诗人描写乾陵的诗句中出现了“赤马剥落离倒旁”的诗句，也就是说乾陵的立马和石像都纷纷地倒在了地上。诗中所描述的石像倒地的情景，似乎于民间传说在时间上有相近之处。
研究学者通过查阅大量资料，最终将目光锁定在明朝嘉靖年间那次震惊世界的大地震上。
明嘉靖34年，也就是公元1555年1月23日，陕西华县一带发生了强烈地震，震级达到8至11级。由于地震发生在子夜，人们还在熟睡中，致使80多万人死于这次大地震。华县距乾陵只有100多公里，属于震中地带，乾陵也因此遭受到了毁灭性的打击。这就是历史上著名的关中大地震。
专家们推断，关中大地震是造成61番臣像头部断裂的主要原因之一。不仅是61番臣像，许多陵前石像石马毁坏的部分恰好也都是头部。专家分析：除了石像颈部脆弱之外，还有一个重要的原因就是石像的材质。
因为当时雕刻采用的石料有一些石瑕，即从石料上可以看到的一些浅色的线条。石头受损时，最容易从这些地方开裂。研究人员推断：61尊番臣像绝大部分毁于那次大地震。其余的石像很可能毁于明末清初的战乱时期。
