1954年5月间，毛泽东在4天之内3次登上紫禁城。5月17日下午4时，毛主席来到故宫。为了不打扰游客，他只让公安部长罗瑞卿和故宫保卫科长韩炳文两人陪同。他们从神武门东坡道登上城楼，顺着城墙向东、向南，一直走到东华门。在东华门城台，毛泽东坐在小马扎上休息，与大家分食橘子，同韩炳文亲切交谈。随后，他参观了设在午门城楼上的“基本建设出土文物展览”，前后共计3个多小时，直至天近黄昏才悄悄离去。
时隔一天，5月19日下午，毛主席又来到故宫，继续参观“基本建设出土文物展览”，并对陪同人员说：“这就是历史。”两个小时后才意犹未尽地离去。5月20日下午，毛泽东第三次来到故宫。这次是从神武门向西走，在西北角楼留下了一幅珍贵的照片。直到晚上7时左右，才走下城楼，同大家挥手告别。
三次路线相加，毛泽东正好在故宫城墙上绕行一周。这是毛泽东到故宫仅有的三次记载，而这三次他只登城墙不入宫内。
在城墙上漫步徐行，毛泽东有何感想?他是否想到了故宫改建计划?他为什么不到故宫里边走走?其中内情无人知晓。
故宫改建：张奚若曾于1948年12月18日北平围城之时，带解放军干部请建筑学家、清华大学教授梁思成绘制北平文物地图，以期被迫攻城时保护文物之用。此前一天，毛泽东亲笔起草中共中央军委给平津战役总前委的电报，要求充分注意保护北平工业区及文化古迹：“沙河、清河、海甸、西山等重要文化古迹区，对一切原来管理人员亦是原封不动，我军只派兵保护，派人联系。尤其注意与清华、燕京等大学教职员学生联系，和他们共同商量如何在作战时减少损失。”
