杨氏一门俱已杀尽，军心大快，民心大快。惟有玄宗心中凄凉万状，一路上长吁短叹，勉强行了一程又行了一程，终日怔怔地忘了睡眠，黯然恍惚地忘了饮食，所记得的只有玉环的名字，每天至少也要唤三百遍。不论沿途驿站的御膳如何精美丰盛，玄宗也只是略略进了一点。嫔嫱歌舞一概不要，还唤高力士召集来御林军将士，说：“如今变出非常，劳尔等宵行露宿，远涉关山。今日大难已脱，奸相已除，尔等远离故乡，谁没有个父母妻儿之念？此去蜀道难如登天，朕不忍累尔等抛妻撇子，今日就可各自回家。待朕独与子孙辈慢慢地行到蜀中。”又特将成都节度使差遣使臣送来的春彩十万匹分给将士，作为回乡盘费。
众将士一听，不觉一起落下泪来，同声说道：“万岁爷圣谕及此，臣等寸心如割！自古道，养军千日，用在一朝；臣等不能预灭奸贼，使陛下有蒙尘之难，已是罪该万死。如今臣等护从陛下至此，就是死也愿意从行。”玄宗道：“尔等忠义虽深，但朕心实有不忍，还是各回家乡去吧。”
陈元礼忍不住说道：“万岁爷如此厌弃臣等，莫不是因贵妃娘娘之死吗？”
玄宗道：“非也。只因朕此次蒙尘，长安父老颇多悬望；你们回去，烦为传说转告一下，只道是朕躬无恙。”
众军士听了，齐声说道：“万岁爷休出此言，臣等情愿随驾，誓无二心！”玄宗点头叹息道：“难得众军一片忠义，只今天色已晚，今夜就此权且驻扎，明日早行就是了。”众军士这才领旨退去。
第二天，高力士依旧扶玄宗上马，军士排队先行。玄宗在马上，看着四面山色，不住地叹着气说道：“对此鸟啼花落，水绿山青，无非助朕悲怀！”说着就用袍袖不住地抹着眼泪，高力士劝道：“万岁爷请自排遣，看开些吧，千万不要过于悲伤，以致于有伤您万金之龙体。”
一队旌旗枪戟，缓缓行上了山腰栈道。高力士忙赶上前去拢住辔头，生怕玄宗有闪失。这时一阵风挟着雨点迎面扑来，雨势愈下愈大了。恰巧前面一座高阁，依山壁而造。高力士就奏道：“雨来了，请万岁暂登剑阁避雨。”玄宗道：“快吩咐军士们，暂且驻扎，雨住再行。”军士们听了，齐呼一声万岁，然后支起篷帐来躲雨。
从剑阁中登高一望，山风削面，冷雨敲窗，景象十分凄楚。一阵阵雨声，和着檐的铃铎，随风而响成一片勾人心碎肠断的呜咽声，阴云黯淡无昏暝，哀猿叫断肠，子规啼血，叫人好怕听，尤其玄宗更怕听，当着这萧条条峨嵋山下少人行，雨冷风斜扑面迎。淅淅沥沥，一片凄然玄宗心暗惊，一点一滴又一声，一点一滴又一声，玄宗对这伤情处，转自忆荒茔，白杨萧瑟雨纵横，此际孤魂凄冷，鬼火光寒，草间湿乱萤。
高力士好不容易才劝住了玄宗的伤心，忽见太子李亨的奏本到，说太子李亨率领诸亲贵，避难灵武关，因为国不可一日无君，所以太子李亨只好先在灵武设朝，称为肃宗皇帝，并遥遵玄宗为太上皇，改年号为至德。然后奏折写到这儿，笔峰一转，又无比柔和地宛转奏说，待杀平贼寇后，再请父皇回銮，早视朝政。并说反贼安禄山攻破京师，建伪都于洛阳，自称雄武皇帝，改国号为燕。现由灵武郡太守郭子仪统带十万雄兵，收复了京师，进逼洛阳。时下杀平贼寇，不过弹指间事。
玄宗看了这道奏章，才略略开颜。又把太子李亨的奏本递与群臣观看，然后玄宗说自己已然心灰意懒，决意就此传位于太子了。于是就在756年7月，洞悉自己大势已去的曾以文治武功开创了开元盛世的玄宗皇帝亲笔写下禅位诏书，结束了他在位前期为明君、后期却是个昏君的传奇帝王生涯。并于当日就派遣使臣，捧了传国玉玺册令和文武官员一齐随同使臣回灵武关去，侍奉新天子；一面又下诏，拜郭子仪为朔方节度使。
不多日子，终于到了目的地成都。太上皇玄宗在行宫住下，朝朝暮暮，依旧长吁短叹，那天向晚，听雨打梧桐，恍恍惚惚间，却见杨贵妃颈上挂着白色罗巾，飘飘荡荡地从梨树上走下来，玄宗忙奔出户外，一片凉月，万籁无声，那一阵一阵的冷风，吹在身上，玄宗直打战战，回到屋中，又是一番捣枕捶床的痛哭，多亏有高力士的百般劝慰。