设法迫害余玠。余玠与统制姚世安不和，姚世安则以谢方叔为援。
统制姚世安想继任王夔的职位，暗中运动戎州都统保荐自己。余玠认为军中举荐，最有弊害，因此没有答应，还调派三千骑来到云顶山下，另外派遣都统金去代替姚世安。姚世安一向和谢方叔互相结纳，于是遣使向谢方叔求助，拥兵拒绝来将。余玠刚想讨伐姚世安，不料朝廷下诏，竟召他入都，授为资政殿学士。
余玠在蜀地任命都统张实整治军旅，安抚使王惟忠管理财赋，监抚朱文炳招募宾客，都有规矩。宝庆以来，蜀中主帅要推余玠为巨擘。但不免专擅，所有平时的奏疏，也很不严谨。赵昀已心中不满。经谢方叔离间，当即召他回朝，另调知鄂州余晦为四川宣谕使。余玠得知之后，郁郁不欢。余晦还没有到，余玠竟然暴毙。侍御史吴燧反劾玠聚敛罔利共七罪，赵昀也不加查察，竟下令没收了余玠家产，犒师赈边。余玠的儿子余若孙认钱三千万，征索多年，才得以缴够。
余晦到了蜀地，就派遣都统甘闰率兵数万，筑城于紫金山。蒙古大将汪德臣挑选精锐骑兵，衔枚连夜猛进，突击甘闰所部。甘闰闻变，急忙逃跑，全军大溃，所建的新城，被蒙古兵夺去。赵昀刚刚擢升余晦为制置使，接到甘闰的败报，还是不想把余晦调开。
参政徐清叟曾经与谢方叔一同排挤余玠，这时又上奏道：“朝廷命令，不行西蜀，已有十二年了。今天余玠毙命，正是陛下大有所为的机会。但是以素无行检、轻儇浮薄的余晦充当制使，臣恐怕五十四州军民，将自此懈怠。蒙古如果听说，也会窃笑中国无人。”
赵昀于是召回余晦，命李曾伯继任。余晦小名再五，安抚使王惟忠曾经说道：“余再五来了。真正可怪！”余晦听说之后，勃然大怒，便诬告王惟忠暗通北国。赵昀即下诏把王惟忠抓汝大理狱，推勘官陈大方构陷成罪，判他斩首。王惟忠对陈大方道：“我死当上诉天苍天，看你能久生世上吗？”果然王惟忠死后，陈大方也很快死了。
这时蒙古藩王忽必烈命兀良合台统辖诸军，分三道攻入大理，俘虏了国王段智兴。接着进军吐蕃，国王唆火脱惶恐乞降。忽必烈乃下令班师，转而图谋西蜀。
与此同时，赵昀改元宝祐，自庆升平。后宫贾贵妃死了，阎婉容被晋封贵妃。赵昀此时厌倦朝政，追逐声色，听任丁大全、马天骥、董宋臣乱政。他完全没有了端平更化时那种励精图治的精神，每日沉湎在诗酒之中，同时开始追求奢侈豪华，在临安大兴土木，造佛寺道观祈祝长寿，建楼榭亭阁专供游幸。
阎贵妃是他最宠爱的妃子，姿色妖媚，对她赏赐无数。阎贵妃想修建一座功德寺，赵昀不惜动用国库，派遣吏卒到各州县
搜集木材，为其修功德寺，闹得百姓不得安宁。这座功德寺前后花了三年时间才建成，耗费极大，修得比自家祖宗的功德寺还要富丽堂皇。
就在这些人擅权用事之际，有人在朝门上大书八字：“阎