和西凉签订城下之盟，回京后立刻解除了他的职务，任命斛律提婆为领军将军，收拢长孙狄败兵，然后在朔州和司州周边，依据地形逐步诱敌深入，但败多胜少，伤亡极大，最后坚壁清野，退守平城。
鬼方军距离平城二十里外的御河畔扎营，一边派出队伍四处劫掠民户和钱财粮草，一边驱使这些民户赶造攻城器械。等平城周边百里再劫掠不到人口和物资时，以五千魏国百姓为前驱，对平城发起试探性的攻击。
第一波箭雨把这些毫无防御的百姓杀伤了六七百人，表明城内绝不会因为怜悯而出现防守漏洞。紧跟百姓后面的鬼方军撑着简陋的木盾，背着装满土的布袋，挥舞着刀枪直接把百姓们赶下了护城河，箭矢和滚石纷纷自城头抛出，砸死和射死的尸体很快就充塞了河道，然后是数万鬼方军扔下土袋，成功将护城河填平，之后借助竹飞梯和云车，开始蚁附攻城。
作为马背上的民族，精于骑射的鬼方军并不擅长攻城，也没有像北魏鲜卑族那样进行汉化和融合，所以守城方准备充足，各类器械应有尽有，而攻城方只有最简单的云梯，连抛石机都造不出来几架，还没把巨石掷出去，就被压得散了架，己方的兵卒砸死了几十个，严重影响士气。
统军大将乌勒祁虽是柔然的俟利发，除可汗之外，掌控军权，可并无太强大的军事才能。柔然军作战，就是仗着兵强马壮，人多势众，野战谁也不怵，只有魏国的百保鲜卑勉强可以称为对手。
所有阴谋诡计在绝对实力面前都是枉然，因此造成了柔然的将军们都不爱什么战术兵法，这也是为何元瑜看不上柔然，轻蔑的把他们称为蠕蠕。
而平城的攻城战彻底暴露了这一缺陷，面对北魏的帝都，城高墙坚，接连苦战了五日，伤亡了两万多人，可是连墙头都爬不上去，更别说破城而入。
乌勒祁改变策略，决定围城，同时分兵三路，各率两万人，南下肆州、汾州、燕州烧杀抢掠。这样做既可以减轻粮草压力，也可以通过袭扰地方，逼平城里的守军出城决战。
各州的镇戌兵哪里挡得住柔然的铁骑，只能学着平城将百姓迁入大城和坚城固守不出，可仍然有大量的百姓和财产被劫掠一空，短短的半月内，整个北魏境内烽烟四起，被摧毁的村庄数以千计，损失无比惨重。
元瑜龟缩防守的战略受到了朝野内外的巨大非议，可他乾纲独断，处死了两个上书劝谏的大臣，然后命令内侯官全城搜捕，凡妄言议政者，全部抓起来。不过也下了密诏，外紧内松，看似凶神恶煞，实则并没有受到什么折磨，相反在狱中好吃好喝照顾着，就此压住了反对的声浪的，继续龟缩，任由柔然涂毒四方。
九月十一日，终于等到跟随元光出征的外侯官秘密回京，转呈了元光的奏报，知道了漠北汗庭的战况。元瑜依崔伯余之计，贻书乌勒祁，书里极尽言语侮辱之能事，并约他七日后，也就是九月十八日午后在方山以东、御河以西的堆积平原地带展开决战。