秦晋之咽喉，关陕之险要”，是宋夏对峙中宋朝河东路的重要障蔽。此外，这里还出产良马，是中原罕有的战马产地。
徐徽言大为悲愤，拒绝承认诏书。他跃马横枪，将前来接收河西三州的西夏军赶出境外。他聚集了大量河东路的宋朝残军，连结数十万汾、晋豪杰义士，准备捣太原、取雁门，收复故地。他说道：“只要平定了晋地，我们就有了地理上的优势，中原指期可复，机会一旦失去，就贻害无穷!”
徐徽言并不是为他个人谋私利，而是为国家。府州原属折可求家世袭的封地，徐徽言刚一收复，便将它交还给了折可求。金兵因此很忌惮徐徽言，想迅速攻下晋宁来消除祸患。建炎二年冬天，金娄室从蒲津渡过黄河围攻徐徽言。徐徽言派折可求的儿子折彦文送书信给府州，约折可求攻打金军。
可是折彦文却被金兵遇到，被生擒而去。金娄室于是胁令他写书信招降折可求，折可求为了保住儿子的性命，竟然把所辖的麟府三州，投降金军。徐徽言曾经和折可求联姻，金娄室于是让折可求到城下，叫徐徽言与和他答话，劝说徐徽言投降。
徐徽言登上城墙，大义凛然地责骂折可求。折可求仰望城墙说道：“您对我为什么这么无情？”徐徽言拉开弓箭厉声说道：“你对国家没有情义，我还对你有什么情义？难道只有我无情吗，这支箭更无情！”于是他一箭射中了折可求，折可求吓得赶紧逃跑。
徐徽言乘机率军出击，大败金兵。金娄室退走十里下寨，他的儿子竟然也死于乱军之中。金娄室痛子情深，恨不把晋宁军吞下肚去，随即增补兵卒和战车乘，仍继续进攻。但金军多次进攻都失败了，因为未能达到目的，所以金军围攻更加急迫了。
徐徽言自己估计支撑不下去了，就把守城的器具全部烧掉。他手持宝剑，坐在大堂之上，慷慨激昂地对将士们说道：“我是替天子守卫国土的大臣，要坚守气节而不能落入敌手受辱。”于是拔出佩刀自刎，部下急忙大呼救了他。
相持至三个多月，城内粮尽援绝，于是被攻陷。徐徽言本想自刎，金人突然来到，挟持了他离开。金娄室见到徐徽言，告诉他道：“你们宋朝的两个皇帝都已经去了北方，你还为谁守卫这个地方？”徐徽言道：“我为建炎皇帝守卫。”金娄室说道：“我军已经南下，中原情势还不可能知道，你何必自己为难自己？”徐徽言大怒，说道：“我恨不得把你们的尸体拿去示众，再回去参见皇帝，我只知道要以死报太祖、太宗的地下亡灵，难道还要知道其他什么吗？”
金娄室又拿出金国皇帝的命令说道：“你如果能稍微屈服一下，会世代统管延安城，整个陕地全都归你所有。”徐徽言
更加愤怒，骂道：“我承受着国家宽厚的恩典，为国而死正是我的归所，我这双膝盖难道会为你们弯吗？你应当亲手杀了我，但不能让其他人来羞辱。”金娄室举起戟对着徐徽言，希望看到他害怕的样子。徐徽言坦开衣襟，迎着刀刃，神情镇定自