下，他先是被摘去顶戴花翎，革职拿问，随后即押解回京，定斩监候，籍没家产。他的三个儿子也受株连，均被革职。崇绮就是在那时被革去了工部主事官衔。
赛尚阿本来因失职重罪被军机处和刑部联合判处了极刑，但在军务紧急的用人之际而最终获得释放。后随御前大臣僧格林沁办理巡防事务。经过几年的效力赎罪，1861年（咸丰十一年），赛尚阿被授正红旗蒙古副都统。
而今，赛尚阿已然是风烛残年卧病在床。不能再为朝廷效力了。
对于父亲受到的打击，崇绮是有着切肤之痛的。
“当年兵败。非是赛老大人才具不足，指挥失当，而是兵力单弱，难有作为，那班书生空喊进剿，临事却无一人敢挺身而出，只知妄言诟詈，以图卸责！”林义哲道。“须知是谁保举赛老大人带兵的？兵败后又是谁落井下石的？不都是一辈人么？”
“鲲宇说的是……”崇绮狠狠的一拳捶在了桌上，震得几个杯盘在桌上跳了起来。
“恨不能尽诛此辈！”崇绮咬牙切齿的说道。
听到崇绮的话，林义哲知道他的目的已然达到，便适时的止住了话头，避免崇绮受的刺激过于剧烈。
“说了些不中听的话，让崇公见笑了。”
“哪里哪里，我与鲲宇一见如故。是以才能如此掏心窝子的说话。”崇绮意识到了自己刚才的失态，立时回过神来，笑着说道。
崇绮亲手取过酒壶，给林义哲斟满酒杯，二人随即举杯对饮，重又边吃边畅谈起来。经过了刚才的这一番肺腑之谈。二人都感觉比之前要亲近了许多。
宴罢，崇绮又延请林义哲至书房闲谈良久，直至傍晚，林义哲告辞时，崇绮尚觉意犹未尽。
送走了林义哲。崇绮又回到书房，翻开了一本《明史》。找到了这样的文字：
“……演为人既庸且刻。恶副都御史房可壮、河南道张煊不受属，因会推阁臣谗于帝，可壮等六人俱下吏。王应熊召至，旋放还，演有力焉。”
“自延儒罢后，帝最倚信演。台省附延儒者，尽趋演门。当是时，国势累卵，中外举知其不支。演无所筹画，顾以贿闻。及李自成陷陕西，逼山西，廷议撤宁远吴三桂兵入守山海关，策应京师。帝意亦然之，演持不可。后帝决计行之，三桂始用海船渡辽民入关，往返者再，而贼已陷宣、大矣。演惧不自安，引疾求罢。诏许之，赐道里费五十金，彩币四表里，乘传行。”
“演既谢事，蓟辽总督王永吉上疏力诋其罪，请置之典刑，给事中汪惟效、孙承泽亦极论之。演入辞，谓佐理无状，罪当死。帝怒曰：‘汝一死不足蔽辜！’叱之去。演赀多，不能遽行。贼陷京师，与魏藻德等俱被执，系贼将刘宗敏营中。其日献银四万，贼喜，不加刑。四月八日，已得释。十二日，自成将东御三桂，虑诸大臣为后患，尽杀之。”
看到“演赀