实际才干很感兴趣，把他派到江西、湖北、湖南等地担任转运使、安抚使一类重要的地方官职，负责治理荒政、整顿治安。
辛弃疾虽有出色的才干，但他的豪迈倔强的性格和执着北伐的热情，却使他难以在官场上立足。另外，“归正人”的尴尬身份也阻拦了他仕途上升，使他的官职最高为从四品龙图阁待制。
淳熙七年，四十一岁的辛弃疾再次任知隆兴府兼江西安抚使时，想在上饶建园林式的庄园，安置家人定居。淳熙八年春，开工兴建带湖新居和庄园。他根据带湖四周的地形地势，亲自设计了“高处建舍，低处辟田”的庄园格局，并对家人说道：“人生在勤，当以力田为先。”因此，他把带湖庄园取名为“稼轩”，并以此自号“稼轩居士”。
他也意识到自己“刚拙自信，不为众人所容”，所以早已做好了归隐的准备。果然，同年十一月，由于受弹劾，官职被罢，带湖新居正好落成，辛弃疾回到上饶，开始了他中年以后的闲居生活。此后二十年间，他除了有两年一度出任福建提点刑狱和福建安抚使外，大部分时间都在乡闲居。
淳熙十五年秋天，陈亮写信给辛弃疾和朱熹，相约到铅山紫溪商讨统一大计，但是朱熹因故推辞了这次铅山之会。这年冬，到了相约之期，辛弃疾正染病在床，于瓢泉养息等待陈亮。傍晚，雪后初晴，夕照辉映白雪皑皑的大地，辛弃疾在瓢泉别墅扶栏远眺，一眼看见期思村前驿道上骑着大红马而来的陈亮，大喜过望，病痛消散，下楼策马相迎。
两人在村前石桥上久别重逢，感慨万端：伫立石桥，沐浴着雪后初晴的夕阳，纵谈国事，为金瓯残缺而痛心疾首，爱国之情汹涌澎湃于胸，拔剑斩坐骑，盟誓为统一奋斗不止。辛弃疾在与陈亮别后写的《贺新郎·同父见和，再用韵答之》中发出“男儿到死心如铁，看试手，补天裂”的呐喊。
辛弃疾和陈亮这次会晤，瓢泉共酌，鹅湖同游，长歌相答，极论世事，逗留弥旬乃别，成为文坛佳话。鹅湖之会后，辛弃疾又陆续出山两次做官。绍熙五年夏，辛弃疾又被罢官。他回到上饶，住在瓢泉，动工建新居，经营瓢泉庄园，决意“便此地、结吾庐，待学渊明，更手种、门前五柳”。
庆元二年夏，带湖庄园失火，辛弃疾举家移居瓢泉。辛弃疾在瓢泉过着游山逛水、饮酒赋诗、闲云野鹤的村居生活。瓢泉田园的恬静和期思村民的质朴使辛弃疾深为所动，灵感翻飞而歌之，写下了大量描写瓢泉四时风光、世情民俗和园林风物、遣兴抒怀的诗词。庆元四年，辛弃疾被授予主管冲佑观之职。嘉泰三年，主张北伐
的韩侂胄起用主战派人士，六十四岁的辛弃疾被任为知绍兴府兼浙东安抚使。
与此同时，又有邓友龙出使金国回来。他极力声称金国困弱，似乎唾手可得。韩侂胄得知，自然是心中大喜，于是决定起兵，同时追崇韩世忠、岳飞等人，以此激励将士。韩世忠早已在孝宗时候，被追封为蕲王。但是岳飞却只被谥武穆