河南，临淮而还。于是境内乃安，朝野稳定。建熙二年二月，方士丁进受燕主慕容暐宠幸，欲求媚于太宰慕容恪，劝杀太傅慕容评。慕容恪大怒，奏收斩之，至此谄言不入于朝。
邺都之事传至江南，桓温遂聚众将商议，诸将皆欲趁其国丧兴兵北伐。桓温不以为然道：“慕容儁乃英特之士，临死时必托孤太原王慕容恪。慕容恪亦有大才，乃国之栋梁，善抚国家，能为将兵。以石季龙之勇，尚且为其所执，况如今军政大权集于一身乎？慕容恪尚存，晋之所忧大矣，防之不及，我不敢进击。”由是桓温未敢起兵犯燕。因闻谢万之兄谢安贤能，遂征拜为司马，深礼重之，凡有军国大事，悉皆咨之。史说谢安字安石，陈郡阳夏人，乃太常谢裒第三子、镇西将军谢尚从弟。谢安四岁时，名士桓彝见而大为赞赏，说道：“此子风采秀达，将来不弱于王东海（东晋名士王承）也。”谢安幼年便神态沉着，思维敏捷，风度条畅，工于行书。至少年时得到名士王蒙及宰相王导器重，已在士族中颇具声誉。
然而谢安洁身自好，不欲凭借出身门第及家族名望猎取官禄，故此不愿随意出仕。朝廷初召谢安入司徒府，授佐著作郎，谢安鄙其微职，便以有病为辞。其后为避朝廷征召，谢安干脆隐居到会稽郡东山，与王羲之、许询、支道林等名士、名僧交游，出门捕鱼打猎，回庐吟诗作文，足迹不涉官场。当时扬州刺史庾冰仰慕谢安名声，屡次三番使郡县官吏督迫，谢安不得已勉强赴召，仅隔月余，复辞职回到会稽。后朝廷又征召为尚书郎、琅玡王掾，谢安一概推辞。吏部尚书范汪举荐谢安为吏部郎，也被拒绝。朝中官员乃上疏，谓谢安历年不应朝廷征召，应予禁锢终身，谢安便放浪于东部名胜之地。曾到临安山，面对深谷悠然叹道：“此般情致，相去伯夷何远？”又与名士孙绰等人泛舟大海，风起浪涌，众皆惊恐，惟谢安吟啸自若。船夫因为谢安高兴，照旧顶风驾船漫游。其后风浪转大，谢安遂缓语道：“如此大风，我其返乎？”船夫于是立即驾船返航。众人见之，无不钦其宽宏镇定气度。
谢安纵情于山水，每次出游必携歌女同行，偎红倚翠，愈加不愿出山。江东士大夫互谓道：“安石不出，当如苍生何？”会稽王司马昱说道：“安石既然能与人同乐，也必定能与人同忧。若再征召，必应召而至。”当时谢安弟谢万任西中郎将、豫州刺史，担负守边重任。谢安虽隐遁山林，但名声远超谢万，并有堪任宰辅声望。谢安妻乃刘炎之妹，见家门贵盛，惟夫君独守静退，于是以言激之道：“大丈夫立于世间，宁可如是乎？”谢安则自掩其鼻道：“某虽欲守静如此，恐亦不免朝廷不允耳。”至此因弟谢万被黜，便有仕进之志。
闲言叙罢，书归正本。却说谢安既应桓温之邀，允为帐下司马，即起于东山，从新亭出发西进，百官皆为送行。御史中丞高崧于席间笑谓：“足下屡次违背朝廷旨意，高卧东山，以至众人常论，谢安石不肯出山，将怎样面对江东百姓！而今安石出仕，则如何面对江东百姓哉？”谢安闻言，面有愧色。