授佐著作郎。不久迁为长史，兼任中书郎。晋武帝司马炎受禅即位，拜张华为黄门侍郎，封爵关内侯。武帝曾问张华汉朝宫制及建章宫事，张华应对如流，听者忘倦。其又在地上画出建章宫图样，左右无不惊异。武帝大喜，谓张华可比春秋时郑国良相子产，拜为中书令，又加散骑常侍。张华母丧，武帝下诏劝勉，并夺情不允回籍服孝，使身穿衰服，在朝助理政事。如此恩宠自古少有，于是满朝文武皆为惊异赞叹。
当初武帝与羊祜秘谋伐吴之时，群臣多不赞同，贾充尤为力阻，惟张华极力附和。咸宁五年，晋军大举伐吴，武帝遂命张华为度支尚书，且参与军中攻守决策。当时众军已发，伐吴一时受挫，未获成功，贾充便急急跳了出来，奏请武帝腰斩张华，以证明己是人非。武帝却不昏庸，因而说道：“伐吴大计乃是出自朕意，张华只与朕相同而已。既云杀彼，则朕如何自处？”贾充方才无语以对。张华力排众议，终至灭吴一统天下，贾充愧恨难当。武帝遂诏封张华为广武县侯，增邑一万户，封一子为亭侯，食邑一千五百户，赐绢万匹。张华于是声名显赫，受命撰订晋史，修礼仪，多有增改。因起草武帝诏书诰文，声名愈显，虽不列于三公之位，已有三公威望。荀勖乃世家大族，忌恨张华以庶族之身得宠，常于帝前谤之。适逢武帝病重，问以托孤之事，张华荐齐王司马攸，不合帝意。荀勖于是趁机离间，使武帝调张华离朝，命为持节、都督幽州诸军事，又兼任护乌桓校尉、安北将军。不料此举虽以谗害为初衷，反而成就张华大功——其在任内招抚边民，北民皆感其恩德，马韩、新弥等化外二十余国皆遣使朝贡于晋。当时幽州边民臣服，疆域安宁，粮食丰收，兵马强壮。
张华成此大功，于是公卿朝议，欲请武帝召张华回京拜相，进号仪同三司。此番却又是因为张华出身庶族，非世族门阀子弟，复为武帝宠臣冯紞所阻。不久武帝征召张华为太常，入朝主理祭祀重事。但说来也怪，张华任为太常不久，却因太庙大梁忽折，又被免职，不知是偶然事件，还是有人故意为之。直至武帝驾崩，晋惠帝司马衷即位，复命张华入朝，为太子少傅。但因其与王戎、裴楷、和峤皆有德望，遂被杨骏猜忌，不得参与朝政。张华却不因此而记私恨，至杨骏被杀，皇后贾南风欲废杨太后时，群臣大多顺承，唯有张华反对。
闲言叙罢，书接前文。却说张华首谋除灭楚王有功，受到重用，便尽忠国事，辅佐朝政，弥补缺漏。虽当时惠帝昏弱、贾后残暴肆虐，仍能使天下安定不至于大乱者，张华功劳甚巨。张华见贾后亲族势大，于是作《女史箴》奉进，以此讽劝皇后收敛其行。贾后虽不采纳其谏，但亦因此敬重张华。其后朝廷追论张华前后之功，晋封为壮武郡公。张华十数番坚辞，惠帝不允，终使受之。元康六年，张华为司空，兼管修史之事，因主管文史之政，遂奏请天子诏令天下各郡，举贤良方正之士，荐于朝廷择优录用。惠帝准奏施行，颁诏天下。此诏一出，直引出两位大才，使洛阳文坛大放异彩。说话的！果是哪两个人，说的如此郑