中牟人，祖父潘瑾曾任安平太守，父潘芘为琅琊内史。潘岳少时随父宦游中原诸郡，就读洛阳太学，二十余岁入仕，供职权臣贾充幕府，后历任京官，自负其才而郁郁不得志。因见尚书仆射山涛、吏部王济、裴楷等受宠，潘岳心怀憎恨，于是一时兴起，显露胸中才华，题歌谣于宫门之柱曰：“阁道东，有大牛。王济鞅，裴楷鞧；和峤刺促不得休。”山涛等恶之，于是奏准天子，将潘岳左迁怀县令。潘岳在县任政绩斐然，朝廷复召至京城，后因犯事免职，不久复为太傅杨骏主簿。太傅杨骏夷三族，潘岳亦在被诛之列，幸得好友公孙弘救之，迁为长安令。因与石崇附会贾谧，迁升黄门侍郎。贾谧喜好文学，开阁延宾，于是渤海石崇、欧阳建，荥阳潘岳，吴会陆机、陆云，齐国左思，中山刘舆、刘琨等皆归附之，常宴于石崇金谷园中，号曰金谷二十四友。潘母常劝其休趋附贾谧，潘岳虽口头受教，终不改其“性轻躁，趋世利”谄媚之性。
且说潘岳收到石崇书信，便知孙秀索取绿珠不成，其后必欲谋害石崇，贾谧及金谷二十四友也自然难免。于是为了自己性命，便依石崇所说，来见淮南王司马允，奏道：“赵王能除贾氏一族者，全凭齐王、梁王及大王三位殿下合力助之也。今一旦成功，便委功臣于脑后，且每行骄纵僭越，与孙秀独揽朝纲，篡逆之心人皆尽知。那孙秀何人，当此大位？其不过下人小吏，曾为家父下属。当时某因不惯其为人狡黠，常加以鞭挞，为其深恨；且闻大王亦曾面斥其非，以彼小人睚眦必报心性，定皆怀恨在心。今孙秀得势，某闻其正在罗织罪名，谓臣和石崇阿附大王，欲同谋逆反，齐王、梁王殿下等亦在名单之中。殿下与齐王今握重兵，何不趁先图之？”淮南王答道：“某早有此意，待与齐王谋之。卿宜秘之，幸勿与他人言。”潘岳领诺辞出。次日登殿，潘岳恰在朝堂上遇见孙秀，却欲探其口风态度，于是问道：“孙公与某乃是故交，不比于他人。今既同殿为臣，犹忆畴昔交结周旋之事否？”孙秀见潘岳提起往事，恼怒不堪，切齿答道：“中心藏之，何日忘之！公昔日之赐，尝思加倍以报。”潘岳心中一颤，于是自知不免，惟愿淮南王尽早与齐王商议停当，抢先动手。
孙秀见潘岳问得奇怪，联想到前番向石崇索取绿珠遭拒之事，又知金谷二十四友之交，不由大吃一惊，立刻明白潘岳之意。孙秀想通此节，被吓出一身冷汗，散朝后径至赵王府，奏请司马伦允准，矫称惠帝诏命，遣禁军至河阳，逮捕石崇、欧阳建，并另派兵拘拿潘岳。赵王对孙秀言听计众，亦不详问何故，当即允之，使禁军按名单前往拿人。禁军奉命到了河阳，先围了金谷园，使人往里通报。当时石崇正在楼上与绿珠及众姬妾宴饮，只听府外人喊马嘶，家人上楼飞报，京都宫中甲士已到门前。石崇知道必是孙秀前来报复，不由悔之不迭，转面对绿珠道：“今为卿故，某惹塌天大祸矣。我死，卿可归附孙秀，另享富贵。”绿珠望着楼下禁军，哭道：“妾岂能失身从贼？为君之故，当先死节。”于是以袖掩面，自投于楼下而死。禁军惊骇，于是锁拿石崇