其作为商界人士在政界之地位。此后，他就“归而养疴里门”，再不复出了。
潘仕成在地方被誉为“轻财好义，地方善举资助弗吝”。一是赈灾济贫。广东地区常有灾情，潘仕成不止一次捐资赈灾，还倡种牛痘，建议官府、亲友推广种牛痘，并为之代购进口种痘洋刀，输送洋痘种。各方人士和受患者均赞其“功德无量”。至于日常故交知己需扶贫济困，或婚丧嫁娶，或缺医少药者，他都乐意慷慨相助。
和许多成功发家的中国商人一样，潘仕成随后大起园楼，修建了自己的奢华庄园海山仙馆。“自道光九年（1829年）至同治五年（1866年）止，前后延续三十七年。”这处园馆筑于广州西门外泮塘，原名荔香园，是为园中遍植荔枝树之故。园门悬匾额“海山仙馆”，并有一副名联“海上名山，仙人旧馆”。联、匾为两广总督耆英所书。故多称此园为“海山仙馆”。园内仿江南园林，建有眉轩、雪阁、小玲珑室、文海楼等，垣绕四周，有游廊曲榭，沿壁遍嵌石刻，皆晋唐以来名迹，当代名流翰墨，令人目不暇接，如游碑廊。
潘仕成在海山仙馆内收藏了不少古玩文物，包括许多宋元版本的古书和汉晋碑帖，其所藏金石、古帖、古籍、古画有“粤东第一”之称。海山仙馆以其浓郁的岭南园林特色和与众不同的文化品位，吸引了许多风流名士。近人冼玉清谓其“一时墨客骚人，文酒之会，殆无虚日”。
由于潘仕成的特殊身份，海山仙馆不仅成了一处显贵来往、文人酬唱之处，还成了外交场合。潘仕成以绅士、富商身份，协助在粤大员办理夷务外交，参与会见外国使者和谈判活动。海山仙馆成了清朝高级官员一处非正式的接见来自欧美外交使者和商人的场所。琦善会见义律、耆英接见法国驻广州领事拉地蒙冬、美国首任驻华钦差大臣义华业向耆英递交国书的仪式，均在该馆举行。
但是世上没有不散的宴席，官场、商场之争更是激烈莫测。潘仕成既以官绅身份经商，虽善经营，颇多善举，晚年却一再遭遇变故，从此一蹶不振。
“听说他已将在十七甫的故宅以三万八千两银子之价售出，说明其手头不济到了出卖故宅的地步。盐务本是一本万利的买卖，何以会亏累至破家，个中缘由尚无人得知。”陈鸿说道。
“这钱，只有流动周转起来，才能生钱，”陈廷轩说道，“他可倒好，赈灾，修路，助朝廷养兵，加上各种摊派，哪一个不是从身上割肉，他赚的钱再多，也经不住这样的折腾。我当年劝他一道离了大清，退往海外，他偏不听，结果现在完了。”
的确，成为红顶商人的潘仕成顷刻成为了不得的大众慈善家、军事开发的财阀、中央财政的无私资助者。铺路、赈灾、种牛痘，潘仕成要出钱；水雷开发和舰船制造，他要出钱，然后无偿或微利转让给清政府；清廷养兵用军，他还是要出钱。一顶红换来一身累，这是潘仕成没有料到的。如果说铺路、赈灾之类是回馈父老乡亲，他尚能甘之如饴的话，