常在园中设宴演戏、请仙扶乩、相面算命、祝寿祭祖、写曲本、玩蟋蟀、放风筝、买卖古玩字画。由于长期挥霍无度,加上造园耗资,以致家业衰落。潘允端在世时,已靠卖田地、古董维持。潘允端死后,园林日益荒芜。明末,潘氏豫园一度归通政司参议张肇林。清初,豫园几度易主,园址也被外姓分割。康熙初年,上海一些士绅将豫园几个厅堂改建为清和书院,堂中供奉松江知府张升衢长生禄位。书院尚未修竣,张升衢遭贬黜,随即停工。园中亭台倾圮参半,草满池塘,一些地方成了菜畦。
清康熙四十八年，阳历1709年,上海士绅为公共活动之需,购得城隍庙东部土地两亩余建造庙园,即灵苑,又称东园。乾隆二十五年,一些豪绅富商集资购买庙堂北及西北大片豫园旧地,恢复当年园林风貌。修复后的花园实际上已非私家花园,成了供城邑士人乡绅们集会雅玩的园林,但规模布局还依照潘氏豫园,保留了文人宅园明秀雅洁的风貌。原临荷花池的乐寿堂已颓圮,复建在原址上建起形制高大、华丽宽敞的三穗堂。
道光二十二年，阳历1842年,英军从北门长驱直入,驻扎豫园和城隍庙,司令部设在湖心亭。豫园‘风光如洗,泉石无色”。咸丰五年，阳历1855年小刀会起义失败,清军驻扎豫园,香雪堂、点春堂、桂花厅、得月楼、花神阁、莲厅皆遭损毁。咸丰十年,太平军东征,清政-府请洋枪队入城防守,豫园又作兵营,“西园石山,尽拆填池”,建造西式营房。
清嘉庆、道光年间,上海商业发展较快,一些商业行会在豫园设同业公所,作为同业间祀神、议事、宴会、游赏之处。同治七年西园划分给各同业公所,各自筹款修复。此后园内茶楼酒馆相继兴起,商贩丛集,荷花池西南一片空地上,一些江湖艺人,诸如相面测字、卖梨膏糖、拉洋片等在此设摊,逐渐成为固定庙市,后演变为商场。光绪元年，阳历1875年,豫园内有豆米业、糖业、布业等21个工商行业设立公所,一些公所还设立学校,旧有古迹日趋湮没。”
听罢这段介绍，记者们唏嘘感慨，外国侵略，内乱动荡，使名园命运坎坷，饱经苍桑呀!
众人走进位于豫园正门附近的三穗堂。龙新亭介绍：“此堂其意‘禾生三穗,乃丰收之朕兆’。有5间大厅,屋宇宏敞。大厅中间有“城市山林”和“灵台经始”匾额。匾额下是书法家潘伯鹰书写,豫园主人潘允端撰文的《豫园记》。三穗堂南临大湖,堂前桧柏分植,景观颇广远,“湖心有亭,渺然浮水上,东西筑石梁,九曲以达于岸。”三穗堂在清代中叶曾为豆米业公所议事、定标准斛之所,又称“较斛厅”；还曾是官府召集乡士绅商宣讲皇帝谕旨之处,是当时沪上绅士富商的政治、经济活动场所。三穗堂南荷花池、凫佚亭、绿波廊、濠乐舫、鹤闲亭、清芬堂、凝晖阁等成为豫园外景点。”
游完三穗堂，一行人来到仰山堂、卷雨楼。龙新亭讲解：“这底层称建筑称仰山堂,上层为卷雨楼。仰山堂共5楹,后有回廊