清代蘇州三杰都是潘家人，潘世恩與堂兄潘世璜、孫潘祖蔭合稱為“蘇州三杰”。
潘世恩（1769-1854）清朝名臣。潘世恩六世祖潘仲蘭自明代起由歙縣北遷，落籍素享“風土清嘉、人文彬蔚”之譽的蘇州。先撰，嘉慶間歷侍讀、侍講學士、戶部尚書。道光間至英武殿大學士，充上書房總師傅，進太子太傅。潘世恩為官五十余年，歷事乾隆、嘉慶、道光、咸豐四朝，被稱為“四朝元老”。
嘉慶十四年（1809），為奉養老父潘奕基，購“鳳池園”宅第，修建“留余堂”為藏書樓，在“留余堂”收藏圖書數萬卷，卸官之后在藏書樓內遍讀群書，作詩研史。長子潘曾沂積藏有圖書充棟，次子潘曾瑩的“小鷗波館”以收藏書畫著名。孫輩如潘祖蔭“滂喜齋”，潘祖同“竹山堂”等，是潘氏世家藏書最為知名藏書家。著有《正學編》、《讀史鏡古編》、《有真意齋文集》、《思補齋詩集》、《思補老人自訂年譜》、《熙朝宰輔錄》、《思補齋筆記》等。頗喜刻書，刻有《滂喜齋叢書》。亦愛好《儒林外史》，曾將刻本細加潤飾，命人抄錄1部，由其親寫跋文，世代珍藏，為滂喜齋咸豐四年前抄本”，為世所重。
潘世璜（1765—1829）。清代官員、學者。字黼堂，號理齋，吳縣（今屬江蘇蘇州）人。潘奕雋之子，狀元潘世恩從弟。潘世璜與潘世恩、潘祖蔭合稱為“蘇州三杰”。潘世璜鄉試一舉奪魁，成為解元，乾隆六十年（1795），中乙卯恩科一甲第三名進士（探花），授翰林院編修。散館改任戶部主事。后補戶部浙江司兼云南司行走。不久，因母喪丁憂去職。守喪期滿，潘世璜以父親年邁，請求終養，不再出仕，閉戶讀書三十年，專意輯編宋儒理學諸書。道光二十二年（1842），潘世璜入祀鄉賢祠。
潘祖蔭（1830～1890）清代官員、書法家、藏書家。字在鐘，小字鳳笙，號伯寅，亦號少棠、鄭盦。吳縣（今江蘇蘇州）人，潘世恩孫。咸豐二年一甲三名進士，探花，授編修。數掌文衡殿試，在南書房近四十年。光緒間官至工部尚書。通經史，精楷法，藏金石甚富。有《攀古樓彝器圖釋》。輯有《滂喜齋叢書》、《功順堂叢書》。
潘祖蔭生長于北京，祖籍吳縣。他的祖父為乾隆癸丑科狀元潘世恩，官封太傅及武英殿大學士。他的父親潘曾綬，字紱庭，官至內閣侍讀。他的叔祖是乾隆乙卯科探花潘世璜。
道光二十八年，恰值潘世恩80大壽，道光皇帝恩賞潘祖蔭為舉人。潘祖蔭后果然于咸豐二年得中一甲第三名。潘祖蔭在咸豐四年為國史館協修。奉旨為候補侍讀。任實錄館纂修。咸豐六年，任功臣館纂修、會試同考官、侍讀、咸安宮總裁、南書房行走�！兜拦饣实蹖嶄洝吠瓿�，升任文淵閣榜理。以捐備軍餉賞戴花翎。咸豐七年，授潘祖蔭充任日講起居注官，轉授侍講學士。初任官職授工部右侍郎。咸豐八年，以侍講學士任陜甘鄉試正考官、國子監祭酒、侍讀學士。咸豐九年，他上奏廣開言路折。京察獲二等，御賞文綺。授大理寺少卿。咸豐十年，左宗棠被彈劾，召對簿。他上疏密保左宗棠，說他人才出眾，此案才平息下來。左宗棠被釋疑保舉曾國藩襄理軍務。又呈上四川軍務宜籌防剿之奏折、陳“救時八策”并《團練章程》十二條、上疏直諫駕幸木蘭等奏折。
咸豐十一年，潘祖蔭署宗人府丞。上疏議郊配大禮，請皇帝按圣制永垂法守。咸豐十一年，皇帝下詔，求直言進諫。潘祖蔭應詔陳言數條：第一、勤圣學。首先選典學施教，選有德賢臣開展日講舊制。斟酌變通康熙帝時的舊制，在翰林中選擇數名作為顧問，可以養成圣德、正本清源。第二、求人才。保國之道首先在于得人才，多事之秋，更要講究用人。不要墨守成規，有才干又有學識的要破格錄用。一定要廣開言路，不受虛名，務求實效。第三、整軍務。軍法不明，軍務松弛。將士窩里斗、看笑話，各霸占自己的范圍，常常坐失良機。應該仿嘉慶年間設經略來節制各省。凡是臨陣脫逃、城池失陷的立即按律處治。第四、裕倉儲。國家根本以糧足為先。而今倉儲空，京郊不能自足。要抓緊采買。在天津設收米局。錢不夠用，可開設米捐。第五、通錢法。咸豐四年改用大錢，錢法更加破壞。官號、奸商浮開虛票，又改用私票。存錢數當不上使用錢數，錢不值用，禍國殃民。官府要嚴加管理，逐漸全用制錢，平抑物價，錢法就可以修正了。
潘祖蔭研索鐘鼎、篆、隸書法文字，往來籀分。一次，聞聽有碑石，他欣然前往一覽，在篆床后壁間，秉燭細觀，連垢面也顧不上，花五百金購回。潘祖蔭尤其注意吉金，他所藏鐘鼎彝器之類多達五百余件，成為當時收藏吉金的第一家。鮑子幸曾經與潘祖蔭論好古象幣者之弊有三：矯、癡、誣，潘祖蔭為之失笑。被人稱作金石學家。