潘祖荫有收藏、赏鉴古器珍玩的爱好。诸凡金石书画，固然都是潘氏酷嗜之物，而对鼻烟具有极高的鉴赏水平，则令潘氏在近代以来古玩鉴赏界中卓尔不群，独步天下。 　　鼻烟先风行于欧洲，据说，拿破仑嗜之如命，月吸三公斤以上。明代万历年间，鼻烟传入我国；到了清代，则衍变出一种“鼻烟文化”——不但烟粉制作精益求精，鼻烟壶的制作工艺也空前绝後：鼻烟中的极品，不必薰香，“而自有木瓜、苹果、玫瑰、橙、柚等香气；一两之值，可达百金”。烟壶之名贵者，“多用宝石，有套至十三色者，一壶之值总在千金左右”。和珅倒台，从他家抄出的名贵鼻烟壶有上千只；论收藏数量，和氏当为有清第一人，但是，论赏鉴水平，则无人堪与祖荫抗手。潘氏殁後，杨度之弟杨钧（也是一个大玩家）便曾感叹：“世无潘伯寅（祖荫字），即无可赏鉴鼻烟者”。更绝的是，潘祖荫不仅“赏鉴鼻烟”，更用鼻烟壶来“赏鉴”人才。 　　祖荫是咸丰二年的探花，此後仕履多与文教事业有关，数次充任主考，为天子选拔人才。每逢阅卷，祖荫便在抽屉内放两个鼻烟壶（一个红色，一个绿色），以手探之：“得红者中，得绿者落”。此事尝被同任考官的张之万觉察，张氏批评他此举是尸位素餐，十分“轻妄”。祖荫从容回答：没那么严重了。扪心自问：你我入官以後，久不读书，荒疏已极，还真看得出这些卷子的优劣？卷子都由熟谙文法、态度审慎的新翰林初阅，能过得他们那一关，那一份卷子不是千锤百炼？那一个考生不可中试？既是人人可中，而限于名额，非得淘汰若干不可，我就只好用红绿烟壶卜其运命了。富贵在天而已，哪是什么“轻妄”？这个回答“言伪而辩”，张氏听了哭笑不得，只得由他去。 　　又一次，祖荫与李文田——咸丰九年探花，近代著名学者——在办公室闲聊，提到近日入京陛见的某提督。祖荫连连称赞说：这个人好啊，那真是忠肝义胆，一代名将。文田一听，肃然起敬，问道：这位将军战绩如何？祖荫答道：不甚清楚。文田一愣——难道是说这人长得“忠肝义胆”——遂问：那他状貌如何？祖荫呵呵一笑，说：还没见过。文田大惑不解：啊？那您凭什么说他是“忠肝义胆，一代名将”？祖荫哈哈大笑，说：他送我的鼻烟壶很好，我就知道此人不错！