潘氏系明代上海第一世家，被时人称为“同杯兄弟四轩冕，一家父子三进士。”此即是指潘恩、潘惠、潘忠、潘恕四兄弟皆相继出仕，潘恩、潘允哲、潘允端父子都曾登进士的事迹。而明代上海累官做到尚书的只有二人，一是徐光启，再一就是潘恩。