父为乾隆癸丑科状元潘世恩，官封太傅及武英殿大学士。他的父亲潘曾绶，字绂庭，官至内阁侍读。他的叔祖是乾隆乙卯科探花潘世璜。咸丰二年一甲三名进士，探花，授编修。数掌文衡殿试，在南书房近四十年。如今是礼部尚书，此人到是也当得军机大臣的身份，只不过不知是否合拍，潘祖荫累世为宦，家室渊源，酷爱金石古籍等，所以一直掌管文渊阁和南书房，混在书房里头，倒也自得其乐。

恭亲王的意思还要再找几个旗人，于是他又问，“礼亲王如何？还有奕劻。”

“墙头草而已。”沈桂芬说了这么一句话，随即就低头不言语了，恭亲王有些纳罕，正欲追问，却发现沈桂芬的手已经摆在一边，再探鼻孔，已经是离世了。