《新华私乘》，继《洹上私乘》而作，那是纠正坊间流行的《新华宫秘史》《洪宪宫闱秘史》而作的。这两种“秘史”，大都虚构胡说，且有把袁世凯的女儿们指为某妃某嫔，更属荒谬，所以书前有一小序，略云：“自先公遐逝，外间多有纪吾家事者，或作札记，或为小说，然皆妄事窥测，无能确详，誉毁全非，事迹终隐，予窃有感焉。爰就昔之朝夕接触于耳目者，笔以存之。善者弗饰，不善无讳，事虽微末，但期于虚构者有以正耳，斯吾家史，故曰‘私乘’。若有系于国故，亦靡或遇焉。”可是克文撰稿，没有恒心，往往有始无终，不了而了。所以该“私乘”首先为“先公纪略”，只登了三四则，也就停止不续了。

《辛丙秘苑》，是他最负盛名的代表作。他写这稿，非常郑重，一再涂乙，乃倩人誊录，再加修润，然后付诸手民，但他为亲者讳，处处为袁世凯辩护，洗刷盗国的罪名，当然立论是不公允的。当时叶楚伧首先排斥他。有一次宴会，邵力子遇见了克文，不与招呼，原来邵也是反对他颠倒黑白的。但这部书涉及许多人物故事，却有很多值得研究的史料，那也不能一笔抹煞的。

当时按期登在《晶报》上，颇能激增销数，不料登至十六续。忽截然而止。《晶报》主持人余大雄大为惶急，发挥“脚编辑”作用，登门求索。克文却提出条件，欲得张丹翁的陶瓶为酬报，否则没有兴味续写。原来丹翁在民国三年，参陕督戎幕，曾在西安市上，获得陶瓶三个，其中以汉熹平元年朱书一瓶为最珍贵，且有铭文一百有一字。克文欲得之心蓄之已久，可是不好意思向丹翁启齿，直到这时，才向大雄倾吐。大雄立即和丹翁相商，丹翁愿意割爱，便三面谈判，约法数事，陶瓶归克文，克文撰《秘苑》十万言，大雄特许以最厚稿费为丹翁报。且以三代玉盏、汉曹整印、宋苏轼石鼓砚、汉玉核桃串，存丹翁处为质押，期以一百天完稿，逾期议罚。以上这几件古玩，都是克文平素很宝爱的，那么他想把爱物早日归还，《秘苑》必早日交卷，无非含有督促的意思。克文获得了陶瓶，很高兴，在他的《斝斋杂诗》及《易瓶记》中记述其事。《易瓶记》所叙尤详，如云：“文新华奉侍，六易草木，政事野闻，多窥秘邃。先公殂后，遂放江湖，朋侣座中，辄述往昔，闻者骇诧，属纪以永之。文诺而耽逸，久未属草。今秋(民国九年）游西湖归，神思多爽，日纪一二事，命曰《辛丙秘苑》。冀传知见，用矫诞虚，先公遭诬，庶有以白，非故构言孽，实有未忍已于言者。若文荒辞陋，曷敢自饰，但以纪实，胡事藻华哉！为恩为怨，亦非所计也。随纪随付《晶报