一直深恨夏元吉的国公张辅以及汉王朱高煦的争相挑拨，夏元吉被解除职务，送“内宫监”长期关押。幸好深知其才的太子朱高炽从中调解，方才保住了他的性命。在抄其家的时候家中仅布衣和瓦器，朱棣闻之感叹：“果然刺头也。”而北征的结果也不幸被夏元吉所言中：朱棣连续发动远征，“严盐法”渐被滥用破坏，国家财税捉襟见肘，国库空虚，从夏元吉下狱的永乐十九年（公元1421年）至朱棣病逝于第五次北征归途的永乐二十二年（公元1424年），仅大米的价格，就从1石1贯宝钞，上升到50贯宝钞。朱棣病逝后仁宗朱高炽登基，赦夏元吉出狱官复原职，首任要务还是解决这“通货膨胀”问题。夏元吉殚精竭虑，再改“严盐法”，允许商人用宝钞直接换盐引，规定以300贯换1引，另外继续对皇帝“刺头”，禁绝宫廷奢靡消费。明宣宗朱瞻基登基后，夏元吉主持改革商税，减少国内关卡，鼓励商品流通，削减收税比例，做到“税少而财增”，经永乐时代日益空隙的国库，终于重新充裕起来。宣德五年（公元1430年），夏元吉退休，数月后病逝于家，赠太师。这位历事洪武、永乐、洪熙、宣德四朝的“大账房”，堪称“永乐盛世”“仁宣之治”两大黄金时代的关键人物。

补充一点，素来被认为“刺头”的夏元吉，也有大方的时候，比如每年划拨给各地收养孤寡老人的养济院的经费，从来都是逐年增加。但凡有各地闹灾，划拨救济粮米均大大超过预算。私生活方面，其亲弟弟从老家来看他，他仅赠米两石，但对京城周边乃至老家的孤苦学子，却时常得其无私资助。在这位“大账房”眼里，钱用在老百姓身上，也就用在了“刀刃”上。