成帝自得了赵飞燕之后，与之行坐不离，即平日最心爱的那位班婕妤，也渐渐冷淡下去。皇后许氏，当然更不用提了。许皇后有一位胞姊，名叫许谒。她与许后既为姊妹，自然常常入宫。这天她又进宫，只见许后一个人在那儿垂泪，许谒便询问妹妹何故伤心。许后边拭泪边诉说心中的苦楚。原来近日成帝宠幸赵飞燕，连皇后的内宫都不踏进半步。 　　许谒听完说：“妹妹不必伤感，皇上新纳赵飞燕，原是为子嗣起见。妹妹只要有孕，不怕皇上不与你恩爱如初。”许后听了，脸一红说：“如今这般光景，我哪里还能生育？”许谒便让许后去请巫祝设坛祈禳，以求得子。此事为赵飞燕听到。此时的赵飞燕正想做皇后而无隙可乘。一听这个消息，她对成帝说许后在宫中设坛祈禳诅咒宫廷，成帝大怒，将许后印绶收回，废处昭台宫中，又把许谒问斩，并且此事牵连到班婕妤。班婕妤从容奏道：“妾闻生死有命，富贵在天，修正尚未得福，为邪还有何望？若使鬼神有知，岂肯听信谗说？万一无知，咒诅何益，妾非但不敢为，也是不屑为！”成帝听她说得坦白，颇为感动，还赐黄金百斤，命班婕妤退处后宫，免予置议。接着成帝立赵飞燕为皇后，又封赵合德为昭仪，居昭阳宫。该宫全用黄金、白玉、明珠、翠羽装饰。 　　班婕妤虽得免罪不究，却清楚现在宫中，已是赵飞燕姊妹的天下，若不想个自全方法，将来仍是许后第二。她左思右想了一夜，赶忙缮成一本奏章，递呈成帝。成帝见她自请至长信宫供奉太后，便即批准。班婕妤即日移居长信宫内，悄然隐退在淡柳丽花之中。每天天光蒙蒙亮，长信宫门打开，她便开始一个台阶一个台阶扫地，生活刻板而单调。听到远处昭阳宫里传来欢乐的喧哗声，而自己只有与身影为伴，她看到自己仿佛秋天被弃的扇子，孤寂中无人问津。她闲暇时做诗赋以自伤悼，借以度过光阴。每次想到飞过的乌鸦身上或许还带有昭阳殿的日影，不免触景伤情。她在诗中自比秋扇，感叹道：“常恐秋节至，凉风夺炎热。弃捐箧笥中，恩情中道绝。”用洁白的细绢剪裁的团扇，天热时与主人形影相随。凉秋时节，则被弃置箱中。后世便以“秋凉团扇”作为女子失宠的典故，又称“班女扇”。班婕妤如此残度晚年，汉成帝死后，班婕妤要求到成帝陵守墓以终其生。伴着冢形碑影，又孤独地生活了五年，便离开了人世，时年约四十余岁，后葬于延陵。唐李益《宫怨》诗：“露湿晴花宫殿香，月明歌吹在昭阳。似将海水添宫漏，共滴长门一夜长。”王昌龄《长信秋词》云：“奉帚平明金殿开，且将团扇暂徘徊。”皆描绘了班婕妤当时的苦闷心境。