大混混江充发动巫蛊之祸
巫蛊之祸是直接导致卫氏集团倒台的原因，江充在得罪太子刘据后，便知道如果自己不能解决太子，就迟早要被太子清算，所以他便一次次的诽谤太子，太子本以为做好自己就够了，可惜病毒并不是那么容易排除掉的，大混子江充就是这个病毒，一次次的和武帝将太子坏话，最后栽赃陷害，说太子用木偶诅咒武帝，这才发生人间悲剧，父子相残，经过这次巫蛊之祸后，卫氏以太子刘据和皇后卫子夫倒台而告终。
卫青、霍去病已死，武帝对卫家外戚依赖越来越小
武帝时期的开拓可以说是卫氏外戚打出来的，在卫霍之前，匈奴压着汉帝国打，直到卫霍出现之后，汉帝国才反正把歌唱，追着匈奴打，报复多年耻辱，马踏草原不再是梦，3次北望，三次满载而归，这奠定了卫氏外戚集团不可抹去的功劳，同样这也是武帝最为顾忌的，要知道赫赫战功，代表着就是权利的过大，权利的过大就会滋生野心，让汉帝国受到威胁，所以卫青晚年会遭到猜忌，所以当卫霍死后，武帝会借着巫蛊之乱削弱卫氏外戚。这才是卫氏外戚集团为什么要被打压直接原因。
武帝步入了老年
到了老年后，武帝越发昏聩，想要长生，于是方士横行出现了江充之流，不信任身边的人，于是巫蛊之祸应运而生，长安权贵为剪除政敌栽赃成风，想要剪除过去庞大的卫氏外戚集团，可是却没有控制好力度，逼死了太子刘据，这个时候的武帝是生平最昏聩的时候，所以直到太子死后，才醒悟过来自己错了，下罪己诏，可惜为时已晚，太子刘据、皇后卫子夫，曾经最挚爱的人，已经到了黄泉路。
卫子夫聪慧贤达，其败，小人挑拔的结果