首先，隋文帝一生确实只有独孤皇后一个正妻，但是在独孤皇后死后，他又宠信了很多妃嫔，陈夫人，蔡夫人就是当中得天独厚之人。为何隋文帝会一直只有一个老婆呢？主要就是以下几个原因：
第一，独孤皇后出身关陇贵族集团，身后代表着关陇集团的势力。隋文帝能够顺利取得江山与关陇集团的支持有很大关系，要不然他也不可能如此轻易取得天下。所以，独孤皇后作为标志性人物，她的荣辱祸福和喜怒哀乐直接影响朝局，隋文帝必须在生活之中尊重顺从皇后，所以长期也就只有一个老婆。
第二，独孤皇后善妒，而且很暴力。曾经有一次隋文帝看到了后宫中的一名宫人，心生欢喜，被独狐皇后知道了，就直接杖毙了这名宫人。惹得隋文帝非常恼火，也很窝囊，担任策马出了宫，相当于是离宫出走。最后还是被当时的宰相等人劝说才回来。据史料记载：“（独狐后）性尤妒忌，后宫莫敢进御。尉迟迥女孙有美色，先在宫中。上于仁寿宫见而悦之，因此得幸。后伺上听朝，阴杀之。上由是大怒，单骑从苑中而出，不由径路，入山谷间二十余里。高颎、杨素等追及上，扣马苦谏。上太息曰："吾贵为天子，而不得自由！"高颎曰："陛下岂以一妇人而轻天下！"上意少解，驻马良久，中夜方始还宫。”
第三，隋文帝对于皇后和皇嗣有很独特的理解。他认为历代皇帝之争都是因为皇子不同母，感情基础不牢固。而如今他所有的儿子都是一母所生，一奶同胞，所以感情非常深厚，绝对不会出现争储夺嫡之事。据史料记载：““前世天子,溺于嬖幸,嫡庶分争,遂有废立,或至亡国;朕旁无姬妾,五子同母,可谓真兄弟也,岂有此忧邪!”只可惜事实正好相反，后来隋文帝五子为了皇位厮杀严重，后来杨广得到了皇位，而其他的兄弟全部都已经作古。
最主要是怕老婆，独孤皇后死后，隋文帝就放飞自我，导致自己被美色陶空