生前喜爱，太子之位肯定会落在自己头上。因此杨暕的行事作风越来越放荡，谋取太子之位的动机也越来越强烈。
一次，杨广的姐姐杨丽华觅得一名柳姓美女，打算将她献给杨广。可是杨广不知道什么原因，杨丽华提出献美女的事后，他却半天没有回复。
杨丽华以为杨广对这个美女不感兴趣，就将他献给了杨暕。杨暕一见到柳美女，眼珠子都要掉到地上，当即把她迎娶回府。
过了一段时间，杨广突然想起柳美女，于是问杨丽华：“姐，你之前准备献给我的美女呢?”
杨丽华满脸尴尬地说：“已经被你的儿子娶了，如今在他的府上。”
杨广顿时脸色大变!但儿子娶了柳美女，自己又不能抢回来，他不是唐玄宗，但心理难免愤愤。
皇帝很生气，后果很严重，但杨暕丝毫没有察觉。一次杨暕与杨广一同打猎，竟然让部下阻止杨广的随从猎取动物，最后杨广所部一只兔子也没有打到，杨暕却满载而归。
杨广渐渐疏远杨暕。但杨暕仍旧任性而为，一次他竟然与杨广妃子的姐姐私通，还生了一个女儿。杨广气得不行，对侍臣发泄道：“朕唯有暕一子，不然当肆诸市朝，以明国宪!”其实杨广还有个少子杨杲。
杨广喜欢巡幸，有时杨丽华也跟着同去。609年，杨丽华随杨广在巡幸河右地区的路上染病，临终时杨丽华请弟弟一定要照顾好自己的女儿和女婿。并把自己的食邑送给女婿李敏。杨广答应了，并且厚葬杨丽华于定陵。
不过杨丽华的女儿女婿并没有能够善终。614年，隋朝流传“李氏当为天子”的谣言。杨广以为李氏指的是李敏，于是诛杀李敏，并且赐毒酒给外甥女宇文娥英。
可怜杨丽华，夫君王朝被父亲篡夺，自己不幸病死，女儿女婿也被诛杀和赐死。
一句“春风不度玉门关”，一句“西出阳关无故
