但这样平静的日子并没有过多久，他就又被外放为宁州刺史。今年年初，他才得以归来，被授予司徒、左武卫大将军，属掌管京师宿卫的重臣。
但这似乎并不能消除他对两代皇上的积怨，他看当今皇上什么都不顺眼。论起治国，他比不上已薨的濮王李泰；论起治军，他不能望吴王李恪项背；论起才识，他哪里能和荆王李元景相比呢？他能当上皇帝，不就是有一位权倾朝野的舅父么？
这时，府令在门外禀报道：“老爷，高阳公主、丹阳公主与驸马房遗爱、柴令武到了。”
他不得不把诸多烦心事放下，对府令道：“速报公主得知！”
他说的公主是夫人丹阳，现在他一想起与公主的初婚之夜仍禁不住脸上发热。拙笨的他竟不知男女之事，夫妻数月不同床，太宗闻言，忍俊不禁，拊掌大笑。之后他邀来各位驸马，传以儿女缠绵之事，他方才开窍，生下一堆儿女。