李渊大惊失色！
裴寂说:“安排宫女侍奉，事情暴露后是要杀头的，我这么做就是为了要劝你下定决心起兵啊。”
李世民也乘机向李渊汇报了整个计划。
李渊开始时坚决不同意，还表示要把李世民送去报官。可是，想到自己已经和晋阳宫的宫女有过关系，这事暴露出去，也是死罪，与其因好色被杀，还不如造反了！
他当下对李世民说:“我爱护你，怎么忍心去告发你呢!”当下决定造反了！
不久，他的机会到了！
马邑校尉刘武周占据汾阳宫举兵造反，李世民与王威、高君雅将集合军队讨伐他。
李渊趁机命令李世民与刘文静及门下客长孙顺德、刘弘基分头招募新兵，十日之间招募新兵众将近一万，密派使者召世子建成及元吉到河东。
王威、高君雅见李渊军队大量集中，怕李渊为此发动祸乱，当下二人怀疑恐惧，请李渊到晋祠求雨，实际上是将对李渊发动袭击。
晋阳乡长刘世龙知道这个阴谋，当下忙报告给李渊。
李渊忙暗中做了防备。
公元617年，五月十五日，李渊与王威、高君雅到了晋祠。
李渊命李世民秘密在外面埋伏精锐之兵，还没等王威和高君雅动手，就先杀了他们了！
五月二十五日，李渊又派遣刘文静出使到突厥始毕可汗之处，令他发兵响应。
至此，李渊正式举兵反隋。
六月五日，李渊命令李世民率兵巡行西河并下达起义的命令，攻下了西河。
六月十四日，建立大将军府，并设置三军，分为左右：以世子建成为陇西公、左领大都督，左统军隶属他；次子李世民为火敦煌公、右领大都督，右统军隶属他。裴寂为大将军府长史，刘文静为司马，石艾县长殷开山为正职属官，刘政会为副职属官，长孙顺德、刘弘基、窦琮等人分别为左统军和右统军，开仓库来救济穷困贫乏的人，远近的人都响应起义。
七月四日，李渊率兵向西去谋取关中，以李元吉为镇北将军、太原留守。七月五日，军队从太原出发，有兵三万。七月八日，军队驻扎灵石县，在贾胡堡建营垒。
隋朝武牙郎将宋老生屯兵霍邑以抗拒义军，然而，碰到了连续十天久雨不止，运输的粮食不能供给。
李渊便与裴寂议论，打算暂且回太原，以后再图谋举事。
李世民忙拦阻说：“本来兴起大义是为了挽救苍生百姓，应当先攻下咸阳，号令天下；遇到小小敌军就退军，恐怕跟从起义的人将会一时解散。回军守卫太原一个城池，这是为贼打算，拿什么来自我保全！”
李渊不采纳，催促命令引军出发。
李世民知道这一退兵，就会错失机会，当下在外大声嚎泣，哭声传到李渊帐中。
李渊召见他，问他哭的缘故。
李世民对答说：“现在军队凭借仁义起事，进战则必胜，退还则军队必溃散。众军在前面溃散，敌军在后面乘虚进攻，死亡马上就到面前，因此悲痛啊！”
李渊听了，这才醒悟而停止回军。
八月一日，雨止，李渊率军奔赴霍邑。
李世民怕宋老生不出战，于是率领几个骑兵先奔到城下，举鞭指挥，好像要围城的样子，以激怒宋老生。
宋老生果然被激怒，开门出兵，背靠城而扎阵。
李渊与李建成在城东会合扎阵，李世民及柴绍在城南扎阵。
宋老生指挥军队猛冲，首先直逼高祖，而李建成坠落马下，宋老生乘势攻击，李渊与李建成都退军。
李世民从南面率领两千骑兵冲下高坡，冲断了宋老生的军队，率领军队奋力攻击，宋老生的人众大败，纷纷抛弃武器而逃。
霍邑悬挂的城门，已经高高悬挂起来。
宋老生只得拉住绳子，想要爬上城。
李世民趁势上前，斩杀了宋老生，平定了霍邑。
这一事可以看出来，李世民是个极其厉害的主帅，因为，他有别人少有的一样东西——坚持的勇气！