如此数次，隋军兵士的自信心也增势了不少，“众心乃安，咸思奋击。”
李渊见火候差不多，隋军欲战，突厥生畏，便趁一次与突厥主力相逢，“纵兵击而大破之，斩首数百千级。”“突厥丧胆，深服帝（李渊）之能兵，以其所部，不敢南入。”可见，李渊出手不凡，是文武全才的人物。
大业十三年，隋炀帝下敕命李渊为太原留守，并遣亲信王威、高君雅任李渊的副手，一来助力，二来可以监视李渊。当时的太原附近有不少贼众，最强的一支号称“历山飞众，”于上党、西河一带屡败官军，致使道路隔绝，隋朝军将与之争锋，丧命不少。
李渊初到任，正好拿这伙人立威，便率五千多人出城讨伐。到了河西雀鼠谷口，两军相遇。看见对方有两万多人，隋兵隋将皆生怯意。李渊从容不畏，对王威讲：“这些人起自盗贼，习惯贪财。近来又屡屡获手，骄心满溢，我们以智心筹谋，定能胜敌。所忧不战，战必克之。”于是，李渊把隋军分为二阵，以老弱残兵居中，多张旗帜，大集辎重；以平日心腹精兵数百骑分置左右，为小队。此时，隋军上下，皆不知这位皇帝大表哥到底要干什么。敌军散列横阵，绵延十几里，步步逼近。
临战，李渊又派王威“领大阵居前，旌旗从之。”对方看见师旗居前，认为是主将所在，纷纷调集最精锐部队，一齐呐喊向王威杀来。王威暗叫倒霉，跨下马却鞭打不动，吓得他一头栽下，几为贼众生擒。
看见阵中遍是粮草辎重，贼军欢喜，个个跳下战马抢取值钱东西。此时，一旁观斗的李渊“引小阵左右二队，大呼而前，夹而射之。贼众大乱，因而纵击，所向摧陷，斩级获生，不可胜数……”经此一战，李渊在太原落稳脚跟。
后来，突厥人知道李渊回到太原，马邑只有王仁恭等人，便放开胆子又来入侵。隋炀帝闻讯，下诏派太原副留守高君雅率兵前往马邑，与王仁恭共抵突厥。王仁恭先前跟随李渊与突厥打过几仗均得胜，胆子变大，不听李渊让他坚守不出的指令，也想得胜立威，不料出兵即败，损兵折将。
隋炀帝人虽在江都，仍有人上告李渊、王仁恭不积极备战，“纵虏为患。”杨广大怒，派出“司直驰驿，”到太原把李渊抓了起来，关进监牢，并准备斩掉王仁恭。
当时，李渊长子建成不在身边，只有二儿子李世民在城内。小伙子性急，泣求父亲赶紧造反。李渊老姜，知悉时机还未成熟，便大讲“天命”，劝李世民不要太急于起兵。果然，不久就有炀帝诏使驰至，宣布释放李渊与王仁恭，命其依旧“校检旧部”。当时天下大乱，盗贼蜂起，“信使行人，无能自达，”惟独炀帝这一介下赦免令的使臣一路上“不逢劫掠，依程而至”，众人都发叹异。
李渊听闻御使至，也是大惊。听到赦免令，仰天而笑，说，“此后余年，实为天付。”由此，老英雄也下了必反之心，只是要发未发之际，多怀逡巡犹豫之心。
推动李渊最终兴兵造反的，除李世民外，关键要属刘文静与裴寂二人。
刘文静，字肇仁，“伟姿仪，有器干，倜傥多权略，”时为晋阳令；裴寂，字玄真，“疏眉目，美姿容，”时为隋朝晋阳行宫的宫监。这两个人一处为官，相知甚洽，结为好友。一夜，哥俩赌钱饮酒，裴寂遥见城外烽火，凄然长叹：“遭逢乱世，家道屡空，真不知该怎么办才好。”刘文静笑道：“世途如此，时事可知。我们二人相扶相倚，还怕不发达吗！”
李渊入太原，刘、裴二人暗中观察，见其“有四方之志”，便起劲巴结这位英雄。特别是刘文静，慧眼识人，认为李世民“大度类于汉高，神武同于魏祖，其年虽少，天纵之才。”裴寂起初不信。后来，李世民与这位裴大叔假装赌钱，输给对方数百万，高兴之余，裴寂“大喜，每日与太宗（李世民）游。”李世民趁机把大计告诉裴寂，裴寂马上允诺“共举大事”。不久，刘文静倒霉，坐与李密（瓦岗那位爷）连婚，被炀帝下诏关入太原监狱。
李世民潜入牢中，与刘文静深谈。“天下大乱，唐公若能兴兵一起，乘虚入关，不到半年，帝业可成！”一见面，刘文静就劝李世民。
李世民大喜，笑道：“君言正和人意。”于是，他想方设法把刘文静先“弄出来，”然后四处部署，伺机欲发。但是，不知父亲葫芦里卖什么药，李世民也不敢轻易动手。
刘文静诈称得隋炀帝手赦，大发兵民，以伐辽东为辞，致使“人情大扰，思乱者益众”。眼看水已经搅浑，刘文静又逼裴寂赶紧鼓捣李渊起兵，并威胁说：“您身为晋阳宫监，却把宫中美人送给唐公享用，此事传出，您与唐公哪个也活不了啊！”
大惧之下，裴寂“屡促高祖（李渊）起兵。”
恰巧，马邑人刘武周结众为盗，杀太守王仁恭，自称天子，诱引突厥兵马，准备向太原挺进。李世民、裴寂、刘文静借此机会，大发库金，分散府物，四处招兵买马。而太原副留守王威、高君雅是炀帝心腹，闻讯起疑，获悉李渊父子异动，一合计，便想以到晋祠祈祷为名，把李渊诱至其地拘捕，一网打尽。
关键时刻，“吉人自有天相”。晋阳有个叫刘龙的土豪乡长，通过裴寂与李渊相识。李渊贵为帝亲，与这么一个“副科级”的财主也一见如故，喝酒吃肉，豪赌打炮。刘龙这种卑贱出身的“微细”之人，自然心中感激涕零，觉得李渊很给自己面子。同时，由于刘龙有钱，与副留守高君雅关系也不错。高君雅想“办掉”李渊，饮酒之际，自然就不拿刘龙当外人，把己谋全盘告之。刘龙出高君雅府门，一溜烟直奔李渊宅邸，“具以启闻”。
心惊肉跳之余，李渊表面镇静，对刘龙说：“您能以此事相告，深有至诚。请不要再对别人说，我自有安排。”同时，李渊暗下决心，不反也得反。
大业十三年农历五月丙寅清晨，李渊“恶人先告状”，大集僚属，声言高君雅、王威两人引突厥入寇，先发制人，当众逮捕了两人，送入监牢。两人叫苦不迭，直悔动手过晚。
更绝的是，过了两天，果然有“突厥数万骑抄逼太原，纵入城郭北门，取东门而出。”李渊也不畏惧，派先前招降的贼师王康达出城埋伏。王康达等人习惯了抢略，突厥军队过了一半，中有缺停，王康达以为是队尾，忽然跳出，准备抢马。不断，后队突厥包抄，前队突厥掉头，前后夹击，把这批“新附军”包了饺子。太原城内居民，一恨高君雅、王威“引狼入室”，二畏突厥兵马强盛，三惊城内军兵众多，忧恐之下，更加紧密地“团结”在李渊周围。
李渊指挥若定。他派遣小股部队连夜偷偷出城，占据险要之地，然后，又让这些人白天大张旗鼓，大呼入城，给突厥人造成“援军不断”的假象。同时，他还嘱诫军士，遇突厥兵，“恃险勿战”，敌退勿追，使敌人“莫测”太原守将到底要干什么。
《大唐创业起居注》记载，突厥各队首领互相嘀咕：“唐公相貌有异，举止不凡，智勇过人。前来马邑，大胜我辈。今在太原，何可当也……不如早去，留必取死！”于是，突厥人连夜遁逃。这些记载，完全是温大雅唬弄人。真正原因，一是突厥人在城外抄掠已足，急于回去享用“战利品”；二是李渊亲自给突厥的始毕可汗写信，称臣装孙子，并表示“征伐所得，子女玉帛，皆可汗有之……坐受宝玩，不劳兵马，亦任可汗……”。突厥人无远谋，又贪宝物，太原城坚，难以一时攻破，自然得了大便宜就走。李渊为自己脸上涂粉，向众人讲他是“屈于一人之下，伸于万人之上”，表示他是为了民众利益才如此“屈尊俯就”。
解除了突厥人“背后一刀”的最大危胁，处死了王威、高君雅两个“肉中刺”，李渊父子于七月份开始正式兴兵，托以伊尹放太甲、霍光废昌邑王为名，宣布废掉炀帝，立代王杨侑为帝。代王杨郁是隋炀帝亡故的元德太子杨昭之子，当时才十三岁，人又在长安，所以，李渊明显是掩耳盗铃，不过当时天下人皆争逐帝座，也没人真站出来和他在这方面较真。
突厥人听闻李渊反隋，也派柱国康鞘利等带数千匹好马赶来。李渊演戏很投入、逼真，以臣礼跪受始毕可汗书信，又大赠使臣金银美女。同时，李渊心机很深，知道突厥人所携马匹不是无偿赠送，而是要用钱购买，便只捡上等好马，购买其中一半的马匹。
起义人众见李渊如此，以为主将惜钱，便纷纷自告奋勇，要自己出钱出物换购其余马匹。李渊阻止，意味深长地劝告说：“突厥人的马象羊一样多，陆续有来，恐怕到时你们买也买不尽。胡人贪财，我们不要暴露自己有钱，现在买少量的马，表示我们很穷，也不要急需战马，如此，才能稍稍抑制这些胡人的贪心。”此外，他还诫谕出使突厥的刘文静：“突厥人派兵前战，只可收纳数百骑即可，拿他们当幌子吓唬一下隋军，此外，借胡人援军，可阻止刘武周与胡人联军政打我们。如果突厥人马众多，百姓绝无生存之理，抢掠劫杀，会造成大祸。”可以想见，李渊还真不是倚仗狼势的卖国贼，不愧是老到深谋的政治家。为此，一直跟随他左右的温大雅充满崇敬地回忆：
“帝（李渊）素怀济世之心志，有经纶天下之心。接待人伦，不限贵贱，一面相遇，十数年不忘。山川冲要，一览便忆。远近乘风，咸思托附……”
李家之所以能化家为国，究其实，李渊起到了决定性的作用。
反经合义妙尽机权——太原起义后的李渊
八月，李渊以四子李元吉为太原留守，以长子李建成为左军，以次子李世民统右军，自率中军，从太原向长安挺进。