根据史料记载，他爱好打猎，而且经常在游乐打猎的过程中践踏农田庄稼，还放纵身边的人掠夺百姓财物，甚至放箭射人，众人惊慌躲避，他以此为乐。
李渊可能也知道自己这个小儿子不大靠谱，于是当时派他去守并州（晋阳）的时候，还找了两个人辅佐协助。
一个是他发妻窦氏的娘家侄儿，也是他的女婿，窦诞；另一个是隋末唐初的名臣，为李唐王朝立下不少汗马功劳的宇文歆。
这俩人中，窦诞是个不靠谱的，不但不规劝齐王，还跟李元吉一起干坏事儿；宇文歆倒是个好人，但是劝不住，只能上表奏明李元吉所作所为，李元吉因此被罢官，但李渊心疼儿子，没几天就又继续回来当着他的晋阳守官了。
李元吉不但没有德行，更没有什么才能，刘武周率军来攻城，仓促之间，他竟然命令车骑将军张达带着几百步兵迎战，步兵啊，还是几百个，这不就是送死吗？
张达不愿出战，李元吉强令他出城，果然大败。
摊上个这样的老板。
这事儿多糟心啊？！李盛听着都替张达呕出一口血来。
后世有人吐槽老板给他两千块钱的预算，让他做一个能脚踢V信拳打扣扣的软件，李盛觉得李元吉比那傻逼老板更过分，做不出来软件顶多辞职换下家，这可是战场，会没命啊！
张达也是普通人，经历了这样的事情岂有不恼火的，再想想李元吉这个不干人事的，祸害百姓，苛待士卒，干嘛还给他卖命？
于是张达当即投降，反手就做了带路党，给刘武周当向导，一路攻破了榆次、平遥。
五月时候，石州（今山西省吕梁）刘季真反唐。
到了六月，刘武周又攻下了介州（今山西省介休市），晋阳已经被包围了。
李渊急忙派兵救援，左武卫大将军姜宝谊、行军总管李仲文领军，但被刘武周的部下黄子英大败，被俘虏。
两人逃回唐军阵营，李渊令二人戴罪立功继续领兵，同时，唐朝左仆射，李渊的老友裴寂自请带兵出战，李渊应允。
刘武周一路势如破竹，唐军左支右绌，一露出颓势，周边的势力马上扑了上来，七月，王世充趁着晋阳牵制住了唐军大部队，率领军队攻打毂