一次，李建成和李元吉假裝跟李世民增進感情，邀李世民晚上一起喝酒，誰知二人竟然在酒中下毒。李世民回府後，突然心痛，喉嚨非常癢，咳了很多血來，隨即臥床不起。淮安王李神通知道這件事，告訴高祖，高祖親自到秦王府看望他，李世民哭著大概講了下事情的經過。高祖長歎了好幾聲，然後對李世民道：“我從晉陽起兵以來，能夠掃平中原，多虧了你的功勞。我本來想立你爲太子，而你又一再推辭，這才立了你哥哥李建成。現在時間一久，我又不忍心再換了。只是現在你們兄弟實在是不相容，同處京師，暗鬥一天比一天厲害，那就只好派你到洛陽去了。以後自陝州以東都歸你管，你可以用天子的旌旗，就像漢朝的梁孝王一樣。”
李世民哭著說：“這不是兒臣想要的，兒臣怎麽舍得遠離父皇啊。”高祖說道：“這是只是權宜之計，你就順了我的意，免得你們兄弟相殘。”李世民勉強受命。高祖回宮後，李世民又休養了幾日，病情漸漸好轉，于是召集僚屬，整頓行裝，只等高祖下诏就出發去洛陽。誰知等了十多天，也沒見到高祖的诏書，這又是聽了他人的讒言了。原來，李建成和李元吉聽說李世民將要到洛陽去，于是又私下裏密謀道：“秦王如果去了洛陽，大權在手那就更難對付了，不如把他留在長安，還有機會把他除去。”
于是，李建成、李元吉二人讓心腹不停向高祖上密奏，說秦王的部下聽說要到洛陽去都很高興，這次去了，可能就不會再回來了。這時，老糊塗的唐高祖又被這些人迷惑，竟然將秦王鎮守洛陽的話抛擲腦後了。
李世民看到高祖一再聽信讒言，就感到自己的處境很危險了。這時，李元吉又想出一個法子，想收買秦王府的骁將據爲己用。李元吉平時最畏懼的是秦王府中的尉遲恭，于是就想從他開始下手。尉遲恭善于用槊，李元吉也經常用槊，于是他想要和尉遲恭比一比，誰知一比才知道跟尉遲恭相差太遠。雖然心中很畏忌尉遲恭，但李元吉還是勸李建成和他結交，李建成私下裏贈送金銀一車給尉遲恭。
誰知，尉遲恭推辭道：“我尉遲恭出身微賤，在這亂世幸虧得秦王提拔賞識，現在我正想報他的知遇之恩，但是一直還沒做到，很是愧疚。至于殿下前，我更是沒有功勞，怎麽敢拿你的財物呢？如果我私下受了殿下的好處，那就是懷有二心，這麽不忠心的人，恐怕殿下也不會用我吧？”李建成被他問得沒有話說，只好收回了金銀。
誰知隔了幾天，李建成、李元吉二人又派刺客刺殺尉遲恭，那刺客卻被尉遲恭的氣勢嚇跑了。李建成和李元吉看事情沒有成功，就在高祖面前誣陷尉遲恭要造反。高祖竟然相信了他們話，要殺死尉遲恭，多虧李世民入朝求情，尉遲恭才免于一死。沒有害到尉遲恭，李元吉又算計程知節，讓高祖下诏，調程知節爲康州刺史。
程知節對李世民道：“如果大王的股肱羽翼被砍了，那您就危險了。我程知節就是死也不去那裏，秦王還是早做決定吧。”李世民還在猶豫不決，忽然又接到诏書，命令房玄齡、杜如晦兩人出秦王府。于是，秦王府的幕僚都人人自危起來。
長孫無忌是李世民的大舅哥，他與房玄齡是莫逆之交，房玄齡秘密跟長孫無忌說道：“如今世民兄弟間的嫌隙已經形成，不是你死就是我亡，你是秦王的親戚，還是勸他早定大計，保全家國，成敗就在今日一舉了。”長孫無忌把房玄齡的話轉告李世民，李世民又召問杜如晦，杜如晦和其他秦王府的門客也勸李世民聽房玄齡的話，早定大計，除了李建成和李元吉。只有李靖和李世勣兩人不發一言。
這時，突厥又來侵犯邊境。李建成推薦李元吉帶兵討伐，高祖同意了。李元吉請調尉遲恭爲先鋒，並且要把秦王府的精兵，全都調出去，討伐突厥。尉遲恭急忙和長孫無忌等人，找到李世民，說道：“秦王如果還不做決定，恐怕會大禍臨頭了。”李世民道：“同是手足，怎麽忍心下手啊？”這時，太子率更丞王晊突然來報，說齊王李元吉和太子李建成定計，要趁李世民給齊王餞行的時候，在席前埋伏好刺客，置李世民于死地。長孫無忌連忙勸李世民，說道：“先發者制人，後發者爲人所制。還是請秦王快做決定吧！”李世民歎息，道：“骨肉相殘，自古是大惡。我就是知道禍在旦夕，但也只能等對方先出手，然後再討伐，這也讓我出師有名啊！”
尉遲恭在一邊催李世民，說道：“大王如果再不決定的話，我尉遲恭不能留居大王左右，束手就擒，就此告辭。”長孫無忌又道：“秦王不聽尉遲恭的話，我也要跟他一起去。”李世民只好招幕僚商議，大家都說：“大王認爲舜是個什麽樣的人？”李世民笑道：“舜是古聖人，這還要問嗎？”衆將又道：“舜帝和周公都有過類似的先例。事不宜遲，應當趁早下手。”李世民這才決定，于是秘密地讓長孫無忌招來房玄齡和杜如晦，商議如何動手。
晚上，太白星劃過天空。太史令傅奕密奏高祖，說太白星出現在秦王府上空，預示著秦王將會統治天下。高祖把奏折看完，剛好這時候李世民來拜見，高祖把奏折給李世民看。李世民請父皇屏退左右，把李建成和李元吉淫亂後宮的事告知了高祖。高祖聽後，大驚說道：“有這樣的事啊？”李世民又道：“兒臣自問絲毫沒有做過辜負兄弟的事，但是他們二人卻總是要加害我，還請父皇保護兒臣啊！”說完竟然嗚嗚咽咽地哭了起來。高祖氣憤地說：“明天朕要當面審問這件事。”
李世民回府後，立即連夜調兵，命長孫無忌等人帶領軍兵，埋伏在玄武門。不久天亮了，李世民偷偷奏報高祖的事，張婕妤已經讓內侍告訴了李建成和李元吉。李元吉對李建成道：“今天上朝，恐怕有變，我們假裝說生病，不去了。”
李建成道：“宮內有妃嫔，外面有軍兵，秦王雖然厲害，也不能拿我們怎麽樣，我們不如上朝探聽一下。”于是，倆人騎著馬穿過玄武門，來到臨湖殿的時候，二人聽說高祖已經召集裴寂、蕭瑀、陳叔達、封德彜、宇文士及、窦誕等人臨朝會審，就知道情況不妙，于是立即往回跑，眼看就要跑出玄武門，忽然聽到背後有人叫道：“太子、齊王爲什麽不上朝啊？”李元吉回頭一看，發現正是冤家李世民。李元吉也不回話，從弓袋中取出弓箭，連射三箭，但都被李世民閃過。最後一箭，還被李世民接住了。李世民接箭後，也取弓搭箭，回手向李建成射去，李建成以爲他會射向李元吉，根本就沒有防備，誰知飕的一聲，李建成中箭，摔下馬來。
李元吉也顧不得李建成，慌忙往外逃去。不料迎面碰到尉遲恭，又掉頭跑。李世民正追著李元吉，不防李元吉會轉頭，剛好兩人相撞都墜落馬下。尉遲恭跑來，把李世民扶到屋裏休息，然後去追李元吉。李元吉想要進武德殿見高祖，誰知後面弓弦一響，轉身一看，來不及了，恰巧箭入咽喉，立即暈倒。尉遲恭搶步上前，拔刀砍下李元吉的首級，又回至建成屍旁，也將他首級枭下，蓦然聽到玄武門外人喧馬沸，就知道外面已經殺得翻了天。
尉遲恭催馬來到門外，被東宮和齊王府的軍兵攔下，不由得眼睛一瞪，喊道：“咄！你們看這兩個首級是誰？”說著，就把李建成、李元吉二人的首級懸在槊上警示兩軍，並且又大聲喊道：“我奉旨誅殺二人，如果你們敢違抗聖旨，那就跟他們同罪。還不快快解散，免得獲罪！”東宮和齊王府兩軍看到那血淋淋的兩顆首級的確是李建成和李元吉，又聽到尉遲恭說著奉旨二字，于是更加覺心虛膽怯，隨即一哄而散。
三個兒子都沒有上朝，高祖還以爲他們是怕彼此避面尴尬，也沒怎麽往心裏去，匆匆散了朝，留裴寂、蕭瑀、陳叔達等人在朝堂上待命，而自己帶著妃嫔到海池中泛舟取樂去了。忽然，岸上有一個身穿铠甲的大將，手裏持著長槊，匆匆跑來，高祖便喊道：“來的是什麽人？”那大將隨即下馬，倒身下拜道：“臣是尉遲恭。”高祖道：“你來做什麽？”尉遲恭答道：“太子和齊王造反，秦王起兵討伐，擔心驚動了陛下，特派臣來保護。”高祖感到很驚訝，連忙問：“卿快起來！太子、齊王現在在哪裏？”尉遲恭起身答道：“已經被我斬首了。”高祖不禁大驚失色，就連在旁邊的妃嫔也都嚇得玉容慘淡，戰戰兢兢。高祖急忙派內侍去召裴寂、蕭瑀、陳叔達等人來。
尉遲恭怎麽會跑到後宮來呢？原來，尉遲恭嚇退李建成和李元吉的人後，就跑到玄武門報知李世民，李世民問明事情緣由，說：“事已至此，我只好入宮謝罪了。”尉遲恭道：“且慢！皇上的意思我們還不知道，還是先讓末將去打探下吧。”說著，尉遲恭就將兩首級交給李世民，自己闖入朝堂，見到裴寂等人，就跟他說明事情的原委。裴寂說：“此事如何跟皇上說呢？”尉遲恭說道：“等我闖入後宮，去探明皇上的意思，甯可死的是我尉遲恭，也不能讓秦王死。”說完，尉遲恭就闖到後宮去了。見到高祖，尉遲恭據實說明情況。
不久，裴寂、蕭瑀、陳叔達等人跟著內侍趕來。高祖已經命令船靠岸，對裴寂等人說道：“沒想到今天竟然出了這樣的事，那現在該如何處置啊？”蕭瑀、陳叔達齊聲道：“太子和齊王從起義以來，沒有立下什麽功勞，反而一個立爲儲君，一個立爲王爵，現在又無緣無故離間兄弟，禍亂家中，如今有這樣的下場是他們自找的。只有秦王功蓋天下，內外歸心，爲今之計，就趁這個機會立秦王爲太子，授予他軍政大權，陛下就可以休息下。”
高祖聽了這話，轉驚爲喜道：“這正是朕的意思啊。”尉遲恭在一旁乘機入奏，道：“陛下既然願意立秦王，現在外面還沒有平定，請趕快下诏讓秦王處理這件事。”高祖隨即對宇文士及道：“愛卿快去寫诏書，等朕回朝發落。”宇文士及領命即去。高祖又派尉遲恭去召秦王觐見，尉遲恭飛一樣地出宮去了。
當時，正是武德九年六月，天氣很炎熱，高祖正開襟趁涼。李世民進來，慌忙跪地請罪，高祖撫慰道：“李建成和李元吉膽敢作亂，那也是死有余辜，不過畢竟是親兄弟，發生這樣的事，怎麽說也是可悲的事啊。”李世民聽到高祖這麽說，于是一頭紮進李淵懷裏，痛哭了起來。高祖也忍不住落淚，父子二人對著哭。宇文士及和裴矩等人入宮，勸慰了他們一番，李世民這才回到府裏。
秦王府的人勸李世民，說道：“斬草不除根，恐怕會留下後患，李建成和李元吉的兒子也應該殺了。”李世民沒有制止，于是李建成的兒子安陸王李承道、河東王李承德、武安王李承訓、汝南王李承明、巨鹿王李承義和李元吉的兒子梁郡王李承業、漁陽王李承鸾、普安王李承獎、江夏王李承裕、義陽王李承度都被抓住，全部被處死。秦王府的幕僚還要繼續搜捕東宮余黨，一百多人被列入搜捕範圍，李世民也不制止，尉遲恭極力谏阻，說道：“有罪只有二人，如今已經被誅殺了，不宜再傷及其他人。若輾轉牽連，恐怕反而會激成禍亂，不得安生了！”
李世民于是向高祖請旨大赦。高祖頒發了赦免的诏書，又诏立李世民爲皇太子，國家大事，都歸皇太子處理。