老帥張作霖死後,各處將領擁戴張學良接替其父親的位置。然而戰功卓著的楊宇霆很是不服氣。1929年7月,張學良收到了身爲東北軍將領的楊宇霆以及黑龍江省主席常蔭槐向他提出成立東北鐵路督辦公署的要求。這也最終導致張學良下定決心,要除掉楊宇霆。張學良面對他們的步步緊逼,則推诿的說到待到晚餐之後再議此事,自己則暗中部署。那天晚上,楊宇霆如約和常槐蔭兩人來到張學良辦公的老虎廳,希望能夠和張學良商議東北鐵路督辦公署成立的事項,然而他們迎來的並不是張學良,而是一場秘密行動。一擁而上的六個張學良的侍衛立刻將毫無防備的兩人擒住,在三聲槍聲後,楊宇霆倒在了血泊中。至此,張學良一直以來的心腹大患,讓自己寢食難安的楊宇霆終于被自己解決掉。
在偏房的張學良和他的夫人于鳳至聽到槍聲,鳳至驚慌不已,張學良將其緊緊摟在懷中。可想而知,此刻的張學良內心是十分複雜的。實際上,這個時候的張學良內心也是很難平靜下來的。雖然說殺了楊宇霆,解決了一個自認爲能夠對自己地位産生威脅的存在。然而,楊宇霆作爲東北軍元老,在自己父親那個時代,就已經戰功赫赫,幾乎是東北軍的二把手。這樣的楊宇霆在軍中同樣有著很高的威望。楊宇霆這樣突然的被自己鏟除,自己軍隊中是否會發生變端,張學良不得而知。此刻張學良一手摟住夫人,一手卻抛起了硬幣。這一細節舉動讓人深思。在多年以後的張學良轉記中也時常被別人提及。
老帥張作霖時代,楊宇霆是奉系軍閥中的第一大將。十幾年來,他忠心跟隨張作霖出生入死,大大小小的戰功就有數百件。在很多人的眼中,楊宇霆就是東北軍的二把手。驕傲自負的他也同樣認爲自己是東北軍最有說服力的接班人。1928年4月,張作霖乘坐的火車在皇姑屯被日軍炸毀,老帥也一並身亡。這個突然的消息,讓東北軍指揮層措手不及。群龍無首的東北軍更是處在了危險的境地。當務之急就是任命新的一把手。各個將領都擁戴張作霖之子張學良成爲接班人,特別是張作霖的兄弟張作相極力主張。這讓當時唯一不服氣的楊宇霆也無話可說。在當晚東北易幟的晚宴上,只有楊宇霆一個人提前離席。使得當時的場面一度十分地尴尬。
在自己成爲東北軍的領袖後,張學良時常被以叔叔自稱的楊宇霆教訓,而且沒有絲毫估計到張學良的臉面。再加上前期楊宇霆就和張學良的種種政見的不和。這就注定了楊宇霆淒慘的結局。除去楊宇霆的張學良可以說是松了一口氣。他覺得自己在東北的地位再也沒有誰能撼動,也沒有誰能夠反對自己。然而每當自己想起當晚的場景,想到楊宇霆臨死前的掙紮,死後恐怖的樣子,這些都會讓自己的良心不安。楊宇霆作爲父親的心腹大將,是幫助父親打天下的功臣。他可能時常也在反思自己這樣的做法是否太過頭了。楊宇霆死後,軍中並沒有出現張學良所擔心的暴動,即使東北軍將領表面上沒有表達不滿,實際上他們都主動的和張學良疏遠了不少。長期的良心不安,使得張學良每天燒香拜佛,以祈求內心的安慰。張學良表示,自己從來不相信鬼神,當楊宇霆被殺之後,自己則不得不信。
戰爭時期,軍閥時代,沒有永遠的朋友,只有永恒的敵人。張作霖之所以能夠很好的管控住龐大的東北軍,執掌東三省,也還得依靠和自己從土匪時期打拼天下的幾個老兄弟的支持。年輕氣盛的張學良,在上任並沒有多久的情況下,就貿然除掉了功勳將領楊宇霆,不乏卸磨殺驢的意思。這的確讓很多老將心寒。也正是因爲這些原因,西安事變後,落難的張學良並不受人待見,以前的那些東北將領都一一躲避著他。1990年重獲自由的張學良在回憶自己的人生時,更是直接表示自己的前半生做過的錯事太多。