徐悲鴻一生有四個女人。
第一個是他的第一任妻子，時間不久，妻兒過世。具體不詳。
第二個是第二任私奔妻子蔣碧薇。（比徐悲鴻小4歲）
第三個是情人學生孫韻君。（比徐悲鴻小18歲）
第四個是妻子，學生廖靜文。（比徐悲鴻小28歲）
關于徐悲鴻的第一任妻子，目前沒有更多資料進行查閱。所能找到也只是《蔣碧微回憶錄-我與悲鴻》、廖靜文《徐悲鴻的一生》中零星的記錄。不過，就這些資料也已經夠了，它們足以說明徐悲鴻第一任妻子的不幸：
（1）與徐悲鴻結婚後，徐悲鴻基本上沒有生活在她的身邊，而是因爲不滿這樁“包辦婚姻”、而“逃婚”到了上海，偶爾才回家；（2）她在重病、以及後來被家人送去常州治療的時間裏，一直沒有得到丈夫徐悲鴻的照料，最後孤苦伶仃地在病中死去；（3）得不到丈夫感情的女子一般都會把情感寄托孩子身上，然而徐悲鴻第一任妻子，雖然也育有一子，但這個孩子並沒有支撐多久，7歲即夭折了。
蔣碧薇：大家閨秀竟爲才子私奔
蔣碧薇，1898年出生在宜興一個世代望族的大家庭裏。從小受到良好的教育，學過小提琴也學過法語。蔣碧薇13 歲時，父親做主爲其定下了親事，男方是蔣家的世交、蘇州查亮采先生的兒子查紫含。
蔣碧薇素描
幾年後，徐悲鴻闖入了她的生活。徐悲鴻早年曾與蔣碧薇的伯父蔣兆蘭和姐夫程伯威同在宜興女子學校教書，由此建立了同蔣家的聯系，深得蔣碧薇父母的喜愛。他對蔣碧薇一見鍾情，成了蔣家的常客以後，便如癡如迷地戀上了她。蔣碧薇也爲徐悲鴻的氣質和性格所吸引。
這一年，傳來查紫含在考試中企圖作弊的消息，待嫁閨中的蔣碧薇想到自己將托付終生的夫君如此沒有出息，痛苦萬分，經過激烈的思想鬥爭，她毅然接受了徐悲鴻的安排，一起私奔東渡，去了日本。一對如願以償的戀人在興奮和喜悅中開始了美滿生活。
蔣碧薇油畫
然而，她的率性和灑脫，並沒有守護住原本屬于她的愛情。在相伴悲鴻的意氣風發的青年時代裏，在突如其來的“三角戀”鬥爭面前，她用蠻橫來維護愛情的挫敗，最終導致徐悲鴻和他脫離關系。在愛情面前，她無言充當著弱者的角色，後與張道藩的交往又頗惹世人爭議，一生再未結婚。
蔣碧薇和徐悲鴻共同生活了26年，這段婚姻最後的終結是100萬元現金和徐悲鴻的畫作100幅，收藏古畫五十幅，兒女撫養費每月各兩萬。這個條件不僅在當年是極其驚人的一個數字，在今天更加是不可估量，從這個條件來看，徐悲鴻對蔣碧薇是有情的，即使在他們已經水火不容的時候，似乎也沒有忘卻往日恩情。他在這一百幅畫作之外，又送了一幅他在巴黎時爲蔣碧微畫的一幅畫，這幅畫就是大名鼎鼎的《琴課》。畫面上的蔣碧薇優雅專注，色調溫馨而浪漫。晚年的蔣碧薇賣了不少徐悲鴻的畫以維持生活，而這幅《琴課》一直懸挂在她的臥室床頭，陪伴她終了。
《琴課》油畫
據說蔣碧薇在知道徐悲鴻去世時還帶著他們在法國時買的那一只舊懷表，淚如雨下。曾在徐悲鴻家當過保姆的劉同弟說：“徐先生走的時候，我在台灣，聽蔣碧微講的。說句良心話，雖然他們夫妻是離開了，畢竟一日夫妻百日恩嘛。當然她不講，我看她那個表情，也看得出來，她說徐先生走了，念念不忘的樣子。
師生戀孫多慈：陰差陽錯，求而不得
我國早期屈指可數的女油畫家之一，孫多慈在藝術上的成就曾令世人矚目，加上當年她與徐悲鴻的特殊關系，這位才女的人生際遇，總使人們緬想而生輕歎。
孫多慈，又名孫韻君，安徽省壽縣人，1912年出生于書香門第，祖居壽縣城關東大街鍾樓巷。其父孫傳瑗原是五省聯軍孫傳芳的秘書，後曾任大學教授、教務長。母親湯氏也任過女校校長。孫多慈姐弟三人，其排行老大。她從小受著良好的家庭教育，文學功底紮實，十七歲畢業于安慶女中。
1930年暑假，孫多慈報考了當時的南京中央大學文學院，卻沒有考取，于是作爲旁聽生到藝術系隨時任中央大學美術教授的徐悲鴻學畫。孫多慈一開始作畫就獲得了徐悲鴻的贊賞。有時徐悲鴻還邀請孫多慈到其家中爲她畫像，有時也一同出去遊玩，于是兩人慢慢地就産生了感情，當時徐悲鴻已三十五歲，且已有一雙兒女，孫多慈與徐悲鴻的交往自然會遭到徐妻蔣碧微的阻撓和反對。盡管徐悲鴻多次向蔣解釋，說他只是欣賞孫多慈的才華，但是當時在蔣碧微的眼裏以及在旁人的心中，徐悲鴻與孫多慈的關系已遠遠不止師生關系那麽簡單。
1931年夏天，孫多慈以圖畫滿分的優異成績被南京中央大學藝術系錄取，正式成爲了徐悲鴻先生的學生。而多慈的聰明好學使悲鴻更加賞識和器重。徐悲鴻毫不隱諱地宣揚著她的天才和智慧，而當時好事之徒的渲染附會，使得這轟動一時的花邊新聞便不胫而走。在校期間，由于徐悲鴻對孫多慈特別關愛常好事者引爲淡資。當時的孫多慈，年僅十九歲。這些閑言碎語甚至诋毀嘲弄對她來說，終日難以消受。
1933年1月，徐悲鴻攜中國近代名家繪畫赴歐舉辦巡回展覽，孫多慈繼續在中大學習。其間孫多慈與徐悲鴻書信往來從未間斷，直至1934年8月徐悲鴻回國。
徐悲鴻回國後不久，孫多慈—行幾十人便在他的帶領下到天目山與黃山等地寫生。據說寫生期間徐悲鴻與孫多慈可能由于久別重逢之故，很是親密，一路上根本不在乎別人可能會議論，甚至還被一位雲南籍的同學偷偷地拍到了一張二人在某山間僻處接吻的照片。寫生回來之後，這些風言風語很快就被蔣碧微獲悉，于是她怒不可遏地沖進畫室去找孫多慈與徐悲鴻“算賬”，甚至把畫室裏徐悲鴻繪有孫多慈的畫也撕破了，當時的激烈程度毋庸贅言。
由于蔣碧微的吵鬧與同學們的紛紛議論，孫多慈這位才華橫溢的女學生在中央大學再也呆不下去了。未及畢業，孫多慈便不得不匆匆離校，回到安慶女中任教。1937年日本侵華，1938年4月，孫多慈隨她的父母避難至長沙，在那裏又遇到了徐悲鴻。隨後，孫多慈一家就被徐悲鴻接到了桂林。不久，徐悲鴻又設法爲孫多慈在廣西省府謀了一個差使。
孫多慈愛徐悲鴻，徐悲鴻對孫多慈也很有感情，但是徐悲鴻因與蔣碧微之間的感情糾葛，卻遲遲沒有決心與其離婚。直到此時（1938年）孫多慈隨父母避難至桂林，徐悲鴻才在猶猶豫豫中登報聲明與其前妻蔣碧微脫離關系，並隨後托其朋友沈宜甲先生去找孫父提親。不料本來胸有成竹的沈先生卻被孫老先生罵了個狗血噴頭，給攆了出來。孫家隨即便收拾行裝，沒過幾日就離開了桂林，遠遠地跑到了浙江麗水，在那裏定居下來。不久孫多慈便與當時的浙江省教育廳長許紹棣結婚，先後在浙江藝專、省立臨時聯合中學（校址在麗水碧湖）任教。
孫多慈悔嫁許紹棣，也多有一番“故事”。1939年8月，孫多慈在給徐悲鴻的一封信中道出了自己的悔意和對悲鴻的相思。其中有一句大意是：“我後悔當日因爲父母的反對，沒有勇氣和你結婚，但我相信今生今世總會再看到我的悲鴻。”
孫多慈晚年
因爲內心久久深愛著徐悲鴻又不能脫離無愛的婚姻，孫多慈的—生大都在痛苦、矛盾、後悔中度過。她爲了尋求解脫便經常借故去美國，並常常到也在美國的王少陵先生家做客。王少陵是一位名震一時的油畫家，當年他從大陸去美國時去向徐悲鴻告別，因爲趕時間未來得及等徐悲鴻爲其作畫，他便硬叫徐悲鴻在一幅本來寫給孫多慈的詩作上落下了他的款，帶到了美國，將這幅徐悲鴻手書的詩幅一直挂在位于紐約家中，其內容是：急雨狂風勢不禁，放舟棄棹遷亭陰。剝蓮認識中心苦，獨自沉沉味苦心。
孫多慈每次到王少陵家中見到徐悲鴻的這首詩都會黯然神傷，淚流漣漣，感歎不已。1953年9月，孫多慈在紐約驚聞徐悲鴻辭世的消息，一時昏厥過去。她說自己願意爲悲鴻戴孝三年，據說後來果然當著許紹棣的面爲徐悲鴻戴了三年孝。
孫多慈一生多才且有成，但由于長期悒郁，于1975年3月因患癌症病逝于美國洛杉矶，享年六十四歲。對于這段刻骨銘心的愛情，她一直保持著安靜和沉默，她對徐悲鴻的感情，除了她曾經寫給他的幾封信和幾首詩，沒有留下其它任何形式的表達。
忘年戀廖靜文：守得雲開見月明
1942年，廖靜文在長沙有名的周南女中讀書，夢想考入大學像居裏夫人一樣從事化學研究，並以當年第一名的成績考上了湖南商學院，而她卻偏偏想要去廣西上學。因爲戰亂，廖靜文到了廣西才發現自己已經錯過了報名期，只好在“抗戰文藝演出團”找了份唱歌的工作勉強度日，後因不滿領頭的把幾個從淪陷區來的姐妹裁掉，執意離開了演出團，在報看到重慶的中國美術學院招圖書管理員，便報名面試。
廖靜文畫像
在那次面試中，廖靜文見到了當時已有相當大名氣的徐悲鴻。“他已47歲了，兩鬓有些花白，有一張蒼白憔悴卻輪廓優美的臉。他問我爲什麽想去重慶，我就實話說想去那兒上大學，說完便後悔，誰願意要一個不安心工作的人呢？沒想到先生還鼓勵我說‘人要有大志向，很好。’”廖靜文從內心對悲鴻的大度欽佩。
那時，徐悲鴻當時的生活狀況非常差，並且長廖靜文28歲。“我們結婚時連一床新被子都沒有。”廖靜文說，“還不到27歲的我就這樣被聘用了，跟著悲鴻到了重慶。當時學院圖書館的書並不多，我有閑了就幫先生整理畫案，也看他畫畫。好多次看他自己洗衣服甚至釘紐扣，便很替他難過，我知道他妻子愛上了別人離開他了。”有一段時間他們經常一起到嘉陵江邊散步，天長日久，他們互相依戀，感覺離不開對方了，便考慮訂婚。
不久，也在重慶的社會教育學院教書的蔣碧薇得知此事後也頗有鬧騰。廖靜文的父親大發雷霆，不同意這樁婚事。“我哭著給悲鴻寫了封信一個人走了，在嘉陵江邊等輪渡的我正暗自傷心，一只大手拍在我的肩上。悲鴻往常是上完課中午才回住處，那天他心神不定，只上了兩節課便回去了，發現我寫的字條便瘋了似的追來。他說自己與蔣碧薇沒有任何幹系了，她要什麽我都滿足她，只要能跟我在一起。”
迷一樣的人生面前，廖靜文說，遇見悲鴻，“改變了我的一生”。僅僅相濡以沫七個年頭就與悲鴻陰陽兩隔，對于命運的艱辛，廖靜文仍認爲自己是幸運的。“因爲他是中國如此傑出的一個人物，遇見他、陪伴他、爲他生下兩個孩子，這對平凡的我來說真是意外的幸運，尤其是每當我想起他生前那麽鍾情于我，都忍不住要流淚。”
徐悲鴻、廖靜文與兒子
廖靜文曾寫作《徐悲鴻的一生》一書，在廖靜文的筆下，徐悲鴻先生就是大師，就是偶像。字裏行間，充滿著對大師家人的尊重和喜愛。她在“後記”中寫到：“我在悲鴻的故鄉看到了那些淳樸的鄉親們和他童年世道的夥伴，也見到了悲鴻的舅父、舅母、表兄、表嫂和妹夫……他們都親切而熱誠的待我”。廖靜文的文字裏，表現更多的是大師對美術的熱愛、對國家美術事業的操勞、以及志同道合的愛情佳話，而文中的許多插圖，都是徐悲鴻先生的大作，筆墨中處處留有先生的崇高敬業精神。
在徐悲鴻早年贈給她的一首小詩中，仿佛已經道出廖靜文對悲鴻癡癡的愛和無盡的相思：燈灰已入夜，無細相思，魂已隨君去，追隨弗不離。
在徐悲鴻的一生中，廖靜文是最能讀懂他的，而他眼中的徐悲鴻，也是一個善解人意，體貼入微的繪畫大師。晚年的悲鴻，能夠擁有這樣一位女子的相伴，應該是幸福和滿足的。
1953年9月26日，徐悲鴻因腦溢血在北京病逝，享年58歲，這一年與他1945年12月31日正式與蔣碧薇離婚僅僅過了七年多，他的早逝與他一生坎坷曲折的感情，不能說沒有關系。