放射科無人化的一小步！國外研究者通過機器學習技術，自動生成對胸部CT的解釋。在不久的將來，你在醫院拍CT時，或許不再需要一定時間的等待，才能拿到醫生給的診斷結果，通過機器學習立即就能得到結果！
圖片來源：維基百科
因爲胸部CT掃描是體積圖像，所以可以通過滾動三個不同的平面來查看它們：冠狀平面，軸向平面和矢狀平面。
這是軸向平面CT掃描的另一個示例：
圖片來源：維基百科
患者躺在桌子上，並穿過CT掃描儀的“圈孔”。這是CT掃描儀的內部外觀：
CT報告示例
這是美國國家診斷影像公司的胸部CT報告示例，其中的文本是從可在此處查看的可公開獲得的示例報告中複制的：
考試：CTA胸WW / O對比
臨床曆史：SOB，呼吸困難，R / O PE，ILD，可能的職業性肺病
適應證：49歲患者呼吸急促。可能的PE。可能的職業性肺病。
程序：獲得連續的軸向切片，無和有靜脈造影劑。穿過肺動脈進行小塊切片。
肺幹未顯示血栓或栓塞的迹象。沒有證據表明鞍狀栓子。左右主肺動脈似乎不明顯。雙側的一階和二階肺分支未顯示出栓塞的迹象。腋窩區域無腺病。縱隔和肺門區域無腫塊或腺病。所包括的上腹部顯示出脾鈣化，可能表明有遠端肉芽腫病。右側有一些局竈性腎皮質增厚，可能在此之前有疤痕。沒有證據表明肺實質間質性肺疾病。在圖像2系列4的左下肺中，有一個3毫米的結節。如果有進一步的擔憂，可以在12個月內進行監視CT。左側的同一系列圖像49上也有一個小的類似結節。沒有浸潤或積液。沒有發現急性骨異常。
印象：無肺栓塞病的證據。如果有足夠的顧慮，可以在12個月後行CT檢查左側的一些小肺結節。無間質性肺疾病的證據。
爲什麽自動CT解釋是一項有趣且具有挑戰性的任務？
放射科醫生爲每次CT掃描制作這些詳細報告非常耗時。如果患者接受了多個CT掃描（例如，三個月後的初次掃描和後續掃描），則更加耗時，因爲在這種情況下，放射科醫生必須將兩個掃描並排比較了解患者的健康狀況如何變化。人們對開發機器學習方法以自動解釋CT掃描，加速放射學工作流程並降低放射科醫生的3–5％實時診斷錯誤率非常感興趣。
由于以下幾個原因，對CT掃描的自動解釋具有挑戰性：
挑戰1：患者的解剖結構會根據性別，年齡，體重和正常的解剖結構自然變化。因此，“變化”不一定表示“異常”。
挑戰2：可能有數百種異常情況。下圖僅顯示了一些示例，包括嗜酸性粒細胞性肺炎，空洞病變（“孔”），囊腫，肺氣腫（例如由于吸煙而使海綿變海綿狀），氣胸（肺與肺囊之間的氣袋）和纖維化（類似于疤痕形成）：
從這些原始圖像修改：心包積液放射性足病。肺炎，膿腫Christaras一個 心力衰竭放射性足病
挑戰4：此外，一次掃描通常會出現多個相同異常的實例。在下面，我們可以看到在氣腫性肺中有多個大疱（大氣袋）的掃描，另一個充滿結節的掃描，以及多個腫塊的掃描：
肺不張/腫瘤
挑戰6：相同的異常可能在外觀上有所不同。例如，根據嚴重程度的不同，相同的異常看起來會有所不同，例如，肺炎掃描在下面，其中左側的掃描顯示整個肺被肺炎“白化”，而右側的掃描僅包含一小部分肺“因肺炎而變白：
肺結節
下圖總結了自動CT解釋中的挑戰：
某些患者只有一個CT量並進行報告，例如上圖中的000000。其他患者將具有多個CT量和報告。這些多個CT量可能是在不同時間拍攝的或可能在身體的不同部位（盡管此帖子著重于胸部CT，但也可能獲得頭部，腹部，骨盆和其他區域的CT） ）。
我們還需要考慮醫療保健系統中不提供哪些數據：
目前，我還沒有任何關于從卷自動生成CT報告的研究。關于自動生成胸部X光報告的研究很多，這是一個更可行的任務，因爲胸部X光報告的尺寸要小得多（約小1,000倍），胸部X光報告的長度要短得多（〜短6倍）。但是，即使在這項更直接的任務上，模型也難以産生准確的報告。我懷疑這部分是因爲放射學報告包含許多“正常”句子，因此對于包含大部分正常句子的生成報告，即使該報告弄亂了異常情況，該模型也有可能獲得“良好分數”-這恰好是醫生最關心的部分！
盡管從CT生成文本可能是一個有趣的學術活動，但是從CT生成文本的主要實際缺點是：
- 文本生成模型必須完美才能在商業上使用。如果每10個便箋中甚至有一個錯誤，則沒有人會使用該系統，因爲醫療錯誤的潛在成本太高，並且“檢查每個報告的正確性”所需的時間比花費該錯誤所需的時間更長。只是從頭決定報告。
- 文本生成模型並沒有固有地提供每個異常的性能指標，這是放射科醫生需要信任的系統才能看到的。有些異常比其他異常難檢測，放射線醫生會想知道模型在檢測每種異常方面的表現如何。
一種更實用的方法是構建一個可以以結構化方式預測異常和位置的機器學習系統。然後，我們可以獲取每個異常的性能指標，還可以突出顯示掃描中可以觀察到每個異常的位置。這樣的系統可以用于自動分類（例如“將氣胸的所有掃描移動到放射線醫師隊列的頂部”），並且可以與放射線醫師的讀數結合使用，以嘗試提高診斷准確性。此外，擅長預測異常和位置的系統也可以用于生成文本（如果這是期望的目標）。僅給出異常及其位置的列表，使用放射線法是高度結構化的，因此使用規則生成基本的自由文本報告很簡單。
單次異常CT分類
由于上一節中列出的原因，CT圖像中的異常分類引起了很多興趣。
在單一異常CT分類中，模型（通常是CNN）處理CT量並根據是否存在特定的關注異常（即二進制分類）來産生0或1：
這是我彙總的另一個表格，用于預測CT掃描中其他種類的異常（包括肺癌，顱內出血和氣胸）的其他先前工作：
每個CT卷都分配給一個，多個或不分配任何類。
在我最近的工作之前，尚未探討多標簽胸部CT分類的問題。然而，由于具有多個全圖像標簽的大型胸部X射線公共數據集的可用性，對多標簽2D胸部X射線分類已進行了深入研究：