機器之心報道
編輯：陳萍、杜偉
剛剛，NLP 領域國際頂會 ACL2022 公布獲獎論文信息，其中加州大學伯克利分校的增量句法表示研究被評爲最佳論文。此外，最佳主題論文、傑出論文也揭曉。
ACL 是計算語言學和自然語言處理領域的頂級國際會議，由國際計算語言學協會組織，每年舉辦一次。一直以來，ACL 在 NLP 領域的學術影響力都位列第一，它也是 CCF-A 類推薦會議。今年的 ACL 大會已是第 60 屆，將于 5 月 22-5 月 27 在愛爾蘭都柏林舉辦。
2 月 24 日，ACL 2022 錄用結果公布。本屆大會主會議共接收了 604 篇長論文和 97 篇短論文（以 ACL 2022 公布的論文列表查詢爲准）。
剛剛，大會官方公布了最佳論文、最佳主題論文、傑出論文以及最佳資源論文和最佳語言洞察力論文。其中，加州大學伯克利分校的獲得最佳論文獎，加拿大國家研究委員會、愛丁堡大學等機構的研究者獲得最佳主題論文獎。此外，多位華人學者參與的研究被評爲傑出論文，包括陳丹琦、楊笛一等的研究。
最佳論文
ACL 2022 的最佳論文（Best Paper）來自加州大學伯克利分校研究團隊，該研究提出了一種增量句法表示，與當前的 SOTA 解析模型相當。
- 題目：Learned Incremental Representations for Parsing
- 作者：Nikita Kitaev, Thomas Lu 、Dan Klein
- 機構：加州大學伯克利分校
- 鏈接：https://aclanthology.org/2022.acl-long.220.pdf
摘要：該研究提出了一種增量句法表示，該表示包括爲句子中的每個單詞分配一個離散標簽，其中標簽是使用句子前綴的嚴格增量處理來預測的，並且句子標簽序列完全確定了解析樹。該研究旨在誘導一種句法表示，它只在句法選擇由輸入逐漸顯示時才確定這些選擇，這與標准表示形成鮮明對比，標准表示必須進行輸出選擇，例如推測性的附件，然後抛出相互沖突的分析。
該研究學習的表示在 Penn Treebank 上達到了 93.72 F1，且每個單詞只有 5 bit；在每個單詞爲 8 bit 時，該研究在 Penn Treebank 上達到了 94.97 F1，這和使用相同的預訓練嵌入時的 SOTA 解析模型相當。該研究還對系統學習到的表示進行了分析，他們研究了系統捕獲的可解釋句法特征等屬性，以及句法歧義的延遲解決機制。
最佳主題論文
今年的最佳主題論文（Best Special Theme Paper ）研究來自加拿大國家研究委員會、愛丁堡大學、皇後大學等機構研究者，他們主要研究爲低資源語音合成相關技術。
- 標題：Requirements and Motivations of Low-Resource Speech Synthesis for Language Revitalization
- 作者：Aidan Pine, Dan Wells, Nathan Brinklow, Patrick William Littell 、Korin Richmond
- 機構：加拿大國家研究委員會、愛丁堡大學、皇後大學
- 鏈接：https://aclanthology.org/2022.acl-long.507.pdf
摘要：該研究闡述了語音合成系統的發展動機和目的，以振興語言。通過爲加拿大使用的三種土著語言 (Kanien ‘kéha, Gitksan 和 SENĆOŦEN) 構建語音合成系統，該研究重新評估了需要多少數據才能構建具有 SOTA 性能的低資源語音合成系統。例如，該研究在英語數據的初步結果表明，在訓練數據上訓練 1 小時的 FastSpeech2 模型可以産生與訓練 10 小時的 Tacotron2 模型語音自然度相當。最後，該研究們鼓勵在語音合成領域進行評估和課堂整合來進行未來研究，以實現語言複興。
八篇傑出論文
本屆會議還評出了八篇傑出論文（Outstanding Papers），佐治亞理工學院交互計算學院助理教授楊笛一（Diyi Yang）、普林斯頓大學計算機科學系助理教授陳丹琦等人的研究在列。
論文 1：Evaluating Factuality in Text Simplification
- 作者：Ashwin Devaraj、William Berkeley Sheffield、Byron C Wallace、Junyi Jessy Li
- 機構：德克薩斯大學奧斯汀分校、東北大學
- 論文地址：https://arxiv.org/pdf/2204.07562.pdf
摘要：自動簡化模型旨在使輸入文本更具可讀性，但此類模型會在自動簡化的文本中引入錯誤。因此，研究者提出了一種錯誤分類法，用來分析從標准簡化數據集和 SOTA 模型輸出中提出的參考資料。
論文 2：Online Semantic Parsing for Latency Reduction in Task-Oriented Dialogue
- 作者：Jiawei Zhou、Jason Eisner、Michael Newman、Emmanouil Antonios Platanios、Sam Thomson
- 機構：哈佛大學、微軟
- 論文地址：https://aclanthology.org/2022.acl-long.110.pdf
摘要：標准對話語義解析將完整的用戶話語映射到可執行程序中，然後執行該程序以響應用戶，速度可能很慢。研究者過在用戶仍在說話時預測和執行函數調用來減少延遲的機會，並引入了在線語義解析任務，采用受同步機器翻譯啓發的規範延遲減少指標。此外，他們還提出了一個通用框架。
論文 3：Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation
- 作者：Xiangpeng Wei、Heng Yu、Yue Hu、Rongxiang Weng、Weihua Luo、Rong Jin
- 機構：阿裏達摩院、中科院信息工程研究所、中國科學院大學
- 論文地址：https://arxiv.org/pdf/2204.06812v1.pdf
摘要：監督神經機器翻譯（NMT）的主要任務是學習生成以來自一組並行句子對的源輸入爲條件的目標句子，從而得到一個能夠泛化到未見過實例的模型。然而，通常觀察到模型的泛化性能很大程度上受訓練中使用的並行數據量的影響。研究者提出了一種新的數據增強範式，稱之爲連續語義增強（Continuous Semantic Augmentation, CsaNMT），它爲每個訓練實例增加了一個鄰接語義區域。
論文 4：Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity
- 作者：Yao Lu、Max Bartolo、Alastair Moore、Sebastian Riedel、Pontus Stenetorp
- 機構：倫敦大學學院、Mishcon de Reya LLP
- 論文地址：https://arxiv.org/pdf/2104.08786v2.pdf
摘要：當僅使用少量訓練樣本啓動時，與完全監督、微調、大型、預訓練的語言模型相比，GPT-3 等超大預訓練語言模型展現出具有競爭力的結果。研究者證明了提供樣本的順序可以在接近 SOTA 和隨機猜測性能之間産生差異：本質上，一些排列很棒，而另一些則不是。他們分析了這一現象，分析它存在于模型大小方面，與特定的樣本子集無關，並且一個模型的給定良好排列不能轉移到另一個模型。
因此，研究者利用語言模型的生成特性來構建一個人工開發集，並基于該集上候選排列的熵統計確定性能提示。他們的方法在 11 個不同的已建立文本分類任務中爲 GPT 系列模型産生了 13% 的相對改進。
論文 5：Inducing Positive Perspectives with Text Reframing
- 作者：Caleb Ziems、Minzhi Li、Anthony Zhang、Diyi Yang
- 機構：佐治亞理工學院、新加坡國立大學
- 論文地址：https://arxiv.org/pdf/2204.02952v1.pdf
摘要：該研究引入了積極重構任務，在該任務中，該研究消除消極觀點並爲作者生成更積極的觀點，而不會與原始含義相矛盾。爲了促進快速進展，該研究引入了一個大規模的基准，積極心理學框架（POSITIVE PSYCHOLOGY FRAMES），其具有 8349 個句子對和 12755 個結構化注釋，以根據六種理論動機的重構策略來解釋積極重構。
在四位作者中，楊笛一（Diyi Yang）是佐治亞理工學院交互計算學院助理教授。
論文 6：Ditch the Gold Standard: Re-evaluating Conversational Question Answering
- 作者：Huihan Li、高天宇、Manan Goenka、陳丹琦
- 機構：普林斯頓大學
- 論文地址：https://arxiv.org/pdf/2112.08812v2.pdf
摘要：在這項工作中，該研究對 SOTA 對話式 QA 系統進行了首次大規模的人類評估，其中人類評估員與模型進行對話，並判斷其答案的正確性。該研究發現人機（humanmachine）對話的分布與人 – 人（human-human ）對話的分布有很大的不同，在模型排名方面，人類評估和黃金曆史（goldhistory）評估存在分歧。該研究進一步研究了如何改進自動評估，並提出了一種基于預測曆史的問題重寫機制，該機制可以與人類判斷更好地關聯。最後，該研究分析了各種建模策略的影響，並討論了構建更好的對話式問答系統的未來方向。
論文作者之一爲普林斯頓大學博士二年級學生高天宇，師從該校計算機科學系助理教授陳丹琦。
論文 7：Active Evaluation: Efficient NLG Evaluation with Few Pairwise Comparisons
- 作者：Akash Kumar Mohankumar、Mitesh M Khapra
- 機構：微軟、印度理工學院馬德拉斯分校
- 論文地址：https://arxiv.org/pdf/2203.06063v2.pdf
摘要：在這項工作中，該研究引入了主動評估，在 13 個 NLG 評估數據集上使用 13 個 dueling bandits 算法進行了廣泛的實驗，涵蓋 5 個任務，實驗表明人工注釋的數量可以減少 80%。爲了進一步減少人工注釋的數量，該研究提出了基于模型的 dueling bandit 算法，該算法將自動評估指標與人工評估相結合，這將所需的人工注釋數量進一步減少了 89%。
論文 8：Compression of Generative Pre-trained Language Models via Quantization
- 作者：Chaofan Tao、Lu Hou、Wei Zhang、Lifeng Shang、Xin Jiang、Qun Liu、Ping Luo、Ngai Wong
- 機構：香港大學、華爲諾亞實驗室
- 論文地址：https://arxiv.org/pdf/2203.10705v1.pdf
摘要：本文采用量化方法對生成式 PLM（Pre-trained Language Models）進行壓縮。他們提出了一種 token 級的對比蒸餾方法來學習可區分的詞嵌入，此外，該研究還提出了一種模塊級的動態擴展來使量化器適應不同的模塊。在各種任務的經驗結果表明，該研究提出的方法在生成 PLM 上明顯優于 SOTA 壓縮方法。在 GPT-2 和 BART 上分別實現了 14.4 倍和 13.4 倍的壓縮率。
其他獎項
大會還公布了最佳資源論文（Best Resource Paper）和最佳語言洞察力論文（Best Linguistic Insight Paper），分別由羅馬大學以及馬薩諸塞大學阿默斯特分校等機構的研究者獲得。
最佳資源論文：DiBiMT: A Novel Benchmark for Measuring Word Sense Disambiguation Biases in Machine Translation
- 作者：Niccolò Campolungo、Federico Martelli、Francesco Saina、Roberto Navigli
- 機構：羅馬大學、SSML Carlo Bo
- 論文地址：https://aclanthology.org/2022.acl-long.298.pdf
最佳語言洞察力論文：KinyaBERT: a Morphology-aware Kinyarwanda Language Model
- 作者：Antoine Nzeyimana、Andre Niyongabo Rubungo
- 機構：馬薩諸塞大學阿默斯特分校、加泰羅尼亞理工大學
- 論文地址：https://arxiv.org/pdf/2203.08459v2.pdf
參考鏈接：
https://www.2022.aclweb.org/papers
https://www.2022.aclweb.org/best-paper-awards