軟件所四項成果被自然語言處理頂級會議ACL 2019接收

文章來源:  |  發布時間:2019-05-20  |  【打印】 【關閉

  

  ACL(Annual Meeting of the Association for Computational Linguistics)是自然語言處理領域的頂級國際會議,被中國計算機學會推薦國際學術會議列表認定為A類會議。ACL2019將于2019728日至82日在意大利佛羅倫薩舉行。 

  在國家自然科學基金重點項目漢語認知加工機制與計算模型和國家重點研發計劃基于大數據的面向開放域的智能問答技術項目支持下,中國科學院軟件研究所中文信息處理實驗室3篇長文《Sequence-to-Nuggets: Nested Entity Mention Detection via Anchor-Region Networks》、《Distilling Discrimination and Generalization Knowledge for Event Detection via ?-Representation Learning》、《Progressively Self-Supervised Attention Learning for Aspect-Level Sentiment Analysis》和1篇短文《Cost-sensitive Regularization for Label Confusion-aware Event Detection》被ACL2019接收。 

  1 Sequence-to-Nuggets: Nested Entity Mention Detection via Anchor-Region Networks 

  論文作者:林鴻宇(中科院軟件所),陸杰(中科院軟件所),韓先培(中科院軟件所),孫樂(中科院軟件所) 

  命名實體識別是自然語言處理中一個根本性的任務。然而,現有的命名實體識別模型通常假定一個字符僅屬于一個實體提及,這就使得這些模型無法被用于帶有嵌套命名實體提及的情況。但是,嵌套命名實體提及在自然語言中分布非常廣泛,這就使得忽視這類嵌套實體會對后續自然語言處理任務產生巨大影響。 

  針對這一問題,該團隊提出了一種全新的神經網絡結構:錨點-區域網絡。該網絡充分地利用了自然語言詞組以頭詞為中心的結構特性,提出了通過檢測不同頭詞來檢測不同嵌套實體的方案。同時,為了能夠在沒有實體頭詞標注數據的情況下訓練上述網絡結構,團隊還提出了一種新的包損失函數。該損失函數能夠自動挖掘無頭詞標注數據中的頭詞信息,從而對錨點-區域網絡進行端到端訓練。 

  實驗結果表明該團隊提出的模型在ACE2005、GENIA以及KBP2017等多個不同領域的命名實體識別標準數據集上都取得了當前最好的性能。 

  2 Distilling Discrimination and Generalization Knowledge for Event Detection via Representation Learning 

  論文作者:陸杰(中科院軟件所),林鴻宇(中科院軟件所),韓先培(中科院軟件所),孫樂(中科院軟件所) 

  事件檢測是信息抽取的重要任務,近年來,在知識圖譜構建、信息檢索和文本理解中扮演著重要角色。事件檢測系統不僅依賴判別性知識來區分存在歧義的事件觸發詞,還依賴泛化性知識來檢測未見的、稀疏的事件觸發詞。現有的神經網絡方法通常聚焦于獲取一個以觸發詞為中文的特征表示用于事件檢測,這樣的方法可以有效的蒸餾出判別性的知識,但是難以學習到泛化性的知識,致使模型難以檢測未見的、稀疏的事件觸發詞。 

  為解決這一問題,本文提出了一種表示學習框架,通過有效分離、增量學習,最后自適應合成不同的事件特征表示,能夠有效地蒸餾判別性和泛化性知識。 

  實驗結果證明了本文的方法在未見的、稀疏的事件觸發詞上超過了之前的方法,同時在ACE2005KBP2017兩個數據集取得了當前最佳性能。 

  3 Progressively Self-Supervised Attention Learning for Aspect-Level Sentiment Analysis 

  論文作者:唐家龍(中科院軟件所),陸紫耀(廈門大學),蘇勁松(廈門大學),葛毓斌(UIUC),宋霖峰(羅切斯特大學),孫樂(中科院軟件所), 羅杰波(羅切斯特大學) 

  在方面層次的情感分類任務中,使用注意力機制來捕獲上下文文本中與給定方面最為相關的信息是近年來研究者們的普遍做法。然而,注意力機制容易過多的關注數據中少部分有強烈情感極性的高頻詞匯,而忽略那些頻率較低的詞。 

  本文提出了一種漸進的自監督注意力的學習算法,能夠自動的、漸進的挖掘文本中重要的監督信息,從而在模型訓練過程中約束注意力機制的學習。該團隊迭代的在訓練實例上擦除對情感極性積極”/“消極的詞匯。這些詞在下一輪學習過程中將會被一個特殊標記替代,并記錄下來。最終,團隊針對不同情況,設計出不同的監督信號,在最終模型訓練目標函數中作為正則化項約束注意力機制的學習。 

  SemEval 14 REST,LAPTOP以及口語化數據集TWITTER上的實驗結果表明,團隊提出的漸進注意力機制能在多個前沿模型的基礎之上取得顯著性提升。 

  4 Cost-sensitive Regularization for Label Confusion-aware Event Detection   

  論文作者:林鴻宇(中科院軟件所),陸杰(中科院軟件所),韓先培(中科院軟件所),孫樂(中科院軟件所) 

  事件檢測是信息抽取中的一個重要任務。近年來,神經網絡在事件檢測上取得了重大的進展。然而,我們的研究發現,神經網絡模型在事件檢測上的錯誤通常出現在某些特定的類別對之間。針對上述問題,我們提出了一種代價敏感的正則化約束優化目標。該約束目標使得神經網絡在訓練的過程中能夠更加關注某些特定的易混淆類別對。除此之外,我們還提出了兩種實例級別以及語料庫級別的用于估計類別間混淆度的方法。在ACE2005以及KBP2017數據集上實驗結果表明,我們提出的代價敏感的正則化約束能夠顯著提升多種不同架構的神經網絡事件檢測模型的性能。 

  論文全文和源代碼將在中文信息處理實驗室網(www.icip.org.cn)開放,歡迎大家關注!