文書の要約技術について

文書の要約技術について。

下記書籍参照。

自然言語処理の基本と技術 (仕組みが見えるゼロからわかる)

---

文書要約の分類

1. 単一文書要約
   • リード法
     • 文書の最初の数行を提示
     • 単純だが強力
     • ニュース記事などに特に有用

2. 複数文書要約

3. 抽出型要約

   • 文を抽出して変更せずに提示
   • 実用化されている手法のほとんどはこれ
   • MMR（maximal marginal relevance）
     • なるべく代表的な文を選択しながら、なるべく冗長でない文を選択
     • 類似度に基づく尺度
       • コサイン類似度など
4. 抽象型要約
   • 新しい文章を生成しながら内容を抽象的に要約

---

日本語の要約に関して。

---

日本語要約の実装例

1. GitHub - recruit-tech/summpy
2. 日本語文書の自動要約アルゴリズムを60年近く前の論文を頼りに再記述する | Welcome to Singularity
   • Python3でWeb上の学術論文のPDFファイルを取得して「文書要約」する | Welcome to Singularity

---

過去にググった時の記事

---

• テキスト要約機能の話 - stkntr’s blog
  • sumy 0.5.1 : Python Package Index

---

要約とはまた違うけど日本語関係のPyPI

• Index of Packages Matching 'japanese' : Python Package Index

---

Tensorflowで要約

• Research Blog: Text summarization with TensorFlow

---

スライド資料等

• Automatic summarization
• Introduction to Automatic Summarization
• 言い換えを用いたテキスト要約の自動評価