No.8
AIによるテキスト情報の解析（テキストデータの特徴を掴む）

AIによる大量テキストデータの自動分類とネットワーク構造の可視化

最近、AI（人工知能、以下AI ）に関連するニュースが増えています。投資の分野でも研究開発が盛んに行われており、実際に投資手法として利用可能な段階まで進展しています。本レポートでは、AIと投資手法の関係性をご紹介したいと思います。

今回のテーマは経済テキストの特徴を掴むための様々な手法になります。

1. 大量のテキストデータから特徴を掴む

AI技術の発展により、様々な場面でテキスト情報を活用しようとする試みが増えています。テキストデータの例では、アンケート結果やwebニュース記事、web掲示板情報、twitter等のSNSなどが考えられますが、これらのテキスト情報を活用しようとする場合、まずデータの特徴を掴む必要があります。このテキストデータはどこから取得され、何について記述されているか。加えて、どのようなグループ分け、ラベル付けが出来るかが重要な特徴になります。このようなデータの特徴は、従来は人がデータ全体を俯瞰した上で考えていました。しかし、昨今では扱うデータ量も膨大になったため、人手では全てを俯瞰するのは困難です。

このような状況の中、AIを利用して、自動でテキストデータの特徴を把握できないか？というニーズが提起されます。今回はこのニーズを意識した上で、AIによるテキストの分類を実施します。また、実際に分類されたデータの特徴を人間が掴むための可視化にも挑戦します。

図1．今回のレポートテーマ

単語と文書のベクトル化

2. ベクトル化とは？

昨今のAI領域においては、ベクトル化という技術が頻繁に使われています。簡単に言うと、単語や文章を数字情報に置き換える処理になります。そもそも機械であるAIは日本語の文字をそのまま扱うのは難しいので、扱いやすいようにベクトル（数字情報）に変換する必要があります。

2_1. Word2Vec、Doc2Vec

単語や文書をベクトル化をする手法として、Word2VecとDoc2Vecがあります。これは、機械学習を利用して、単語や文書をn次元の数字情報に変換する手法です。このn次元の数値情報に変換する際に、AIが単語または文書の特徴が表せるように数字を決定します。

図2. 単語や文書のベクトル化

2_2. 類似単語の確認

今回は文書のベクトル化としてDoc2Vecを利用します。この過程で単語のベクトル表現もWord2Vecと同様に取得されています。今回のベクトル化において、単語の特徴が上手く表現されているか確認したいと思います。具体的には、単語を指定した際に、ベクトルが類似^※している単語を上位いくつか表示し、人間の感覚とずれていないかを確認します。実際の結果が図3です。感じ方は人によるところがありますが、概ね対象の単語に関連している単語が上位に位置しているかと思います。あえて経済寄りの単語を対象に選びましたが、政治と為替は似た単語が上位に来ています。

• コサイン類似度による類似度確認をしています。この説明は後述になります。

図3. 単語のベクトル表現から分かる類似単語

文書ベクトルのクラスタリング

3. クラスタリングとは？

Doc2Vecを適用し、景気ウォッチャー調査を1回答ずつ100次元の文書ベクトルに変換します。総回答数が数万もの大量データになります。この文書ベクトルが、上手く文書の特徴を捉えていると仮定し、文書を特徴毎にグループ分けしたいと思います。

3_1. k-means法によるクラスタリング

グループ分けについて、今回はk-means法によるクラスタリングを利用します。クラスタリングとは、任意の数のグループ（クラスター）に分類することであり、その分類手法がk-means法になります。K-means法とは、AI（教師無し機械学習）の一種として考えられます。

図4. クラスター分けの二次元イメージ

3_2. 全ての文書ベクトルを30個のクラスターに分類

今回はクラスター数30で分析を行いましたが、その結果が図5です。AIが文書ベクトルから判断した基準により、各文書が各クラスターに特徴毎に分類されたことになります。結果を見ると、各クラスターにおいて含まれる文書（回答）の数に偏りが見られます。1クラスター当たり、含まれる文書数は大体2000前後が多いですが、クラスター17番は10000以上の文書を含み、やや突出しています。

図5. クラスター分析の結果：各クラスターに含まれる文書数

平均ベクトルとコサイン類似度

4. 各クラスター内でのベクトル分布を確認する

クラスター内の文書がどの程度確からしく分類されているか確認したいと思います。

4_1. 平均ベクトル

各クラスターは先述のようにk-means法で分類されています。この分類の過程で重心（平均）ベクトルが使われることから、各クラスターの特徴を表すベクトルは、各クラスター内文書ベクトルの平均ベクトルといえます。各クラスター内の文書ベクトルとこの平均ベクトルとの類似度を考えます。

4_2. コサイン類似度

ベクトル間の類似度を測る方法は複数考えられますが、今回はコサイン類似度を利用します。コサイン類似度とは、二つのベクトルの為す角度のコサイン値であり、結果の数値は-1から+1までの範囲となります。「数字が大きいほど類似している」、と解釈されます。ここで、K-means法では類似度に重心（平均）ベクトルからのユークリッド距離を活用しており、コサイン類似度と尺度が違うことに違和感を覚える方もいるかもしれません。しかし、今回はクラスタリングする前に各文書ベクトルを単位ベクトル化しており、ユークリッド距離とコサイン類似度の順序関係は同じになります。

図6. 平均ベクトルの作成とコサイン類似度の定義

4_3. クラスター内のコサイン類似度分布

あるクラスター内における、平均ベクトルと文書ベクトルとのコサイン類似度を実際に計算し、分布を図示したのが図7になります。分布が+1側に偏っており、概ね平均ベクトルの特徴に沿ってクラスタリングが行われていることが分かります。一方、コサイン類似度が小さい（1から離れている）文書ベクトルもある程度存在します。これは、今回計算された30個のクラスターでは分類が難しく、半ば無理やりに分類された文書と推測されます。

図7. クラスター内平均ベクトルとクラスター内各文書ベクトルとのコサイン類似度