【知っておきたい「AI技術」最新事情③】 2020年代の「AI技術」の基礎知識～自然言語処理に関するAI技術はどこまで進んでいるのか～　前編

2022.01.11

【知っておきたい「AI技術」最新事情③】 2020年代の「AI技術」の基礎知識～自然言語処理に関するAI技術はどこまで進んでいるのか～　前編

AI技術の基礎的な知識や最新動向、最新の事例などについて分かりやすく紹介する本連載。（第一回目はこちら、第二回はこちら）
第三回のテーマは、自然言語処理に関するAI技術です。技術の現状と今後の展望について、AI技術について研究している博報堂ＤＹホールディングスマーケティング・テクノロジー・センター（MTC）の木下陽介、藤井遼、青木千隼、久保田修平に聞きました。

―自己紹介をお願いします。

木下: 博報堂ＤＹホールディングスのMTCに所属している木下です。本日のテーマである自然言語処理は非常に奥深い分野です。今日はMTCで自然言語処理に関わっているメンバーに来てもらいました。

藤井: 藤井です。MTC開発4グループでデータ分析や機械学習を研究すると同時に、Spontenaというチャットボットサービスを展開している関連子会社で技術全般を見ています。
Spontenaのサービスは、運送会社の再配達サービスをはじめ世界有数のユーザー数を持つサービスのバックエンドで使われています。

青木: MTC開発1グループの青木です。AIを活用したプロダクト開発に従事しております。主にクリエイティブの自動生成プロジェクトを担当しており、基本はプロジェクトマネージャーの立場で開発の推進、現場やグループ内の各事業会社との連携推進、知財マネジメント等、技術を用いて現場の課題を持続的に解決するために必要な諸般タスクを全般的に担当しております。

久保田: 同じくMTC開発1グループの久保田です。主に、AI技術を活用したソリューション開発に取り組んでいます。プロジェクトに応じて、実際に手を動かしてプログラムを書いたり、プロジェクトマネジメントを担当したりと、様々な立場からプロジェクトに関わっています。
　具体的には、クリエイティブの自動生成に関するプロジェクトやソーシャルデータを活用したソリューション開発に関するプロジェクトなどに取り組んでいます。

木下: では自然言語処理とはどんな技術なのか、今回は六つのユースケースでご説明していきたいと思います。

久保田: そもそも、自然言語とは何なのかということについてまずご説明しますと、普段私たちが会話や文章で使っている言語のことを自然言語と呼びます。例えば、日本語や英語は自然言語です。

―自然言語ではない言語にはどういったものがあるのでしょうか。

藤井: プログラミング言語など、人が作った人工言語があります。日本語など、人間が普段使っているものは過去の人々のやり取りから自然に生まれてきたもので、特定の誰かが設計して作った訳ではありませんよね。ですから自然言語と呼びます。
　自然言語の特徴としてあるのが、一つの文章を複数の意味で解釈できることが多い、ということです。対して人工言語、特にプログラミング言語のようなものを形式言語と呼びますが、この分野では通常意味が厳密に決まっていて、解釈が分かれるということがありません。

久保田: まず一つ目のユースケースは文書分類です。テキスト文書を何らかのカテゴリに分類する技術であり、一番身近なのは迷惑メールフィルターだと思います。テキストの中身から迷惑メールと思われるものを自動で分類します。広告やSNSの通知について、別のフォルダに振り分けることができるサービスもあります。

木下: この分野はかなり以前からありますが、近年でも技術革新は起きていますか。

藤井: 文書分類に限った技術ではありませんが、ディープラーニング関連技術を使って単語を数百次元程度のベクトルに変換し、計算で扱えるようにする手法が用いられるようになっています。この変換を行う一番有名なツールがword2vecですね。
　ベクトルへの変換、専門用語では「単語埋め込み」などと呼びますが、この技術には「分布仮説」という考え方が背景にあります。この仮説は「ある単語の意味は周辺の単語によって決まる」という考え方で、例えば「卵」「エビ」という言葉は、「私は卵を食べる」「私はエビを食べる」という形の文で使われますよね。「私は」「を食べる」という同じ言葉の間で使われるので、この2つの単語は似たような意味であると考えます。実際、「名詞である」「食べ物である」といった共通の特徴を見出すことができますよね。そういった特徴をうまく表現できるベクトルを計算する技術が近年発達し、このベクトルを使って機械学習のための様々な計算を行えるようになりました。実際に求めているような結果に繋がるかどうかは別の話になりますが、直感的にはある言葉を似ているベクトルを持つ別の言葉に置き換える、といったことが可能になるんです。

木下: 文書分類以外に、word2vecを使ったユースケースにはどんなものがありますか。

青木: 博報堂内の活用例で言いますと、主に社内利用を想定して開発された広告コピーの発想支援ツールがあります。数値化によって言葉の足し算、引き算が疑似的に可能になるので、コピーを違う言葉に置き換える、といった用途に使うことができます。人間のように完璧な振る舞いをしてくれるわけではありませんが、逆に言えば人間が思いつかないような意外な言葉の発見を促し、クリエイターの発想を刺激することを目的として開発されています。

木下: AI技術全般に言えることですが、どのようにデータを扱うか、モデルの精度をどれくらいだと認識するか、によって効用が大きく変わります。ですので、限界をしっかり認識することが非常に重要です。メールの自動分類も未だに間違った分類が発生しますが、完璧でなかったとしても高い精度で分類が行えるのは便利ですよね。メールの場合、精度の限界はどの辺りにあると考えていますか。

藤井: メールの分類は、実際には自然言語処理以外の技術も使っているので、精度を自然言語処理だけに求めていくのは難しいんです。ヘッダーや送信者のブラックリストなども迷惑メールの判定に使われています。
　例えば私は業務上のエラー通知のためなどに自動でメールを送信するプログラムを書くことがありますが、新たに送ったメールが高い確率で迷惑メールに判定されてしまいます。これは、メールヘッダーを解析することで特定の経路やプログラムを介して送られたメールを迷惑メールと判定するスパム判定モデルが作られており、私のプログラムが自動メール送信に使っているWebサービスを使ってかつて大量のスパムメールを送った業者がいるなどの理由で、私のプログラムが送信したメールもスパムに類似していると判定されてしまったことが原因です。
　こうしたことを考えると、スパムの度合いが低いメールをたまに利用者に見せ、スパムかどうかを再度確認してもらう、といったことがより精度を高めるために必要なのではないかと感じています。

青木: 自然言語処理を使うことが重要なのではなく、ユーザーの課題を解決することが目的なので、自然言語処理にこだわる必要がないケースはありますよね。技術をどう組み合わせるか常に考え続ける必要があります。

100％の精度でなくても十分使える

久保田: 二つ目のユースケースはテキストマイニングです。テキストマイニングという言葉はかなり広い範囲の技術を指すのですが、基本的にはテキストデータから単語の出現頻度や単語間の共起関係などを分析することで有益な情報を取り出す分析方法を総称してテキストマイニングと呼びます。よく使われているのがVOC（ヴォイスオブカスタマー）分析というものです。企業に寄せられる顧客の声を分析することで、商品やサービスの開発、品質向上に役立てることができます。例えば、ビールメーカーが自社の商品についてSNSを分析すると、「コク」「キレ」などの言葉が頻出していて、それらの単語と一緒に「苦みが強すぎる」といったことが言われている、ということがわかったりします。こういった分析を参考にすることで、商品改善などに生かしていくことができます。

木下: テキストマイニングも昔からある技術です。実用のレベルについてはどう見ていますか。

藤井: 難しい部分が多いのかな、という印象ですね。ここでも単語をベクトルに変換する技術は使われていて、上手く使うことが出来れば似た意味の言葉をまとめて同一視するなどすれば、より効率的に評価をすることができます。ただ、多種多様な言葉を使いますし、似たような単語でも一文字違うだけで意味が変わりますし、そもそも分析対象の文章に書き間違いがあるケースも多くあります。
　先ほどのビールメーカーの例で言うと、ビールの味の表現で使われる「コク」という言葉は、様々な料理を対象にして一般に使われる「コク」が持つ意味の中でも、もっと狭い具体的な味の要素を指すと考えられます。こういった微妙なニュアンスを捉えるには、AIのモデルをビール用にチューニングする必要があるなど、適用に様々なハードルがあるんです。

木下: 博報堂はこれまでのマーケティング領域の活動において、「コク」のように各分野で独自の意味で暗黙知的に使われている言葉を大事にしてきました。そのため機械学習に取り組む中でも、そういった暗黙知を取り込めないか、ということに対する意識が高いように感じています。
　最近、出現頻度が高い単語を頻度に応じた大きさで図示する「ワードクラウド」が使われるケースが増えています。あれはビジュアル的に非常に分かりやすいですが、どういったデータ抽出条件で、分析したキーワードなのかが分からないと、真実を表していると断定できません。いくら結果が分かりやすくても、それを鵜呑みにするのは危険な場合もある、ということです。

―近年のコールセンター向けソリューションは、AIを使ったVOC分析機能を備えたものが増えています。そういったものに実用性はあるのでしょうか。

藤井: やはりどのように使うか、ということが重要です。コールセンターに届いた声を分析し、賞賛なのかクレームなのかを7～8割の精度で当てて分類する、といったことであれば十分に可能だと思います。ポジティブ・ネガティブの判定にはコツのようなものがあり、たとえば日本語であれば「長い文章であっても最後の部分で言っていることに本音が出やすい」、言語を問わずとも「文中のポジティブな言葉とネガティブな言葉の多数決で、全体の評価はだいたい当てられる」といったことが比較的シンプルな機械学習で学習可能です。「AIでの分類精度は100％ではない」ということを踏まえた上で使用するのであれば、高い効果が見込めるのではないでしょうか。

青木: 例えば、精度が50％の場合、人が全てを確認しなくてはいけませんが、80～90％の精度であれば簡易的なオペレーション上での確認などを組み合わせれば十分実用的になります。アルゴリズムが現場において十分な効果を発揮し、かつ持続的に利用されるためには、精度を見極めながらオペレーション面まで設計し、どう運用していくかを考えることが重要だと思います。

木下: 「分析の目的を達成する上でAI技術を用いる部分、人の手でオペレーション部分の役割分担を設計されているか」という部分を理解した上でAI技術を使えるかがポイントですね。

久保田: 三つめは文章要約です。これは読んで字のごとく、長い文章から要約文を作成する技術のことをさしています。たとえば、企業が出す決算報告書からAIがすばやく要点をまとめて、要約記事を作成するというような事例があったりします。

藤井: 文章の要約には大きく二つのアプローチがあります。一つは、長い文章から特別に重要な部分やセンテンスを切り出すというもの、もう一つは、全てを読み込んだ上で新規の文章を作るというものです。現在は後者のアプローチが流行しています。
　どちらのアプローチであっても、要約にはどう評価するか、という部分に難しさがあります。機械学習では、元の文章と人が作成した要約の両方を取り込み、より人が作ったものに近いものをプログラムが作れれば正解、という形で評価します。ですが、ある文章の要約にはいろいろな形があって、人が作成した要約とは文の見た目が大きく異なっていても、内容はほぼ同じであったりこれはこれで要約として成り立っていたり、ということがあり得ます。人が作ったものに似ていれば似ているほど優れている、と単純に言えない分、評価が難しい分野です。
　一方で、同じ文章の要約であっても、正解がほぼ決まっているものであれば、機械学習を効果的に活用できることが分かっています。例えば企業の決算報告書です。自然言語で書かれてはいますが、フォーマットがほぼ決まっており、半分形式言語のような文章だと言えます。そのため、要約の正解を一意に決めやすく、学習もうまく行くことが多いのでAIによる要約を高い精度で実現しやすい分野です。

木下: 専門性が高い用語が多いジャンルや、フォーマット化された文章であればAIで要約しやすいケースが多い、ということですね。

≪後編へつづく≫

この記事はいかがでしたか？

送信

木下陽介

博報堂　研究開発局　主席研究員
博報堂ＤＹホールディングス　マーケティング・テクノロジー・センター　開発1グループ　グループマネージャー
チーフテクノロジスト

2002年博報堂入社。以来、マーケティング職・コンサルタント職として、自動車、金融、医薬、スポーツ、ゲームなど業種のコミュニケーション戦略、ブランド戦略、保険、通信でのダイレクトビジネス戦略の立案や新規事業開発に携わる。
2010年より現職で、現在データ・デジタルマーケティングに関わるサービスソリューション開発に携わり、生活者DMPをベースにしたマーケティングソリューション開発、得意先導入PDCA業務を担当。
2016年よりAI領域、XR領域の技術を活用したサービスプロダクト開発、ユースケースプロトタイププロジェクトを複数推進、テクノロジーベンチャープレイヤーとのアライアンス、共同研究も行っている。
また、コンテンツ起点のビジネス設計支援チーム「コンテンツビジネスラボ」のリーダーとして、特にスポーツ、音楽を中心としたコンテンツビジネスの専門家として活動中。
藤井遼

博報堂　研究開発局　主席研究員
博報堂ＤＹホールディングス　マーケティング・テクノロジー・センター　開発４グループ　主席研究員
株式会社Spontena　リサーチエンジニア

2014年博報堂入社。マーケティング・テクノロジー・センターで生活者データ分析や機械学習を用いたマーケティングソリューションの研究開発を担当。Spontenaではチャットボットの要素技術として自然言語処理を用いた研究開発を行いながら、顧客企業の業務プロセスとの統合を含んだ高度なチャットアプリケーション開発に従事。
青木千隼

博報堂ＤＹホールディングス　マーケティング・テクノロジー・センター　開発1グループ　テクノロジスト

2017年博報堂入社。FMCG領域におけるマス/デジタルマーケティング業務に従事。2019年より現職、広告自動生成を中心としたAI,XR等先端技術のプロダクト開発、ID/データマーケティング領域におけるメディア企業とのアライアンス推進・ソリューション開発業務に従事。
久保田修平

博報堂ＤＹホールディングス　マーケティング・テクノロジー・センター　開発1グループ　研究員

2019年博報堂入社。マーケティング・テクノロジー・センターで研究員として、ソーシャルデータ分析や機械学習技術を用いたソリューション開発に従事。