検索エンジンや機械翻訳、チャットボットや迷惑メールの分類など、生活・ビジネスにおけるさまざまなシーンで利用されている自然言語処理技術。

でも、日本語を扱った自然言語処理は、英語などの言語に比べて難易度が高いと言われています。

日本語は文法構造や単語の区切りが不明確だったりします。

ただ、日本語による自然言語処理技術を高めることができれば、前述の機械翻訳や迷惑メールなどの応用にも繋がり、さらに精度の向上のヒントを得ることもできるでしょう。

このコースでは、現役の機械学習エンジニアである講師が、日本語にフォーカスした自然言語処理について、基礎から実践（文書分類）まで解説します。

なお、一言で自然言語処理と言っても、含意関係認識や照応解析等、様々な技術が含まれています。その中でも、今回は「形態素分析」（特に形態素解析エンジンMeCab）を用いて、国会議事録の文書分類に挑戦します。

このコースで学ぶこと

Pythonを用いた自然言語処理の手法について学びます。

この講座では文書分類を題材として、Pythonの文法の基礎の確認から始めて、分析した内容を評価するところまでを学びます。

理論の説明とプログラミングのハンズオンをバランスよく行っていきます。

なお、自然言語処理の中でも最もベーシックな形態素分析を中心に手法を学ぶことで、基礎から実践的な作業までを網羅します。

また、本講座内では、必要最低限の数学についても取り扱います。本講座を受講後にも発展的に学習を続けていけるように、濃厚な内容になっています。少し退屈かもしれませんが、初めての方はじっくりと、久しぶりに触れる方はおさらいとして、受講いただけると嬉しいです。

このコースのゴール

ご自身で文書分類を実施できるようにすること、さらに自身で学んで深めていけるような土台を作ることを目指します。

そのために、前述の通り、数学やPython、機械学習の基礎についても、順序立てて学んでいきます。

改訂履歴

2020/08/24 ベイズの定理の講座の例題に間違えがありました。がんでない人が喫煙者であると読み替えてください。こちら例題の箇所にテロップを入れております。

2020/08/24 リソース単語と文書の定量的表現のソースのアウトプットに誤植があったので、訂正しGoogleドライブに再アップしました。

2020/07/18 課題交差検証のコードのブラッシュアップの課題が処理が重く時間がかかるのですが、その注意書き、対処方法などの記載がなかったので追記しました。

2020/07/11 課題(発展)WikiPediaのコーパスからWord2Vecを作成するのJupyter中の説明に誤植があったので修正しました。

2020/07/11 課題正規直交規定についての解答ファイルにインポートが漏れていたので追記しました。

2020/07/11 サポートベクターマシーンのホワイトボードに記載ミスがあったので、動画を差し替えました。内容は同一で、ミスのあった箇所はテロップを入れております。

2020/07/08 課題内積となす角の問題ファイルと解答ファイルに不備があったので差し替えました。

2020/07/02 主成分分析のホワイトボードに記載ミスがあったので、動画を差し替えました。内容は同一で、ミスのあった箇所は動画の画像を編集してミスの箇所を消しております。

2020/06/29 stopwordsフォルダをリソースに格納していなかったので追加しました。

2020/06/29 リソースのデータ分析用のライブラリの中に空のdataフォルダを追加しました。こちらは講座で作成したファイルが格納されます。

2020/06/28 ベイズの定理の講座、標本の講座のホワイトボードに記載ミスがあったので、動画を差し替えました。内容は同一で、ミスのあった箇所はテロップを入れております。

2020/06/28 課題1の解答ファイルに不備がありましたので差し替えました。