講座内容

AWSのEC2とPythonを使ってWebクローラーの作り方を学び、定期的なデータの収集を効率化しましょう。

PythonはInstagramやEvernoteやDropbox、Googleでも使われているメジャーな開発言語です。

応用範囲はAIから機械学習、普段の事務作業まで非常に幅広く勉強にはもってこいの言語といえます。

Python言語の詳細には触れませんが、用意されているスクリプトはわかりやすく一部を手直しするだけですぐにクローリングしてデータ取得ができるようになります。

ぜひ御覧ください。

【コース概要】

以下、本コースで扱う大枠の内容となっております。

・AWSでEC2を使ってサーバ立ち上げとSSHでのログイン

・クローラーの注意点

・Pip、Python3のインストール

・Pythonパッケージのインストール

・ヘッドレスChromeとChromeDriverのインストール

・Pythonプログラム作成とクローリング実行

・Pythonでのデバッグ方法

・Windows/MacでのPython環境の構築方法

本講座では、講師自作のWebページを用いてWebスクレイピングを行います。

【前提知識】

・HTML, CSSの基礎的な知識

・linuxでviを使ってのファイル編集方法