この課題はマイナビにアクセスしてキーワード検索を行い結果を取得するものです。
当方のサンプルを用意していますので、追記する形で始めていただければと思います。
説明動画:https://youtu.be/vNJ5DcrdvhM
Seleniumの基本:https://techacademy.jp/magazine/28392
Seleniumの応用:https://tanuhack.com/selenium/#URL
Pandasの基本:https://note.nkmk.me/pandas/
ログ出力(テキストファイル出力):https://note.nkmk.me/python-file-io-open-with/
サンプルコードは、検索結果の1番上の会社名を取得するようになっています。 下記の課題に従って、レベルアップさせてみましょう。
Seleniumは副業案件においては、非常に重要な技術です。これを習得すれば月5万円程度の収入を得ることが可能です。 頑張って学習してみましょう!
1 難易度★☆☆☆☆
サンプルでは会社名を含む情報を取得するようになっています。 サンプルを実行して、会社名を含む情報をprintされることを確認してみましょう。
2 難易度★★★☆☆
会社名以外の項目として、求人タイトルも取得できるようにしてみましょう。
3 難易度★★★☆☆
2ページ目以降の情報も含めて取得できるようにしてみましょう
4 難易度★★☆☆☆
サンプルでは、プログラム内で予め指定した文字列で検索するようになっていますが
これを、任意のキーワードをコンソール・ターミナル(黒い画面)から指定して検索できるようにしてみましょう
※Hint: inputを使用すると簡単です
5 難易度★★★★☆
取得した結果をpandasモジュールを使ってCSVファイルに出力してみましょう
6 難易度★★☆☆☆
エラーが発生した場合に、処理を停止させるのではなく、スキップして処理を継続できるようにしてみましょう
(try文)
7 難易度★★☆☆☆
処理の経過が分かりやすいようにログファイルを出力してみましょう
ログファイルとは:ツールがいつどのように動作したかを後から確認するために重要なテキストファイルです。
ライブラリを用いることもできますが、テキストファイルを出力する処理で簡単に実現できるので、試してみましょう。
(今何件目、エラー内容、等を表示)
オプション1 難易度★★★★☆
検索時等にWeb画面を更新する処理はurlにより制御されます。 そのため、検索窓を使用せずにURLを直接変更することでも検索結果を取得することが可能です。 URLのうち、検索ワードを制御している部分を見つけて、直接プログラムにて修正し 検索結果を表示させてみましょう。 参考:https://webtan.impress.co.jp/e/2012/04/26/12663