telunyang/nodejs_web_scraping

Node.js 深度網路爬蟲

Node.js 網路爬蟲

1. 使用 cURL 來取得動態、靜態的網頁資訊。
2. 使用 nightmare.js 來取得動態網頁元素生成的頁面資訊。
3. 使用 Selenium Dev 來取得動態網頁元素生成的頁面資訊。

用途

1. 為 node.js 開發者建立的深度爬蟲操作範例
2. 爬取結果轉換成 JSON，可以進行資料交換

範例操作環境

• Windows 10
• Google Meet
• Visual Studio Code
• nvm（Windows版本）
• node.js v12.15.0
• npm v6.13.4

建議使用套件列表

• nightmare
• jquery
• jsdom
• moment
• selenium-webdriver

$ npm i nightmare jquery jsdom moment selenium-webdriver --save

若是你已經取得本專案，尤其專題資料夾裡面有 package.json，請直接使用：

$ npm i --save

範例影片

1. [nodejs][nightmare] 網路爬蟲線上讀書會 - YouTube - Part 1
2. [nodejs][nightmare] 網路爬蟲線上讀書會 - 104人力銀行 - Part 1
3. [nodejs][curl] 網路爬蟲線上讀書會 - WineSearcher 紅酒詢價網站、維基百科三國演義人物列表
4. [nodejs][nightmare] 網路爬蟲線上讀書會 - YouTube、104人力銀行 - Part 2 (End)