程式設計不該只是工程師專屬的武器 爬蟲的技術對於身處行銷、電商產業的人更重要
文章並不探討困難的技術,目標是培養解決問題的能力及技術的整合,內容包含:
- 撰寫程式的前置環境設定,以及推薦開發工具(IDE)
- nodejs基礎操作
- 自動抓取網頁資訊(打開虛擬網頁、分析網頁、操作網頁元素)
- 將取得的資訊放入Google Sheets(read、write、format...)
- 排程自動執行設定,腳本撰寫
- 執行完成後透過LINE回報執行狀況
備註:本專案在windows、mac皆可操作
我在這裡不會詳細解說每個語法或是工具,因為這些市面上太多資源在描述了,我會把這些資源附在每篇文章當中,有興趣的朋友可以去更深一步的鑽研
我在這裡的目標是希望你可以建立起一個思考邏輯的體系
看到問題->拆解問題->分步驟處理
一個大問題總可以解析成多個小問題,如果有不會的技術就去研究
我文章的目標不是在於精通某一門技術,而是在於帶你實際體驗如何完成一個專案
實戰經驗是本次挑戰要分享的重點
沒有完美的邏輯以及厲害的演算法,我只為了解決問題
文章內所用到的技術不只是單純的爬蟲,而是把相關的技術做整合使專案更實用
-
起源
-
專案基礎知識
-
網頁爬蟲
-
Google Sheets
- Day17 Google Sheets-免費儲存資料的好選擇,一起進入省錢起手式
- Day18 Google Sheets-加入版控後被github警告了,官方範例做了什麼?
- Day19 Google Sheets-你在文件迷路了嗎?用兩個處理Sheet的範例帶你攻略官方文件
- Day20 Google Sheets-寫入爬蟲資料,跟 Copy & Paste 的日子說掰掰
- Day21 Google Sheets-BUG!爬蟲資料塞錯位置 & 專案出包怎麼辦?
- Day22 Google Sheets-業主:我希望新資料插在最前面 & 談需求變更
- Day23 Google Sheets-優化格式,滿足客戶需求 & 談使用者體驗
-
自動化
-
通知設定
-
後話