/crawler-news

Use python scrapy build crawler for real-time Taiwan NEWS website.

Primary LanguagePythonMIT LicenseMIT

Python crawler for news

Use python scrapy build crawler for real-time Taiwan NEWS website.

使用 python scrapy 建置抓取台灣新聞網站即時新聞的爬蟲

TODO LIST

  • 整理 setting 與 cicd

  • 部署 line notify

  • 用成 k8s 部到 GKC，或是 VM 即可？

  • 實作多執行緒，同步爬蟲執行，使用 python script

  • 可以考慮實作 docker install shell

  • 持續修改 Bug

  • 實作全網站一次性爬蟲（提供給 production）

  • 消滅 TODO

  • 寫一隻資料庫清理爬蟲

TODO website

List from Alexa台灣排名

[update 2022/3] Alexa台灣排名

! Alexa停止營運了，之後再看看要換成什麼

  1. 自由時報
    • [2022/12/30] 已更新
  2. 東森新聞
    • [2022/12/30] 已更新
  3. 聯合新聞網
    • [2022/12/30] 已更新
  4. 今日新聞
    • [2023/01/03] 已更新
  5. ettoday
    • [2023/01/03] 已更新
  6. [NEW] 巴哈姆特電玩資訊站
    • TODO
  7. 風傳媒
    • TODO
  8. [公司還在嗎?] 頻果新聞網
    • [2022/12] 尚未檢查
    • 要使用 javascript
    • 不能用 cookie,session
    • 新聞整體格式非主流，例：文章時間
  9. 中時電子報
    • [2023/01/03] 已更新
  10. 今周刊
    • [2022/12] 尚未檢查
    • Maybe need javascript
    • Non-instant news
    • Mostly for business news
  11. TVBS
    • [2023/01/04] 已更新
  12. 商業週刊
    • [2022/12] 尚未檢查
    • Non-instant news
    • Mostly for business news
  13. 三立新聞網
    • [2023/01/03] 已更新
  14. [NEW] 民視新聞
    • [2022/12] 尚未檢查
  15. **通訊社
    • [2023/01/04] 已更新
  16. 關鍵評論網
    • [2022/12] 尚未檢查
    • Non-instant news

Crawler step

  1. Request real-time news lists.
  2. Request news page from setp.1 list.
  3. Parsing html and get target value. item.py
    • url
    • article_from
    • article_type
    • title
    • publish_date
    • authors
    • tags
    • text
    • text_html
    • images
    • video
    • links
  4. Save into database. pipelines.py
    • Default Use Cassandra
    • [TODO][feature] Use Mongo or Mysql
  5. Done

Requirement Install

Develop Env

  • python 3.7.6
  • scrapy >= 2.0.0
  • Cassandra 3.11.4
  • Develop on macOS (main)

python scrapy

    pip install scrapy
    # or
    pip3 install scrapy

Install Cassandra Database

mac os

    brew install cassandra

python extension

    pip install cassandra-driver
    # or
    pip3 install cassandra-driver

start cassandra

    # start on bash
    cassandra -f

    # start on backgroud

Install Mysql Database

mac os

    brew install mysql

python extension

    pip install PyMySQL
    # or
    pip3 install PyMySQL

RUN Project

Run all in localhost terminal

    ./run_spiders.sh

Run in Docker use docker-compose.yml

  1. build docker image
    docker build . -t crawler_news

If you want exec crawler without database. modify docker/setting.py and re-build.

    # run without database (linux base command)
    docker run --rm -it -v `pwd`/tmp:/src/tmp -v `pwd`/log:/src/log crawler_news

If you want exec single crawler. modify Dockerfile and re-build.

    CMD ["/bin/bash"]
    # or assign crawler
    CMD ["scrapy", "crawl", "ettoday"]
  1. run docker-compose
    # start
    docker-compose up -d

    # stop
    docker-compose down