Wikipedia_sm

  • DFS, BFS 알고리즘을 활용하여 URL 수집
  • DFS_crawl_ver2.py, BFS_crawl_ver2.py : keyword와 관련있는 url만 탐색
  • DFS_crawl_ver1.py, BFS_crawl_ver1.py : keyword 상관없이 전체 url 탐색

동작 과정