빅데이터 → 가치 있는 정보 추출 → 중요한 문제 해결
- 빅데이터 분석에서의 요점 : 어떤 목적을 가지고, 무슨 데이터를 분석하고, 어떤 결과를 제공할 수 있을까 생각하기
- 무슨 데이터를 어떻게 분석하고, 어떤 결과를 제공할 수 있을까?
- 무슨 일이 생겼나?
- 왜 그런 일이 생겼나?
- 이제 이런 일이 생길까?
- 어떤 조치를 취할까?(어떤 SW 필요할까)
필요성 :
- 개발자들이 자신의 글을 더 많은 사람들에게 전달하고자 할 때, 어떤 주제와 방식이 좋은지 알 수 있습니다.
- Velog 운영진이 사용자들의 선호를 파악하여, 더 좋은 서비스를 제공하기 위한 기반 자료로 활용이 가능합니다.
- 일반적으로 사람들이 어떤 글에 더 관심을 가지는지에 대한 인사이트를 얻을 수 있습니다.
추상화 :
데이터 수집 → 데이터 전처리 → 데이터 분석 → 데이터 시각화
데이터 수집 : 웹 크롤링, API 호출 등을 통해 필요한 데이터를 수집하는 단계입니다.
데이터 전처리 : 수집된 데이터를 분석에 적합하게 만드는 과정으로 데이터 변환이 이루어집니다.
데이터 분석 : 데이터의 패턴이나 트렌드를 찾아내고, 예측 모델을 만들 수 있습니다.
데이터 시각화 : 시각화는 그래프, 차트 등을 사용하여 데이터의 패턴이나 트렌드를 직관적으로 보여줍니다.
가설 :
[1] 에러 해결에 대한 글에는 상대적으로 댓글이 많을 것이다.
[2] 프로젝트 회고록에 대한 글의 좋아요가 많을 것이다.
자동화 :
| 구현 환경 | Google Colab |
|---|---|
| 프로그래밍 언어 | Python |
| 웹 크롤링 | BeautifulSoup |
| 데이터 분석 | Pandas, Numpy |
| 데이터 시각화 | matplotlib |