MaxFallishe/ETL_script_task__megaphoneOneDayOfferPython_assembly

Repository which contains solution of the task 15 "Creating an ETL script" by MegaPhone on OneDayJobOffer

Краткое описание

Реализация функционала ETL скрипта

В проекте использованы

• Python
• PySpark

Установка и запуск

Описание по быстрому локальному запуску проекта

1. Склонируйте репозиторий

   $ git clone https://github.com/MaxFallishe/ETL_script_task__megaphoneOneDayOfferPython_assembly

2. Установите Docker

3. Создайте Docker образ

   sudo docker build -t pyspark --build-arg PYTHON_VERSION=3.7.10 --build-arg IMAGE=buster .

4. Запустите Docker образ

   sudo docker run -it pyspark

5. Запустите файл main.py

   python main.py

Контакты

@NikitaBorsov - Telegram