Çalışmayı başlatmak için:

Spark konteynerine erişmek için aşağıdaki komutu kullanın:

docker exec -it spark-container bash

Spark konteyneri içerisindeki Proje dizinine gidin

cd /home/selcuk/bitirme/

streaming.py dosyasını çalıştırın:

python3 streaming.py

Ardından, yeni bir terminal açın ve scripts dizinine gidin:

cd /home/selcuk/bitirme/scripts

producer.sh scriptini çalıştırın:

bash producer.sh

Spark

Spark konteynerine tarayıcınızdan http://localhost:8888/ adresini kullanarak erişebilirsiniz.

Elasticsearch'e tarayıcınızdan http://localhost:9200/ adresini kullanarak erişebilirsiniz.

Kibana'ya tarayıcınızdan http://localhost:5601/ adresini kullanarak erişebilirsiniz.

Kafka konteynerine erişmek için aşağıdaki komutu kullanın:

docker exec -it kafka-container bash

Kafka'da mevcut olan topic'leri listelemek için aşağıdaki komutu kullanabilirsiniz:

./bin/kafka-topics --bootstrap-server localhost:9092 --list

Yeni bir Kafka topic oluşturmak için aşağıdaki komutları kullanabilirsiniz:

./bin/kafka-topics --bootstrap-server localhost:9092 --create --topic bitirme-input-1 --partitions 3 --replication-factor 1

./bin/kafka-topics --bootstrap-server localhost:9092 --create --topic bitirme-activity --partitions 3 --replication-factor 1

./bin/kafka-topics --bootstrap-server localhost:9092 --create --topic bitirme-no-activity --partitions 3 --replication-factor 1