danngo285/data-pipeline

Data Pipeline

1: Chuẩn bị dữ liệu từ Generator function

Hàm Generator có nhiệm vụ mô phỏng dữ liệu Order với các thông tin cần thiết và gửi về một một hệ thống truyền tải dữ liệu dạng Message Queue như Apache Kafka. Trong các trường hợp thực tế đây có thể là các Order event được ghi nhận từ ứng dụng hay các Signal event từ các thiết bị IOT,...

2: Streaming dữ liệu từ Kafka to Bronze & Silver zone

2.1 Streaming đến Bronze zone

Bronze zone

2.2 Streaming đến Silver zone

3: EL