A. If PostgreSQL will be installed in Docker:
- Clone this repository
- cd into
future-data-1
- Make sure Docker is installed.
- Make sure PostgreSQL is installed on Docker, if not yet run
setup_db.sh
. - Run
restore_db.sh
. - Update Airflow config on
airflow.conn.cfg
andairflow.var.cfg
. - Run
setup.sh
.
B. If PostgreSQL is already installed:
- Clone this repository
- cd into
future-data-1
- Run
download_restore_db.sh
- Restore
schema.sql
anddatabase.tar
frombackup
to PostgreSQL - Run all step from A.6
- Database Schema (.sql)
- Database Backup (.tar)
Progress akan dibuat dalam bentuk summary setiap 2 minggu sekali, yaitu pada 2 minggu pertama dan 2 minggu terakhir setiap bulan.
Progress dan plan dibuat dalam bentuk checklist beserta Github Issue untuk setiap goals.
Goals yang sudah tercapai akan terlihat sebagai checklist yang dicentang. Goals yang tidak tercapai akan dilimpahkan pada periode selanjutnya namun tidak dihapus pada periode sebelumnya dan tetap mereferensi pada Github Issue yang sama.
- Mencari dataset (#1)
- Setup postgresql (#4)
- Buat database dan definisikan relationship (#5)
- Buat DWH (#6)
- Buat DWH (#6)
- Membuat 5 Business Question (#3)
- Eksplor pakai metabase utk mencari BQ
- Membuat 5 Business Question (#3)
- Rancang dan eksekusi ETL dimension table (#8)
- Metabase map visualization transformation (#10)
- Menemukan 3 Business Question (#3)
- Membuat warehouse di metabase utk BQ
- Setup metabase
- Konfigurasi GeoJSON Indonesia for visualization
- Redo OLTP database
- Clean up warehouse ETL on talend
- Redo warehouse on date_dim
- Dokumentasikan rancangan warehouse
- Add time_dim to warehouse
- Metabase recheck analysis after warehouse redoing
- Install psycopg2 for Postgres driver (link)
- Add parent/master category (#13)
- Apply SCD 2 to Feedback dimension
- Continue ETL of facts
- Redo project planning (#14)
- Menulis analisis untuk Business Question #1 (#15)
- Jumlah seller per provinsi (#15)
- Pengaruh foto terhadap penjualan produk (#16)
- Pengaruh voucher terhadap feedback (#17)
- Pengaruh keterlambatan pengiriman terhadap feedback (#18)
- Biaya tarif pengiriman per kg pada setiap kota/provinsi (#19)
- Prepare Jupyter environment
- Created setup.sh for easier environment installation
- Reinstall all env on remote because of connectivity problem
- Reinstall all env on local as a backup
- K-Means clustering for MLv1
- Agglomerative hierarchical clustering for MLv1
- DBSCAN clustering for MLv1 (Ran into problem not enough memory)
- SVR, SGD, MLP for sales prediction
- Hyperparameter tuning for unsupervised model
- Hyperparameter tuning for supervised model
- Prepare powerpoint
- Write blog post
- Finalize project deliverables