/random-forest-svm-hybrid

Implementation of hybrid machine learning model - random forest using support vector machines.

Primary LanguageJupyter Notebook

Hybrid of Random Forest with SVM

Bartosz Cywiński & Łukasz Staniszewski (Warsaw Univerity of Technology)

banner
ENG: This repository contains college Machine Learning course project - the implementation of hybrid Random Forest model with Support Vector Machines (SVM).

PL: Repozytorium zawiera projekt wykonany w ramach przedmiotu Uczenie Maszynowe - jest to implementacja hybrydy Lasu Losowego z Maszyną Wektorów Nośnych (SVM).

About

ENG: Together with the project documentation has been created describing models from the algorithmic and mathematical side, as well as its implementation. It's right here.

PL: Razem z projektem powstała dokumentacja opisująca projekt, poszczególne modele od strony algorytmicznej i matematycznej, a także implementację. Znajduje się tutaj.

Used technologies / Użyte technologie:

  1. Ubuntu 20.04. LTS.
  2. Python 3.8.10 with modules: NumPy, Black, PyTest, Jupyter.

Instalation / Instalacja:

  1. Download this repository and change cd. / Pobierz repozytorium i zmień w konsoli aktualny folder.
  2. Create your own Python virtual environment. / Stwórz swoje własne środowisko wirtualne Python.
$ python3 -m venv venv
  1. Activate venv. / Aktywuj środowisko.
> REPO_PATH\venv\scripts\activate (WINDOWS)
$ source REPO_PATH\venv\bin\activate (LINUX)
  1. Install necessary packages. / Zainstaluj odpowiednie biblioteki.
$ python3 -m pip install -r requirements.txt
  1. Run tests. / Uruchom Testy.
$ python3 −m pytest
  1. Run hybrid model. / Uruchom model hybrydowy.
$ python3 main.py −−dataset breast_cancer −−n_folds 5
    −−num_classifiers 4 −−tree_max_depth 4 
    −−tree_min_entropy_diff 0.001
    −−tree_min_node_size 34 −−svm_lambda 0.05
  1. Run model comparison experiments. / Uruchom eksperymenty dotyczące porównywania modeli.
$ python3 main_experiments.py −WHAT models
  1. Run models parameters experiments. / Uruchom eksperymenty dotyczące parametrów modeli.
$ python3 main_experiments.py −WHAT parameters