SSL-GRENOBLE/SSL

[CODING] Создать инфраструктуру для запуска теста на любой из моделей

Closed this issue · 1 comments

Нужно иметь возможность запустить каждый новый тест на любой из моделей в домашних условиях. Предлагается вариант конфигурирования с командной строки:
--model all
--model rf
--model lda
...

Также нужна возможность конфигурировать запускать текущий тест на baseline-алгоритме или нет --baseline 1

Пример использования:
python test_dataset.py --model rf --baseline 1

models['model_name'] = [model, model_baseline]
...

models_to_run = models.get(parse("--model"))
baseline = parse("--baseline")

def fit_and_predict(m, x, y, x_test, rs):
  m.fit(x, y, rs)
  m.predict(x_test) # store accuracy


for m in models_to_run:
  for all_configurations(rs):
    fit_and_predict(m[0], x, y, x_test, rs)
    if baseline:
      fit_and_predict(m[1], x, y, x_test, rs)