Autoencoders

Requerimientos

Para correr el solver, es necesario tener instalado Python 3.

Además, debe instalarse matplotlib y numpy, lo cual se puede lograr con

python3 -m pip install matplotlib
python3 -m pip install numpy

Para el Variational Autoencoder es necesario tener instalado tensorflow, tensorflow-datasets, tfds-nightly y scipy, que se puede lograr con

python3 -m pip install tensorflow
python3 -m pip install tensorflow-datasets
python3 -m pip install tfds-nightly
python3 -m pip install scipy

Ejecución

Simple AutoEncoder

python3 simple.py

Denoising AutoEncoder

python3 denoinsing.py

Variational AutoEncoder

python3 vae.py

Configuraciones

Todas las configuraciones de ejecución se establecen en el archivo config.json. A continuación, se explica a qué hace referencia cada configuración:

file indica de donde se toma el conjunto de datos
system_threshold indica el valor constante asignado al primer elemento de los conjuntos que se multiplicarán con w, cuyo primer elemento es w0
training_ratio indica que porcentaje del training_file se usa para entrenar, quedando el restante para probar (entre 0 y 1)
normalize indica el boolean de si se desea normalizar la entrada del perceptrón
system indica la función de activación, cuyos valores posibles son:
- linear --> función identidad (lineal)
- tanh --> función tangente hiperbólica (no lineal)
- exp --> función sigmoide (no lineal)
beta indica el multiplicador de x al utilizar una función no lineal
momentum indica el boolean de si se desea aplicar la técnica de momentum o no
alpha indica el valor del coeficiente alfa que se usa para momentum
optimizer indica el nombre del método de optimización a utilizar para minimizar el error.
- None --> sin función de minimización
- Powell --> utilizando el método de Powell
opmizer_iter cantidad de iteraciones que realiza el optimizador
optimizer_fev cantidad de evaluaciones de la función de error que realiza el optimizador
mid_layout es un array que indica las capas ocultas y sus dimensiones respectivas (solo para el encoder, el decoder las toma invertidas solo)
latent_dim indica el valor de la dimensión de la capa latente
randomize_w indica si se quiere randomizar la inicialización de los pesos
randomize_w_ref indica de dónde a dónde se hace la randomización (limites)
randomize_w_by_len indica el boolean si se ajusta o no el w en función del largo
eta indica el valor exacto del eta a utilizar (grado de aprendizaje)
error_threshold indica el delta con el cual se considerará que el error ne el entrenamiento llega a un mínimo con el que deseamos terminar de iterar
epochs indica el máximo de épocas tras el cual terminar el entrenamiento
trust indica el margen central de discriminación al normalizar la salida del perceptrón, de ser
use_trust indica el boolean para utilizar o no la discriminación a la salida del perceptrón
denoising.pm indica el valor de probabilidad de mutación para el denoising
plot indica el boolean de si se desea graficar

Ejemplo 1

{
	"file": "inputs/font002.txt",
	"system_threshold": 1,
	"training_ratio": 1,
	"data_random_seed": 0,
	"normalize": false,

	"system": "tanh",
	"beta": 0.9,

	"momentum": true,
	"alpha": 0.9,

	"optimizer": "Powell",
	"optimizer_iter": 10,
	"optimizer_fev": 150000,

	"mid_layout": [25],
	"latent_dim": 2,
	"randomize_w": true,
	"randomize_w_ref": 0.5,
	"randomize_w_by_len": false,

	"eta": 1e-3,
	"error_threshold": 1,
	"epochs": 1000,
	"trust": 0.5,
	"use_trust": false,

	"denoising": {
		"pm": 0.25
	},

	"plot": true
}

Ejemplo 2

{
	"file": "inputs/font002.txt",
	"system_threshold": 1,
	"training_ratio": 1,
	"data_random_seed": 0,
	"normalize": false,

	"system": "exp",
	"beta": 0.5,

	"momentum": true,
	"alpha": 0.9,

	"optimizer": "None",
	"optimizer_iter": 10,
	"optimizer_fev": 150000,

	"mid_layout": [25],
	"latent_dim": 2,
	"randomize_w": true,
	"randomize_w_ref": 0.5,
	"randomize_w_by_len": false,

	"eta": 1e-3,
	"error_threshold": 1,
	"epochs": 1000,
	"trust": 0.5,
	"use_trust": false,

	"denoising": {
		"pm": 0.25
	},

	"plot": false
}

Presentación

Link a la presentación completa: https://docs.google.com/presentation/d/1qDp6P7GOqE7LNMg-ZNcKZ2pfwXffxnDBg8etEl1qv_I/edit#slide=id.p1

jtallar/autoencoder