Este repositório contém uma pasta chamada TCC onde se encontra o Trabalho de Conclusão de Curso em formato .pdf.
Este repositório contém também uma pasta chamada Códigos uma pasta para os notebooks utilizados na coleta, tratamento de dados e na aplicação do modelo de machine Learning e contém também outra pasta com a versão .pdf desses notebooks.
Os notebooks foram divididos em notebooks de Análise (um para cada base de dados), Formata dataframes (concatena os dataframes) e Baseline Keras (roda a rede neural).
1 - Importa dados do csv
2 - Analisa e processa coluna 'ncm'
3 - Cria funções auxiliares para o processamento da coluna descrição
4 - Analisa e processa coluna 'descricao'
5 - Cria a coluna 'descricao_limpa'
6 - Cria a coluna 'descricao_limpa_sem_stopwords'
7 - Cria a coluna 'descricao_limpa_stemming'
8 - Cria a coluna 'descricao_limpa_sem_stopwords_stemming'
Trata da criação de um único dataframe com base nos dataframes dos itensTG, da TEC e do Secta
Serão criados três dataframes conforme abaixo:
1 - Dataframe com descrição limpa (com stopwords e com afixos)
2 - Dataframe com descrição limpa, sem stopwords (com afixos)
3 - Dataframe com descrição limpa, sem stopwords e radicais das palavras (stemming)¶
1 - Carrega informações do dataframe
2 - Criação do encoder e da matriz binária para cada coluna que iremos usar para classificação
3 - gera o corpus (bag of words) e vetoriza
4 - Faz a transformação TFIDF
5 - Cria bases de treinamento e validação
6 - Cria modelo
7 - Analisa a acurária e a perda de cada modelo
8 - Cria predições para cada modelo treinado
9 - Aplica o modelo na base completa e analisa resultados