Aplicação que simula um algoritmo de indexação de documentos similar ao do Google capaz de identificar ocorrências de termos em arquivos TXT. Foi desenvolvida como projeto de aprendizado no curso de desenvolvimento web da Trybe.
Habilidades trabalhadas
-
Manipular Pilhas;
-
Manipular Deque;
-
Manipular Nó e Listas Ligadas;
-
Manipular Listas Duplamente Ligadas.
Módulos
A aplicação conta com dois módulos e seus respectivos componentes
:
-
ting_file_management: gerencia e anexa arquivos de texto (formato TXT):
Queue
: estrutura de dados FIFO(First In First Out) utilizada para armazenar e manipular os arquivos que serão lidos.txt_importer
: função que importa notícias a partir de um caminho para um arquivo TXT. Retorna uma lista contendo as linhas do arquivo ou None em caso de erro.process
: função que transforma o conteúdo da lista gerada pela função txt_importer em um dicionário que será armazenado dentro daQueue
.is_file_unique
: função que assegura que arquivos com o mesmo nome e caminho não devem ser readicionados aQueue
.remove
: função que remove o primeiro arquivo processado daQueue
.file_metadata
: função que imprime as informações superficiais de um arquivo processado.
PriorityQueue
: UtilizaQueue
para armazenar arquivos pequenos com prioridade. Arquivos com menos de 5 linhas são armazenados de forma prioritária na fila. Classe implementada pela Trybe.
-
ting_word_searches: operador de funções de busca sobre os arquivos anexados:
exists_word
: Busca numeração das linhas em que a palavra ocorre nos arquivos processadossearch_by_word
: Busca numeração && conteúdo das linhas em que a palavra ocorre nos arquivos processados
Instalação
- Clone o repositório e entre na pasta do repositório que você acabou de clonar
git clone git@github.com:pennaor/ting.git
cd ./ting
- Crie o ambiente virtual para o projeto
python3 -m venv .venv && source .venv/bin/activate
- Instale as dependências
python3 -m pip install -r dev-requirements.txt
Utilização
- Abra um terminal Python importando as funções do arquivo main.py
python3 -i main.py
- Execute as funções
exists_word
ousearch_by_word
.
- Ambas esperam receber uma palavra como primeiro argumento, seguido pelos caminhos dos arquivos a serem analisados
- Arquivos de texto prontos podem ser encontrados no diretório
./statics/
exists_word("acima", "statics/arquivo_teste.txt", "statics/nome_pedro.txt")
# SAÍDA:
# 1. INFORMAÇÕES DO ARQUIVO PROCESSADO:
# {'nome_do_arquivo': 'statics/arquivo_teste.txt', 'qtd_linhas': 3, 'linhas_do_arquivo': ['Acima de tudo,', 'é fundamental ressaltar que a adoção de políticas
# descentralizadoras nos obriga', 'à análise do levantamento das variáveis envolvidas.']}
# -- RESULTADO DA BUSCA:
# {'palavra': 'acima', 'arquivo': 'statics/arquivo_teste.txt', 'ocorrencias': [{'linha': 1}]}
# 2. INFORMAÇÕES DO ARQUIVO PROCESSADO:
# {'nome_do_arquivo': 'statics/nome_pedro.txt', 'qtd_linhas': 3, 'linhas_do_arquivo': ['Aqui contem um texto que fala sobre um menino pobre chamado Pedro.',
# 'Ele era um menino feliz e cativante.', 'Pedro tinha uma amiga chamada Carol.']}
# -- RESULTADO DA BUSCA:
# {'palavra': 'acima', 'arquivo': 'statics/nome_pedro.txt', 'ocorrencias': 'Sem ocorrência'}
search_by_word("acima", "statics/nome_pedro.txt", "statics/arquivo_teste.txt")
# 1. INFORMAÇÕES DO ARQUIVO PROCESSADO:
# {'nome_do_arquivo': 'statics/nome_pedro.txt', 'qtd_linhas': 3, 'linhas_do_arquivo': ['Aqui contem um texto que fala sobre um menino pobre chamado Pedro.',
# 'Ele era um menino feliz e cativante.', 'Pedro tinha uma amiga chamada Carol.']}
# -- RESULTADO DA BUSCA:
# {'palavra': 'acima', 'arquivo': 'statics/nome_pedro.txt', 'ocorrencias': 'Sem ocorrência'}
# 2. INFORMAÇÕES DO ARQUIVO PROCESSADO:
# {'nome_do_arquivo': 'statics/arquivo_teste.txt', 'qtd_linhas': 3, 'linhas_do_arquivo': ['Acima de tudo,', 'é fundamental ressaltar que a adoção de políticas
# descentralizadoras nos obriga', 'à análise do levantamento das variáveis envolvidas.']}
# -- RESULTADO DA BUSCA:
# {'palavra': 'acima', 'arquivo': 'statics/arquivo_teste.txt', 'ocorrencias': [{'conteudo': 'Acima de tudo,', 'linha': 1}]}
Teste da classe PriorityQueue
PriorityQueue
utiliza Queue
do pacote ting_file_management para armazenar arquivos pequenos com prioridade. Arquivos com menos de 5 linhas são armazenados de forma prioritária na fila. Classe implementada pela Trybe.
O teste verifica se:
- Quando um arquivo prioritário (com menos de 5 linhas) é adicionado à fila de prioridades, este arquivo ficará "após" todos os arquivos prioritários já inseridos, mas ficará "antes" de todos os arquivos não-prioritários já inseridos.
- Quando um arquivo não-prioritário (com 5 linhas ou mais) é adicionado à fila de prioridades, este arquivo ficará "após" todos os arquivos já inseridos.
Exemplo:
# Tamanhos dos arquivos, em ordem de inserção na fila:
[9, 4, 2, 5, 7, 11, 3]
# Tamanhos dos arquivos, em ordem de remoção da fila:
[4, 2, 3, 9, 5, 7, 11]
Para executar o teste, digite em um terminal:
python3 -m pytest