maritaca-ai/maritalk-api

Funcionalidade de Rastreamento de Tokens

arthurcbaia opened this issue · 3 comments

arthurcbaia commented

Oi gente, tudo bem?
Gostaria de propor uma melhoria para este repositório que acredito que poderia melhorar significativamente a sua funcionalidade e usabilidade. Especificamente, acho que traria grande valor a adição de um recurso que rastreie a quantidade de tokens utilizados no prompt e os tokens gerados.
Essa adição permitiria um detalhamento do uso de tokens, o que seria particularmente útil para entender e otimizar o desempenho do sistema e dos custos. Um bom exemplo de como a saída poderia parecer no formato JSON, que segue o padrão OpenAI, seria:

"usage": {
    "completion_tokens": 17,
    "prompt_tokens": 57,
    "total_tokens": 74
}
rodrigo-f-nogueira commented

Olá Arthur, muito obrigado pela sugestão. Iremos implementar essa funcionalidade. Enquanto não fica pronta, você pode "manualmente" fazer a contagem de tokens consumidos usando o tokenizador da maritalk, disponível na HuggingFace: https://huggingface.co/maritaca-ai/maritalk-tokenizer-large

arthurcbaia commented

Obrigado pela resposta e pela sugestão Rodrigo.

rodrigo-f-nogueira commented

Funcionalidade implementada na v0.1.9.
Obrigado novamente pela sugestão!