Схема энкодера архитектуры Трансформер. Основная идея визуализации - уместить на одной диаграмме весь энкодер Трансформера, сохранив при этом все важные детали. Сделана в draw.io, ссылка для создания копий и редактирования.
Визуализация основана на материалах лекций курса Stanford CS224N NLP with Deep Learning, блога Jay Alammar, а также видео-туториала и реализации модели nanoGPT Andrej Karpathy.
Transformer encoder visualisation. The main purpose of the visualisation is to fit the whole Transformer encoder block into one diagram while not omitting any important details. Made with draw.io, link for copying and editing.
This visualisation is based on lectures Stanford CS224N NLP with Deep Learning, blogpost by Jay Alammar, as well as tutorial video and nanoGPT model implementation by Andrej Karpathy.