/learning_transformer

Primary LanguageJupyter NotebookMIT LicenseMIT

Transformerを詳しく学ぼう!

「Transformerを詳しく学ぼう!」は、生成AIのベースとなる技術、「Transformer」について詳しく学ぶ講座です。
Transformerがどのような仕組みで機能しており、生成AIの躍進を支えているのかを掘り下げていきます。
理解を深めるために、本講座ではフレームワークPyTorchを使ってTransformerの実装にもトライします。

Transformerをベースにした大規模言語モデル(LLM)は現在様々な分野で驚異的な性能を発揮し、幅広く活用されています。
特にGPT-3.5やGPT-4が使われているChatGPTは、自然言語を使った対話により自然な文章を生成可能なので、大きな注目を集めています。
LLMは様々なタスクをこなせる汎用性を備えており、これまで人間しかできなかった様々なタスクを任せることが可能になってきています。

本講座では、最初にTransformerの概要を学んだ上で、Attentionの仕組み、埋め込みについて順を追って学んでいきます。
そして、最後にここまでの内容を踏まえてTransformerを組み立てます。
Transformerを詳しく学び、生成AIに対する深い洞察力を身につけましょう。

講座の内容は以下を予定しています。
Section1. Transformerの概要(10/9): https://liveai.connpass.com/event/298804/
Section2. Attentionの仕組み(10/23): https://liveai.connpass.com/event/298805/
Section3. Transformerにおける埋め込み(10/30): https://liveai.connpass.com/event/298806/
Section4. Transformerを組み立てる(11/6): https://liveai.connpass.com/event/298807/
講座の内容は、予告なく変更されることもあるのでご注意ください。

connpass: Transformerを詳しく学ぼう!

自由研究室 AIRS-Lab(コミュニティ)

「AI」をテーマに交流し、創造するWeb上のコミュニティです。
https://www.airs-lab.jp/

News! AIRS-Lab

AIの話題、講義動画、Udemyコース割引などのAIRS-Lab最新コンテンツを配信します。
https://note.com/yuky_az

AI教室 AIRS-Lab(YouTubeチャンネル)

毎週月曜日21時に、YouTubeでライブ講義を開催しています。
https://www.youtube.com/channel/UCT_HwlT8bgYrpKrEvw0jH7Q

Udemyコース

オンライン動画学習プラットフォームUdemyで、AI関連のコースを複数展開しています。
https://www.udemy.com/user/wo-qi-xing-chang/