Türkiye'deki yerleşim yerlerinin isimlerini kullanarak bir harf seviyesi dil modeli oluşturacağız. Bu modeli kullanarak (bunlara benzer ama tamamen) yeni isimler üreteceğiz.
Andrej Karpathy'nin makemore projesinden feci şekilde intihal yaparak (ve yetinmeyip burada anlattıklarından da istifade ederek) konuyu öğrenirken belgelemeye ve uygulamaya çalışacağım.
Temel mecramız Jupyter Notebook ve Markdown olacak. Python dışında sadece PyTorch kütüphanesini kullanıyoruz.
- Hazırlık: Kaynaktan aldığımız veriyi kullanacağımız şekle evirip ön temizlik yapacağız. Sonrasında, bu veri setini istatistiksel olarak keşfetmeye çalışacağız, başka sorunlar bulursak onları da giderip veriyi nihai hale getireceğiz.
- Bigram: Harflerin birbirini takip etme olasılığını kullanacağız. Ve kaliteye bakacağız.
- Basit Bir Neural Network: olabilecek en basit NN ile aynı işi yapmaya çalışacağız ama önce nöron nedir bakmak gerek.
- MLP: Çok katmanlı mimariye tek katmandan gireceğiz: bunun da bir sebebi var: disiplin.
- Transformer: Biraz uzun atlama olacak ama günümüzde dil modellemedeki en uzak ufuklara bakacağız.
- Halihazırda PyTorch ve Jupyter (yüklü ya da) yükleyebileceğin bir ortam varsa tek yapman gereken klonlamak/kopyalamak.
- Yoksa; sadece Docker ve VS Code yükleyebildiğin bir cihaz yeterli. Bu repo'yu klonladıktan sonra devcontainer olarak çalıştırabilirsin (imaj 2.5 GB boyutlarında: ilk seferde biraz bekletebilir; bilenler buradan ince ayar yapabilir).
- Github hesabın varsa codespaces üzerinde de çalıştırabilirsin.
Konu gayet akademik, nerede metodolojik natüralizm, neden bu sarkastik futbol yorumcusunun voleybol maçı anlatım üslubu derseniz: demeyin! Şimdilik böyle olsun, temize çekerken bir GPT vasıtasıyla yavanlaştırırız.
Buradaki bilgilerle kendinizi zarara uğratabilecek bir girişimde bulunmak gibi bir niyetiniz varsa benim bu zarara ortak olmak gibi bir niyetim yok ¯\_(ツ)_/¯.