Arkadaşlar merhaba,
Aklımdaki soru şu: Bildiğiniz gibi Kumru adında bir model çıkarıldı ve yerli ilk dil modeli olarak tanıtıldı. Ancak yetersiz veri seti nedeniyle zaman zaman halüsinasyon yapıyor ve anlamsız çıktılar üretiyor. Yine de kendi görüşüme göre model oldukça başarılı, çünkü esas amacı şirketler için özelleştirilebilir bir altyapı sunmak. Her şirket kendi verisiyle modeli eğiterek kendi alanına uygun doğru çıktılar elde edebilir.
Gelelim benim asıl soruma: Kendi çabamızla Kumru benzeri bir Türkçe doğal dil işleme modeli geliştirmek mümkün mü? Ben kendi denemelerimde “fine-tuning” yani ince ayar tekniğini kullanarak DistilGPT-2 adlı küçük bir modeli, küçük ölçekli bir Türkçe veri setiyle eğittim ve her ne kadar yetersiz olsa da başarılı sonuçlar aldım. Ancak bunun sıfırdan bir model üretmek olmadığının farkındayım. Gerçek bir model geliştirmek için sıfırdan bir tokenizer ve dil modeli eğitmek gerekir. Bunun yüksek donanımlı sistemler gerektirdiği doğru olsa da, bence orta seviye sistemlerle de bu hedefe ulaşmak mümkün.
Aklımdaki soru şu: Bildiğiniz gibi Kumru adında bir model çıkarıldı ve yerli ilk dil modeli olarak tanıtıldı. Ancak yetersiz veri seti nedeniyle zaman zaman halüsinasyon yapıyor ve anlamsız çıktılar üretiyor. Yine de kendi görüşüme göre model oldukça başarılı, çünkü esas amacı şirketler için özelleştirilebilir bir altyapı sunmak. Her şirket kendi verisiyle modeli eğiterek kendi alanına uygun doğru çıktılar elde edebilir.
Gelelim benim asıl soruma: Kendi çabamızla Kumru benzeri bir Türkçe doğal dil işleme modeli geliştirmek mümkün mü? Ben kendi denemelerimde “fine-tuning” yani ince ayar tekniğini kullanarak DistilGPT-2 adlı küçük bir modeli, küçük ölçekli bir Türkçe veri setiyle eğittim ve her ne kadar yetersiz olsa da başarılı sonuçlar aldım. Ancak bunun sıfırdan bir model üretmek olmadığının farkındayım. Gerçek bir model geliştirmek için sıfırdan bir tokenizer ve dil modeli eğitmek gerekir. Bunun yüksek donanımlı sistemler gerektirdiği doğru olsa da, bence orta seviye sistemlerle de bu hedefe ulaşmak mümkün.
