Günümüzde yapay zeka, farklı dillerdeki metinleri anlama ve işleme konusunda büyük ilerlemeler kaydetmiştir. Ancak, açık kaynaklı base modellerin çok az Türkçe veriyle eğitilmesi sonucunda modeller Türkçe anlama ve konuşmada sıkıntılar yaşamaktadır.
Bunun sonucunda NexusAI, Türkçe anlama ve konuşması gelişmis bir model eğitmiştir.
Bu modelle birlikte, diğer yapay zeka modelleriyle hızlı bir şekilde çalıştırıldığında, karşımıza hem Türkçe anlayıp konuşabilen hem de resimleri anlayabilen bir ürün ortaya çıkmış olacaktır.
-
Büyük dil modelleri, çeşitli modeller sayesinde resim yorumlayabilir hale gelir.
-
Dil modelinin güçlü yazı performansı etkilenmez, görsel analiz yapılabilir.
-
Kurumsal yazılımlar, sağlık ve güvenlik sektörlerinde rahatlıkla kullanılabilir.
Görsel analiz yapabilen modeller, kişiselleştirme ve müşteri memnuniyetini üst seviyelere çıkararak daha etkili ve verimli çözümler sunar.
Bu veri setine bu bağlantıyı kullanarak ulaşabilirsiniz: NexusAI-tddi/OpenOrca-tr-1-million-sharegpt
Bütün modelin test edilmesi için VisIT-Bench veri setinin Türkçe’ye çevirilmiş versiyonu kullanılmıştır.
Bu veri setine bu bağlantıyı kullanarak ulaşabilirsiniz: NexusAI-tddi/VisIT-Bench-tr
Veri setini işlemek için kullanılan kodu dataset klasörünün içinde bulabilirsiniz.
QLoRa: Önceden eğitilmiş LLM'deki ağırlık parametrelerinin hassasiyetini 4 bit hassasiyete indirgeyerek kullanmaya yarar. LoRA'nın özel bir hâlidir.
Flash Attention: Özellikle büyük dil modellerinin verimliliğini artırmak ve bellek gereksinimlerini azaltmak için tasarlanmış bir dikkat algoritmasıdır.
Cosine Similarity: İki vektör arasındaki açıya dayalı benzerliği ölçen bir benzerlik metriğidir.,
- YOLOv8: Fotoğraftaki nesnelerin algılanması için YOLOv8 modeli kullanılmıştır. YOLOv8 Github Repo
- Moondream2: Fotoğrafın tamamı ve nesnelerin açıklamasının oluşturulması için kullanılmıştır. Moondream2 Modeli
- Qwen2-72B-Instruct, base model olarak kullanıldı.
Önceden eğitilmiş Qwen2-72B-Instruct modelini diğer modellere kıyasla, Türkçe için daha uygun bulduk.
Eğitim ile ilgili daha fazla bilgi ve konfigürasyonumuz için training klasörüne bakabilirsiniz.
Aşağıdaki confusion matrix'ten gerekli değerlendirmeleri çıkarabilirsiniz.
Eğitilen Türkçe büyük dil modeli ve işlenen veri seti, Hugging Face organizasyon hesabında paylaşılmıştır.
Proje, görsellerle ile ilgili çeşitli metriklerde ve gerçek hayat uygulamalarında üstün performans göstermiştir.
Bu projenin, hem Türkçe dilinde olması hem de görsel anlayabilmesi özellikleri sayesinde, birçok sektörde aktif olarak kullanılabileceği sonucuna varılmıştır.
-
İşlenen veri seti:
NexusAI-tddi/OpenOrca-tr-1-million-sharegpt -
Eğitilen Türkçe Büyük Dil Modeli:
NexusAI-tddi/Qwen2-72B-Instruct-OpenOrca-tr
Sohbet tabanlı bu arayüzde, metin ve görsel girişler kolaylıkla yapılabilmektedir.
- Huggingface Spaces: Demo uygulamamızı Huggingface Spaces'de barındırıp, geliştiriyoruz. Huggingface Spaces Sayfası
- Gradio Framework: Arayüzümüz geliştirilirken, Python tabanlı Gradio framework'ü kullanılmıştır. Gradio PyPI
Demo ile ilgili daha fazla bilgi için demo-app klasörüne bakabilirsiniz.