Related work

Here are some of the previous works that are related to our project.

Building a Simple Chatbot from Scratch in Python (using NLTK)

• Provides high-level information about Chatbots
• There are two types of chatbots:
  • rule-based
  • self learning (splits into two)
    • retrieval based
    • generative

Building a Question-Answering System from Scratch— Part 1

• Uses RNN

ITU Turkish Natural Language Processing Pipeline

• Pipeline: Tokenizer, Normalizer, Morphological Tagger, Named Entity Recognizer, Dependency Parser, UD Mapper
• Provides a UI for operations

Zemberek-NLP

• Provides Natural Language Processing tools for Turkish
• Written in Java

CmpE 493 Spring 2018 Term Project of Enes and Alperen

Metin Madenciliği ile Soru Cevaplama Sistemi

• Uses Zemberek
• Uses tfidf
• "Ön işleme aşamasında metinden çıkarılan, ayırt edilicilik özelliği olmayan sözcüklerin tespitinde, sözcüklerin Türkçe dil yapısına göre cümlede kullanılma olasılıkları göz önünde bulundurulmuştur. Çıkarılacak sözcük sınıfları olarak edatlar, bağlaçlar, zamirler ve fiiller seçilmiştir. Edat, bağlaç ve zamir sözcük türlerinin, soru ve cevap metinlerinde sıkça kullanılabileceği ve metinler için ayırt edici olamayacakları düşünülmüştür. Fillerin ise, soru cümlelerinde nadir kullanıldığı; soru cümlelerinin genellikle nedir, kimdir gibi soru sözcükleri ile oluşturulduğu göz önünde bulundurularak temizlenmesine karar verilmiştir. Cevap metninde olup soru metninde olmayan fiiller, cevap vektörünün uzunluğunu arttırmakta ve benzerlik oranını düşürmektedir. "
• "Literatürde incelenen çalışmalarda, anahtar sözcük seçiminin statik olarak yapıldığı görülmüştür. Fakat sistem içerisindeki çok sayıda soru ve cevap metinleri için anahtar sözcük havuzunun statik bir şekilde oluşturulması hem zahmetli hem de verimsiz olmaktadır. Bu nedenle dinamik bir yapı oluşturulmaya çalışılmış ve veritabanındaki tüm cevaplar işlenip, cevaplar içerisinde anahtar sözcük özelliği taşıyan sözcükler seçilmiştir. Bu işlem sisteme soru sorulması aşamasında değil cevap ekleme aşamasında gerçekleştirildiği için sistemin soru cevaplama performansını etkilememiştir."
• Uses cosine similarity

Sınıflandırma Tabanlı Türkçe Soru Algılama

• "Soru Eki: Soru ekleri için 17 özellik tanımlanmıştır. Kontrolü yapılan soru ekleri : -mı, -mısın, -mısınız, - mıyım, -mıyız, -mıydık, -mıydım, -mıydın, -mıydınız, -mıymış, -mıdır, -bilirmi, -bilirlermi, -limmi, -sekmi, -dıkmı, -larmı şeklinde sıralanmaktadır. Tvitlerin kuralsız yapısı nedeniyle eklerin ayrı yazılması kuralının çoğu zaman ihlal edilmesi ekleri tespit etmeyi zorlaştırmıştır. Yapılan analizler sonucu –mi eki hariç diğer soru ekleri için ayrı yazılma şartı aranmaması uygun görülmüştür. Ancak, –mi ekinin oluşturduğu problemi çözmek için ilgili eke yönelik dört ayrı özellik tanımlanmıştır. Özellikle çok yaygın kullanılan fiiller (al, bak, gör vs.) ve kelimeler (mümkünmü, doğrumu vs.) tvitlerden tespit edilerek dört küçük sözlük oluşturulmuştur. Sözlükteki kelimeler için ayrı olma şartı aranmamıştır."
• "Soru Kelimesi: 33 özellik oluşturulmuştur. Kontrolü yapılan soru kelimeleri; niye, kaç, nerde, neler, nedir, kim, ney, nasıl, neden, nolmuş, noldu, ne, napıyo, niçin, naber, nedersin, ..neymiş..miş, neyin var, niye .. çünkü, ne diye sorsa, kaçıncı, napıcan, naptı, napmış, noluyo, ne kadar, neli, neci, nesi, ne zaman, ne demek şeklinde sıralanmaktadır. İlgili kelimelerin bazıları soru kelimesi olarak geçebildiği gibi sıfat, zarf vs. olarak da bulunabilmektedir.
  Örneğin: ‘Nasıl geldin buraya kadar’ bir soru iken ‘Nasıl eğlendik ama yaa’ soru değildir. Oluşan hataları azaltabilmek için, tvitlerin analiz edilerek kalıplar çıkarılmıştır. Mesela, yukarıdaki örnek için ‘nasıl’ kelimesinin cümle içerisinde hangi kalıplarla birlikteyken soru kelimesi olduğu ve olmadığı tespit edilmiş, bu duruma yönelik örüntüler oluşturulmuştur. Örüntüleri tanımlayabilmek için küçük sözlükler oluşturulmuştur.
• "Özel Kelime: Bu kelimeler geçtiği cümleye soru anlamı katabilen kelimeler olabileceği gibi soru kelimelerinin günlük konuşma dilindeki halleri de olabilmektedir. Acaba, dimi, demi, sence, sizce, rica etse.., hayırdır, napabil.., nesin, değilmi, varmı, olurmu, öylemi, yokmu, napalım, tamammı, nen var, neymiş o, ..dedi..dedim, diye sordum ..dedi, diye sorsalar ..derim, eee şeklinde sıralanmaktadır. Burada ‘napabil..’ napabilir, napabilirim, napabiliriz gibi farklı ekler ile oluşturulmuş hallerini de içerebilsin diye kısaltılarak tanımlanmıştır. ‘..dedi .. dedim’ şeklindeki kalıplarda ‘..’ olan yerde herhangi bir şey olabilir anlamındadır."
• Uses Naive Bayes, SVM, Random Forest, and 1-NN