API ini secara umum berfungsi untuk melakukan cleansing data teks dengan 3 pilihan input output data:
- Input Text : User menginputkan teks secara manual dan memilih opsi cleansing data. Jika dijalankan, aplikasi akan mengeluarkan output teks hasil cleansing data.
- Input Text from CSV : User mengupload file CSV atau memilih teks dari file CSV yang telah disediakan dan memilih opsi cleansing data. Jika dijalankan, aplikasi akan mengeluarkan output teks hasil cleansing data.
- Input Multiple Text from CSV : User mengupload file CSV atau memilih teks dari file CSV yang telah disediakan lalu aplikasi secara otomatis akan mengeluarkan output teks hasil cleansing data. Selain itu aplikasi juga menampilkan barchart 5 kata yang sering muncul dan menampilkan wordcloud.
Data cleansing yang dapat dilakukan oleh aplikasi ini adalah:
- Remove Emoji : Menghapus emoji baik yang berformat unicode maupun UTF-8
- Lowercase : Membuat semua huruf menjadi huruf kecil (lowercase)
- Three or More : Menormalkan kata yang melakukan penulisan huruf yang sama secara berurutan. Misalnya : siaaaap --> siap
- Stemming : Mencari kata dasar dari tiap kata dengan menghilangkan imbuhan yang melekat pada kata tersebut. Misalnya : mencintai --> cinta
- Tokenization : Membagi teks yang panjang menjadi kata per kata
- Normalization (Kamus Alay) : memperbaiki kata slang menjadi kata baku sesuai data yang ada pada "Kamus Alay". Misalnya : bakalan --> akan; aj --> saja
- Remove Number : Menghapus angka
- Remove Punctuation : Menghapus tanda baca dan white space
- Stopwords : Menghapus kata umum yang biasanya muncul dalam jumlah besar dan dianggap tidak memiliki makna. Misalnya : aku, dan, kamu
Fitur tambahan dari API ini adalah melakukan update database Kamus Alay dan Stopwords. Data barchart dan wordcloud dapat digunakan sebagai bahan pertimbangan dalam melakukan update database Kamus Alay dan Stopwords.