eonurk / sinkaf Goto Github PK

"Kötü söz sahibine aittir."

-Anonim

sinkaf uygunsuz yorumların bulunmasını sağlayan bir python kütüphanesidir.

Diğer algoritmalardan en büyük farkı, önceden belirlenmiş bir kelime listesinden cümlerlerdeki sözcükleri tek tek kontrol etmek yerine, makine öğrenmesi metodları kullanarak cümlenin genel anlamına bakabilmesidir. Aynı zamanda sinkaf baya bi hızlı!

Arka planda modelimizi eğitmek için A corpus of Turkish offensive language verisetini kullanıyoruz. Bu veriseti 36,000+ twitter yorumunun hakaret içerip içermediğini gösteren, Türkçe ile makine öğrenmesi denemeleri yapmak isteyenler için fevkaledenin fevkinde bir kaynak! Kendilerine teşekkür ediyoruz. Velhasıl...

pip3 install sinkaf

pip3 install -r requirements.txt

from sinkaf import Sinkaf
  
snf = Sinkaf()

snf.tahmin(["çok tatlı çocuk", "çok şerefsiz çocuk"])
# array([False,  True])

snf.tahminlik(["çok tatlı çocuk", "çok şerefsiz çocuk"])
# array([0.09811712, 0.86237484])

BERT kullanılarak vektörize edilmiş veri üzerinde eğitilmiş modeller:

• bert_pre: Küfürlü cümlelerin saptanmasında düşük duyarlılık yüksek kesinlik
• bert_rec: Küfürlü cümlelerin saptanmasında yüksek duyarlılık az kesinlik

snf = Sinkaf(model = "bert_pre")

snf.tahmin(["çok tatlı çocuk", "çok şerefsiz çocuk"])
# array([False,  True])

snf.tahminlik(["çok tatlı çocuk", "çok şerefsiz çocuk"])
# array([0.26865139 0.85412345])

Fena değil gibi ama tabi daha iyi kesinlikle olabilir.

Detaylar için:

• sinkaf()
• sinkaf(model = "bert_pre")

sinkaf, Açık Hack 2021^*'e katılmak amacıyla KaraGöz ekibi tarafından geliştirilmiştir.

* ^{sunum linki, video linki}