实测网络恶俗用语分词，与jieba效果对比 about pkuseg-python HOT 5 OPEN

pkuseg：北京大学/生前/来/应聘
jieba：北京/大学生/前来/应聘

看了楼上的，pkuseg好像对'生前'有点执念...

from pkuseg-python.

测试结果：
print(seg.cut('买水果然后来世博园最后去世博会'))

['买', '水', '果然', '后来', '世博园', '最后', '去世', '博', '会']

print(seg.cut('欢迎新老师生前来就餐'))

['欢迎', '新', '老师', '生前', '来', '就', '餐']

from pkuseg-python.

weibo模型会表现更好一些

from pkuseg-python.

pkuseg：北京大学/生前/来/应聘
jieba：北京/大学生/前来/应聘

看了楼上的，pkuseg好像对'生前'有点执念...

您好，这个是由于使用的词典问题造成的，如果您不导入词典的话，我们的分词软件是可以分对北京/大学生/前来/应聘的，不过还是很感谢您提供的样例。

from pkuseg-python.

实测ctb8模型，与jieba默认模型对比稍差一些，建议出一些最佳实践的文档

print(seg.cut('工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作'))
['工信', '处女', '干事', '每', '月', '经过', '下属', '科室', '都', '要', '亲口', '交代', '24', '口', '交换机', '等', '技术性', '器件', '的', '安装', '工作']
print(", ".join(jieba.cut("工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作")))
工信处, 女干事, 每月, 经过, 下属, 科室, 都, 要, 亲口, 交代, 24, 口, 交换机, 等, 技术性, 器件, 的, 安装, 工作
print(seg.cut('贱狗奴，鸡巴套子把爸爸加上'))
['贱', '狗', '奴', '，', '鸡', '巴', '套子', '把', '爸爸', '加上']
print(", ".join(jieba.cut("贱狗奴，鸡巴套子把爸爸加上",)))
贱狗奴, ，, 鸡巴, 套子, 把, 爸爸, 加上

谢谢您提供的这些数据，这些样例其实另一个方面诠释了给不同领域数据选择不同预训练模型的重要性。您提供的这些样例都是正常的新闻领域预训练模型中遇到的很棘手的问题，所以我们也愿意尝试使用更多网络用语的语料提供一种专有的处理这种情况的预训练模型~

from pkuseg-python.