- 做 NLP 任务,需要清洗、过滤语料?用 JioNLP
- 做 NLP 任务,需要做信息抽取?用 JioNLP
- 做 NLP 任务,需要做数据增强?用 JioNLP
- 做 NLP 任务,需要给模型添加偏旁、拼音、繁体转换信息?用 JioNLP
功能主要包括:文本清洗,去除HTML标签、异常字符、冗余字符,转换全角字母、数字、空格为半角,抽取及删除E-mail及域名、电话号码、QQ号、括号内容、身份证号、IP地址、URL超链接、货币金额与单位,解析身份证号信息、手机号码归属地、座机区号归属地、手机号码运营商,按行快速读写文件,(多功能)停用词过滤,(优化的)分句,地址解析,新闻地域识别,繁简体转换,汉字转拼音,汉字偏旁、字形、四角编码拆解,基于词典的情感分析,色情数据过滤,反动数据过滤,关键短语抽取,抽取式文本摘要,成语词典、歇后语词典、新华字典、新华词典、停用词典、**地名词典、世界地名词典,基于词典的NER,NER的字、词级别转换,NER的entity和tag格式转换,NER模型的预测阶段加速并行工具集,NER标注和模型预测的结果差异对比,NER标注数据集分割与统计,文本分类标注数据集的分割与统计,回译数据增强。
给定一个电话号码字符串,识别其中的省、市二级地名,手机运营商。
>>> import jionlp as jio
>>> text = '联系电话:13288568202. (021)32830431'
>>> num_list = jio.extract_phone_number(text)
>>> print(num_list)
>>> res = [jio.phone_location(item['text']) for item in num_list]
>>> print(res)
# [{'text': '13288568202', 'offset': (5, 16), 'type': 'cell_phone'},
{'text': '(021)32830431', 'offset': (18, 31), 'type': 'landline_phone'}]
# {'number': '(021)32830431', 'province': '上海', 'city': '上海', 'type': 'landline_phone'}
# {'number': '13288568202', 'province': '广东', 'city': '揭阳',
'type': 'cell_phone', 'operator': '**联通'}
新增更新 文本摘要
给定一篇文本(尤指新闻),返回其抽取式摘要。
>>> import jionlp as jio
>>> text = '海外网11月10日电当地时间9日,美国总统特朗普在推特上发文表示,美国国防部长马克·埃斯珀已经被开除。...'
>>> res = jio.summary.extract_summary(text)
>>> print(res)
# 特朗普的推文写道:“马克 埃斯珀已经被开除。...
- python>=3.6
$ git clone https://github.com/dongrixinyu/JioNLP
$ cd ./JioNLP
$ pip install .
- pip 安装
$ pip install -i https://test.pypi.org/simple/ jionlp
- 导入工具包,查看工具包的主要功能与函数注释
>>> import jionlp as jio
>>> dir(jio)
>>> dir(jio.ner)
>>> print(jio.extract_parentheses.__doc__)
功能 | 函数 | 描述 |
---|---|---|
清洗文本 | clean_text | 去除文本中的异常字符、冗余字符、HTML标签、括号信息、 URL、E-mail、电话号码,全角字母数字转换为半角 |
抽取 E-mail | extract_email | 抽取文本中的 E-mail,返回位置与域名 |
抽取 金额 | extract_money | 抽取文本中的金额,并将其以数字 + 单位标准形式输出 |
抽取电话号码 | extract_phone_number | 抽取电话号码(含手机、座机),返回域名、类型与位置 |
抽取**身份证 ID | extract_id_card | 抽取身份证 ID,配合 jio.parse_id_card 返回身份证的 详细信息(省市县、出生日期、性别、校验码) |
抽取 QQ 号 | extract_qq | 抽取 QQ 号,分为严格规则和宽松规则 |
抽取 URL | extract_url | 抽取 URL 超链接 |
抽取 IP地址 | extract_ip_address | 抽取 IP 地址 |
抽取括号中的内容 | extract_parentheses | 抽取括号内容,包括 {}「」[]【】()()<>《》 |
删除 E-mail | remove_email | 删除文本中的 E-mail 信息 |
删除 URL | remove_url | 删除文本中的 URL 信息 |
删除 电话号码 | remove_phone_number | 删除文本中的电话号码 |
删除 IP地址 | remove_ip_address | 删除文本中的 IP 地址 |
删除 身份证号 | remove_id_card | 删除文本中的身份证信息 |
删除 QQ | remove_qq | 删除文本中的 qq 号 |
删除 HTML标签 | remove_html_tag | 删除文本中残留的 HTML 标签 |
删除括号中的内容 | remove_parentheses | 删除括号内容,包括 {}「」[]【】()()<>《》 |
删除异常字符 | remove_exception_char | 删除文本中异常字符,主要保留汉字、常用的标点, 单位计算符号,字母数字等。 |
功能 | 函数 | 描述 |
---|---|---|
按行读取文件 | read_file_by_iter | 以迭代器形式方便按行读取文件,节省内存,支持指定行数, 跳过空行 |
按行读取文件 | read_file_by_line | 按行读取文件,支持指定行数,跳过空行 |
将 list 中元素按行写入文件 | write_file_by_line | 将 list 中元素按行写入文件 |
计时工具 | TimeIt | 统计某一代码段的耗时 |
功能 | 函数 | 描述 |
---|---|---|
关键短语抽取 | extract_keyphrase | 给定一篇文本,抽取其对应关键短语 |
抽取式文本摘要 | extract_summary | 给定一篇文本,抽取其对应文摘 |
回译数据增强 | BackTranslation | 给定一篇文本,采用各大厂云平台的机器翻译接口,实现数据增强 |
停用词过滤 | remove_stopwords | 给定一个文本被分词后的词 list,去除其中的停用词 |
分句 | split_sentence | 对文本按标点分句。 |
地址解析 | parse_location | 给定一个包含国内地址字符串,识别其中的省、市、县区、乡镇街道、村社等信息 |
电话号码归属地、运营商解析 | phone_location cell_phone_location landline_phone_location |
给定一个电话号码字符串,识别其中的省、市、运营商 |
新闻地名识别 | recognize_location | 给定新闻文本,识别其中的国内省、市、县,国外国家、城市等信息 |
身份证号解析 | parse_id_card | 给定一个身份证号,识别对应的省、市、县、出生年月、 性别、校验码等信息 |
色情数据过滤 | ||
反动数据过滤 | ||
繁体转简体 | tra2sim | 繁体转简体,支持逐字转与最大匹配两种模式 |
简体转繁体 | sim2tra | 简体转繁体,支持逐字转与最大匹配两种模式 |
汉字转拼音 | pinyin | 找出中文文本对应的汉语拼音,并可返回声母、韵母、声调 |
汉字转偏旁与字形 | char_radical | 找出中文文本对应的汉字字形结构信息,包括偏旁部首(“河”氵)、 字形结构(“河”左右结构)、四角编码(“河”31120)、 汉字拆解(“河”水可) |
功能 | 函数 | 描述 |
---|---|---|
成语词典 | chinese_idiom_loader | 加载成语词典 |
歇后语词典 | xiehouyu_loader | 加载歇后语词典 |
**地名词典 | china_location_loader | 加载**省、市、县三级词典 |
世界地名词典 | world_location_loader | 加载世界大洲、国家、城市词典 |
新华字典 | chinese_char_dictionary_loader | 加载新华字典 |
新华词典 | chinese_word_dictionary_loader | 加载新华词典 |
功能 | 函数 | 描述 |
---|---|---|
基于词典NER | LexiconNER | 依据指定的实体词典,前向最大匹配实体 |
entity 转 tag | entity2tag | 将 json 格式实体转换为模型处理的 tag 序列 |
tag 转 entity | tag2entity | 将模型处理的 tag 序列转换为 json 格式实体 |
字 token 转词 token | char2word | 将字符级别 token 转换为词汇级别 token |
词 token 转字 token | word2char | 将词汇级别 token 转换为字符级别 token |
比较标注与模型预测的实体差异 | entity_compare | 针对人工标注的实体,与模型预测出的实体结果 ,做差异比对 |
NER模型预测加速 | TokenSplitSentence TokenBreakLongSentence TokenBatchBucket |
对 NER 模型预测并行加速的方法 |
分割数据集 | analyse_dataset | 对 NER 标注语料,分为训练集、验证集、测试集,并给出各个子集的实体类型分布统计 |
功能 | 函数 | 描述 |
---|---|---|
朴素贝叶斯分析类别词汇 | analyse_freq_words | 对文本分类的标注语料,做朴素贝叶斯词频分析,返回各类 文本的高条件概率词汇 |
分割数据集 | analyse_dataset | 对文本分类的标注语料,切分为训练集、验证集、测试集, 并给出各个子集的分类分布统计 |
功能 | 函数 | 描述 |
---|---|---|
基于词典情感分析 | LexiconSentiment | 依据人工构建的情感词典,计算文本的情感值,介于0~1之间 |
- 开发 NLP 模型,预处理至关重要,常常占到工程师大部分时间。本工具包能快速辅助工程师完成各种琐碎的预处理操作,加速开发进度,把有限的精力用在思考而非 code 上。
- 如有功能建议,可以通过 issue 提出。