ymcui / pert Goto Github PK

View Code? Open in Web Editor NEW

345.0 7.0 26.0 1.54 MB

PERT: Pre-training BERT with Permuted Language Model

Home Page: https://arxiv.org/abs/2203.06906

License: Apache License 2.0

pre-trained-model bert nlp plm tensorflow pytorch transformers

pert's People

Contributors

Stargazers

Watchers

pert's Issues

句子排序

该模型可以实现两个句子的次序预测吗

lr

请问pert-large预训练时学习率是多少？

实体抽取

训练用的中文数据方便提供吗？

错误反馈

你好，关注到arxiv上的PERT原文，图片中是不是有点错误呢？预测的两个位置xia'biao下标是不是应该是7和6呢？

PERT：公式（5）R^L 的 L 是最大长度N吗？

Cui老师您好！

看到的论文您的 [2203.06906] PERT: Pre-training BERT with Permuted Language Model，对我很有帮助，并正在复现它。过程中，有一个细节不明白，希望您能不吝指点。

对于公式（5），L是最大长度N吗？如下图。前面您提到L是transfomer的层数，不能理解为什么层数L和p_i有关。

H^{~}_{i}的维度是(1,768)， H^{T}维度是 (768，N)，那么 b 的维度应该是(N)。

希望能尽快得到您的回复，谢谢。

关于chinese-pert-base-mrc

    你好，当我用hfl/chinese-pert-base-mrc或large进行阅读理解时，尚未进行微调，文本为“我叫沃尔夫冈，我住在柏林。”，问题为“我弟弟住在哪里”，此时得到的答案为“柏林”。
    当我把问题改为“我在哪里工作”、“我弟弟住在哪里”、“我来自哪里”、“我妹妹来自哪里”等，得到答案也是柏林，概率也都是0.9多，请问这种情况该如何改善呢？