简体中文 | English

OpenBG-IMG是电子商务领域的多模态数据集，本基准使用了多种知识图谱嵌入模型进行链接预测，用于生成CCKS2022面向数字商务的知识处理与应用评测任务三：多模态商品知识图谱链接预测的评测结果，评测结果请在阿里天池平台进行提交。

使用以下代码进行环境配置

pip install -r requirements.txt

请将天池平台上的数据放置在./data/，数据目录如下

data
 |-- OpenBG-IMG
 |    |-- images            # 图片集
 |    |    |-- ent_xxxxxx   # 实体对应图片
 |    |    |-- ...
 |    |-- train.tsv         # 训练集数据
 |    |-- test.tsv          # 测试集数据

数据集统计数据如下：

†:实体中有14,718个多模态实体

$ head -n 3 train.tsv
ent_021198	rel_0031	ent_017656
ent_008185	rel_0092	ent_025949
ent_005940	rel_0080	ent_020805

模型参考并修改了OpenKE中的实现。

• 编译C++代码

    cd 模型目录
    bash scripts/make.sh

• 数据预处理

    bash scripts/prepro.sh

• 训练模型并预测结果，结果保存在./results/result.tsv

    bash scripts/train.sh

模型参考并修改了TuckER中的实现。

• 数据预处理

    bash scripts/prepro.sh

• 训练模型并预测结果，结果保存在./results/result.tsv

    bash scripts/train.sh

本模型参考了OpenKE中TransE模型的实现以及TransAE中对图片的表示和编码。

• 编译C++代码

    cd TransAE
    bash scripts/make.sh

• 数据预处理

    bash scripts/prepro.sh

• 获取图片表示和编码

    bash scripts/visual_emb.sh

• 训练模型并预测结果，结果保存在./results/result.tsv

    bash scripts/train.sh

本模型参考了RSME的官方代码。

• 获取图片表示和编码

    cd RSME
    bash scripts/visual_emb.sh

• 数据预处理

    bash scripts/prepro.sh

• 训练模型并预测结果，结果保存在./results/result.tsv

    bash scripts/train.sh

此代码参考了以下代码：

• https://github.com/thunlp/OpenKE
• https://github.com/ibalazevic/TuckER
• https://github.com/ksolaiman/TransAE
• https://github.com/wangmengsd/RSME

十分感谢！

关于多模态知识图谱构建和补全的开源工作请参见MKGFormer(https://github.com/zjunlp/MKGformer/)