当前位置:系统粉 >   IT资讯 >   微软资讯 >  微软清华公布Open Academic Graph数据集推动数据集成研究,匹配准确率超过98%

微软清华公布Open Academic Graph数据集推动数据集成研究,匹配准确率超过98%

时间:2017-08-22 来源:互联网 浏览量:

AI 科技评论消息,清华大学副教授、Arnetminer 创始人唐杰博士在微博上更新了清华和微软在 KDD 上公布的最新成果——Open Academic Graph。

「我们和微软在 KDD 上发布了一个非常大的学术数据,包含有微软 1.6 亿论文和 AMiner 里面抽取出来 1.55 亿论文,同时还给出了这两个数据之间的链接关系(可以用于做数据集成研究),欢迎大家下载,这也是清华和微软等单位联合成立的开发学术社区 Open Academic Society 。」

微软清华公布Open Academic Graph数据集推动数据集成研究,匹配准确率超过98%(1)

据 AI 科技评论了解,该数据集仅供科研用,包含了 Microsoft Academic Graph (MAG) 的 1.66192182 亿篇论文及 AMiner 的 1.54771162 亿篇论文。研究者生成了两个学术图表的 6463 万个链接关系(matching),并表示在未来会呈现包括作者在内的更多链接结果。这个数据集可以用于进行引用网络(citation network)、论文内容等多种数据集成研究。整个数据集包括以下三个方面,即链接关系、MAG 论文集及 AMiner 论文集。

官网介绍:https://www.openacademic.ai/news/

此外,在 aminer 的官网上也同步了 3 个 AMiner 论文集和 9 个 MAG 论文集的打包下载渠道:

https://aminer.org/open-academic-graph

在链接关系中,两个数据集的论文会以 ID 的形式呈现,例:

{

"mid": "xxxx",

"aid": "yyyy"

}

其中,mid 指的是 MAG 的论文 ID,而 aid 则是 AMiner 的论文 ID。

对于数据集 MAG 论文和 AMiner 论文而言,每篇论文都是一个 JSON 对象。其数据模式是:

示例如下:

微软清华公布Open Academic Graph数据集推动数据集成研究,匹配准确率超过98%(2)微软清华公布Open Academic Graph数据集推动数据集成研究,匹配准确率超过98%(3)

在使用的时候,研究者可以通过以下两步进行操作:

1. 采用 Microsoft Graph Search API 查询每个 AMiner 的论文标题,并且筛选出对应的链接论文。

2. 如果两篇论文满足以下条件,则会被链接起来:

1)标题相似;2)作者数目相同;3)有类似的作者名字及 4)相同的出版年份。

在测试过程中,研究者以 24012(TODO)链接论文对在数据集上进行测试,能够正确匹配的论文对有 23859 份,准确度达到 99.36%。

在 Open Academic Society 官网上,研究者又提供了一份准确率的最新数据:他们将 4100 个研究对进行准确性测试,发现有 4029 个成功匹配,准确率达到了 98.27%。

该数据集能够在 cloud API 上免费获得。如唐杰博士所言,这个数据集将成为 Open Academic Society 学术社区的重要组成部分。Open Academic Society 旨在建立一个共享、开源且不断扩展的知识图表体系,并构建以教育为核心的实体关系。以微软研究院旗下的 Microsoft Academic 和清华大学的 AMinergraph 领衔,知识图表的不断发展也得益于社区成员的持续贡献。

AI 科技评论了解到,Open Academic Society 目前的成员包括 22 位老师/研究机构,也有不少华人,包括亚利桑那州立大学刘欢教授、澳大利亚国立大学 Lexing Xie博士、中科院程学旗博士、清华大学唐杰博士、UCLA 的 Yizhou Sun 博士、伊利诺伊大学厄巴纳-香槟分校 的 Chengxiang Zhai 等老师。

为了形成更大的计算机社区,Open Academic Society 将组织 workshops、挑战赛及数据分享活动。截至目前已经在 KDD 2017、WWW 2017、WSDM 2017 等会议上开展 workshops 及分享活动,并在 KDD CUP 2016、DataScienceGame 2016 和 Open Academic Data Competition 2017 上举办挑战赛,详细清单可查看:https://www.openacademic.ai/events/

我要分享:

最新热门游戏

版权信息

Copyright @ 2011 系统粉 版权声明 最新发布内容 网站导航