主要内容
谷歌宣布正在测试一款新的人工智能搜索工具 Scholar Labs，旨在回答详细的研究问题。但其演示突出了一个关于寻找“优质”科学研究的更大问题。科学家会在多大程度上信任一个放弃衡量研究在科学界受欢迎程度的典型方式，而更倾向于阅读词语之间关系以帮助发现优质研究的工具呢？
新搜索工具利用人工智能识别用户查询中的主要主题和关系，目前仅对有限的登录用户可用。Scholar Labs 的演示视频涉及一个关于脑机接口（BCI）的问题。我拥有 BCI 方面的博士学位，所以很想看看 Scholar Labs 能提供什么。第一个结果是 2024 年在《应用科学》杂志上发表的一篇 BCI 研究综述论文。Scholar Labs 包含了结果与查询匹配的解释，指出该论文讨论了对一种名为脑电图的非侵入性信号的研究，并调查了该领域的一些领先算法。
但我注意到 Scholar Labs 缺乏用于将“优质”研究与“不太优质”研究区分开来的常见指标过滤器。一个指标是研究自发表以来被其他研究引用的次数，大致可翻译为论文的受欢迎程度。它还与时间相关：最近发表的研究可能没有引用，也可能在几个月内获得数百次引用；90 年代的研究可能有数千次引用。另一个指标是科学期刊的“影响因子”。发表被广泛引用研究的期刊具有更高的影响因子，因此在科学界享有更严谨或更有意义的声誉。《应用科学》自我报告的影响因子为 2.5，相比之下，《自然》的影响因子为 48.5。
原始的谷歌学术有按“相关性”对研究进行排名的选项，并列出每个结果的引用次数。谷歌发言人 Lisa Oguike 告诉 The Verge，新 Scholar Labs 的目标是为用户的研究任务挖掘“最有用的论文”。谷歌表示，它通过与研究人员自身相同的方式对论文进行排名，即“权衡每篇文档的全文、发表地点、作者以及在其他学术文献中被引用的频率和时间”。然而，Oguike 告诉 The Verge，新 Scholar Labs 不会根据论文的引用次数或期刊的影响因子对结果进行排序或限制。Oguike 写道：“影响因子和引用次数取决于论文的研究领域，对于大多数用户来说，在特定研究问题的背景下很难猜测合适的值。按影响因子或引用次数进行限制往往会错过关键论文——特别是跨学科/相邻领域/期刊的论文或最近发表的文章。”范德比尔特大学医学中心神经学副教授 Matthew Schrag 在接受 The Verge 采访时表示，像引用次数和影响因子这样的指标是“对论文质量的相当粗略的评估”，他同意谷歌的说法。他说，它们“更多地涉及论文的社会背景”，而不是其质量，尽管“希望这两者是相关的”。Schrag 研究阿尔茨海默病，是许多在已发表的科学研究中标记可疑数据的科学侦探之一。像 Schrag 这样的数据侦探的努力，以及整个科学界的更密切关注，导致了因篡改图像、诺贝尔奖获得者发布的更正以及联邦对伪造数据的调查而从知名期刊中撤回的研究。然而，尤其是在进入新领域时，很难不使用引用次数或期刊的声誉来随意审查一项研究。塔夫茨大学康复科学教授 James Smoliga 经常这样做。