东京大学团队的人立刻大声问道:「李教授,请问漆昊团队是否将训练集和测试集搞错了?」
面对东京大学代表队不服气的质疑,原本有些嘈杂的主报告厅再次安静了下去,大家都在期待李教授这位ImeNe:挑战赛发起人会怎么说。
台上李教授,拿起话筒直接解释了起来:「我非常理解东京大学团队,以及在座诸位此时此刻所感受到的震撼和难以置信,但从I meNe挑战赛的工程逻辑和规则设计来看,你们所质疑的混淆数据集的情况,在物理层面上是绝对不可能发生的。」
「众所周知,为了确保比赛的绝对公平,ImeNe将整个数据集严格划分为三个完全独立的部分。」
「第一部分是包含120万张图片和完整标注的训练集,用于给各大团队进行模型训练,第二部分是包含5万张图片的验证集,用于大家在本地调参数,而真正决定结果,用于计算最终成绩的,是包含10万张图片的测试集。」
「简单说一下区别,拿训练集和验证集来说,它们就像是学校发给你们用来复习和模拟考的课后习题和参考答案,不管题面如何,大家手里都有一清二楚的正确答案。」
李教授考虑到现场有很多非专业的观众,尽量找了一个简单的例子:「那10万张测试集的图片,就像是期末考试中的期末考卷。」
「所以大家应该知道了,这10万张期末考卷只有题目,根本没有参考答案,标准答案自始至终都被锁在史丹福大学的离岸评测伺服器里,在这个世界上,除了我们核心评估小组的研究员,没有任何一个参赛团队能够接触到其中一个字节。」
「QIe团队和在座的诸位一样,手里只有那10万张没有任何标注的图,他们必须让自己的模型去预测这些图片里装的到底是什么,然后将生成的纯文本预测报告上传至我们的伺服器,由我们的系统在后台进行全自动的双盲比对。」
「因此,除非漆昊团队黑进了斯坦福的网络,盗取了这10万张测试集的标准答案去教他们的神经网络做题,否则,根本没有可能把训练集和测试集搞混,更不可能在闭环中进行作弊。」
李教授话音一落,主报告厅里那点不服气的嗡嗡声,顿时小了许多。
东京大学领队本想再争辩两句,可如果他再质疑数据集污染,无疑是在暗示李教授团队有问题,李教授作为这个领域的佼佼者,他肯定不想得罪。
「我知道,仅仅是规则的严密,依然无法平息大家对QIne团队成绩的疑惑。」
「ImeNe挑战赛本意是想成为促进学术交流的平台,所以下面我们进入现场答辩环节。」
「下面有请QIne团队负责人漆昊,上台!」
现场观众大多数都是为了漆昊来的,现在漆昊上了台,他们非常给面子的给了他最大的掌声。
随后佩罗宁迫不及待开口了:「李教授,请问我可以提问吗?」
李教授说:「现场答辩期间你们可以问问题。」
佩罗宁接过工作人员递过来的话筒,说:「李教授,我们当然相信测试集的公平性,但成绩归成绩,科学是要讲方法论的。」
「我想请问QIne团队,你们如何将错误率降低到15%的?如果连方法都说不清楚,恕我直言,这个结果很难让人信服。」
漆昊拿起话筒就说了起来:「各位好,我是漆昊。」
「我理解各位目前的质疑,事实上,如果易地而处,看到有人把imenei测试集的错误率一口气降到15%,与其他团队的结果相差11%以上,我大概也会怀疑是不是斯坦福的评测伺服器被黑客入侵了。」
台下响起了一阵善意的笑声,原本质疑的气氛缓和了一些。
「但很遗憾,我们的黑客技术并不足以攻破斯坦福的防火墙,况且,我们实验室伺服器的电费已经严重超支了,实在没有余力再去发起一次分布式拒绝服务攻击。」
「大家肯定会想,既然不是作弊,那么QIe究竟是怎么做到目前的结果。」
「其实答案很简单,我们抛弃了过去十年里,整个计算机视觉界认可的人工特征提取路线。」
下面的学者研究院们听到这一句话立刻哗然了起来。
现在,整个学术界对图像识别的主流认知,全都是基于IF、O等人工设计的算子,再配合支持向量机或者费舍尔向量进行分类,大家比拼的是谁设计的特征提取器更细致。
而现在,这个年轻的东方人竟然在ImeNe的舞台上,公然宣称他们把这些行业基础全扔了?
「荒谬!」
史丹福大学的一位资深教授忍不住说道:「不用人工特征,你们拿什么去理解物体的边缘,纹理和几何结构?难道指望机器自己去长出眼睛来吗?」
「没错,我们就是让机器自己长出眼睛。」