换肤首页 > 都市 > 多我一个后富怎么了

第893章 都怪百度(4K)

“我明白你的意思,就好像做到科幻电影里有个能够与人自由对话的机器人,它所搭载的那种善解人意的核心程序。”吴恩达仔细思考着老板提出的要求,斟酌道,“从目前的研发情况来看,嗯,传统的自然语言处理模型是可以按照目录查字典,可以匹配关键词。”

“我们的D—1是能看懂问题的意思再找字典里的答案。”

“但是,你的要求就好像是在字典之外再写出上面没有的东西。”

“如果这么来推进开放式的对话,可能很快就会碰到天花板吧,因为,我们是用ranfrmer编码器+双向预训练进行的自然语言理解。”

“如果百度或者谷歌,包括碳矽数据可以用我们D模型的思路把它集成到搜索业务里,我相信一定能更好的提升搜索结果的相关性。”

能够更好的理解用户搜索的问题,自然也就能更好的提供答案。

俞兴沉默了好一会,说道:“吴总,那还是拜托你把关于D模型的原理再详细的给我一份论述,要是能参照业内的相关研究,那就更好了。”

他隐约发觉到问题了,D模型似乎是检索式、搜索式应用方面更广,而不是后来主流的可以自由对话的生成式。

这里面或许是D模型现在路线的研究还没推进到位,或许就是还存在基于ranfrmer机制上另外的路线。

如果想要验证这一点,只要对比PENAI的研究就能知道了。

吴恩达察觉到老板的迷惑,但不知道到底是关乎什么,也就答应了这个要求。

俞兴不确定自己的想法是否幼稚,不过,对于这件事的可能性也不是特别着急,连可以随时询问吴恩达等人的自己都难以摸清,那投资人们就难搞清楚了。

而且,美国之行就可以直接登门拜访请教。

DLF都愿意开源自己研究的东西,不要求其他家把他们研究的东西全部亮出来,对比找找参照总是可以的吧。

就在次日,吴恩达把D—1模型更详细的材料发了过来。

俞兴推开半天时间,专门窝在办公室里啃这篇邮件。

按照吴恩达的表述,D—1模型的本质是使用了12层ranfrmer编码器,再通过双向掩码预训练的自然语言处理模型,总参数量在1.1亿。

俞兴仔细看文件里的描述,怀疑是参数量还不够高的问题,但是,等到反复浏览之后,另外一处对ranfrmer论文的描述又引起注意。

由谷歌发布的ranfrmer论文,它提出的是一套完整的编码器+解码器的架构,编码器用来理解输入的意思,解码器用来生成输出的文本。

俞兴静静的思考,编码器,理解,解码器,生成。

D—1模型主要使用的是编码器的架构。

他干脆把相关内容都写在了面前,然后把电话再次打给吴恩达:“吴总,为什么我们

的D—1主要是使用编码器,我看ranfrmer论文不是包含编码器和解码器吗?”

上一页目录下一页

猜你喜欢