ChatGPT3.5和4.0真的使用差距很大吗?(三)

AI News12个月前更新 AIGC-SL
123 0 0

3. 测试用例

这部分列举两个自己写的测试用例,这些用例涉及的场景GPT可能会比现有方法更优。

3.1 推荐

GPT对场景、上下文的理解非常深刻,因此想到的第一个场景就是让它代替推荐算法来做推荐。当然推荐本身的范畴非常大,这里以商品为例,测一下GPT对场景的理解能力。

用例设计:小明购买了新房,所以他在过去一段时间里购买了很多居家用品。测试GPT能否推测出小明当前的生活状态(即将入住新家或准备搬家)。

ChatGPT的结果如下:

ChatGPT3.5和4.0真的使用差距很大吗?(三)
图13 ChatGPT的推荐结果

ChatGPT3.5和4.0真的使用差距很大吗?(三)
图14 GPT-4的推荐结果

GPT-4显然对场景的理解更加深刻。但它仍然过于强调了3月8日这一天的鲜花(更可能是妇女节送花)。

虽然还不完美,但GPT-4一定会使现有的推荐算法、模式(电商、短视频等等)发生巨大变化。

3.2 实体抽取

实体抽取指从文本中抽取人名、地址、机构名等等使用者感兴趣的内容。实体抽取是NLP领域一项非常基础且重要的任务,具有广泛的实际用途。

下面是从今日头条上随便贴了一段新闻(侵删):

大家都知道,美国之所以能肆意收割世界财富,最主要的原因就是其拥有美元、军事和科技三大霸权。这些霸权让美国在全球范围内拥有巨大的影响力,也让其成为了国际舞台上的主角。不可否认,手握三大霸权的美国确实会让很多国家和地区甘愿臣服。但同时也会有个别国家会做出反抗,就比如俄罗斯和中国。尤其是中国,在经历了改革开放的大浪淘沙之后,近几年来我国在科技领域迎来了新一轮的爆发。无论是在航空航天方面,还是在5G通讯、人工智能等方面,我国都处于领先地位。与此同时,我国还涌现出了一大批高科技企业,比如华为、大疆、龙芯中科、长江存储等。其中华为在5G通讯领域的强势崛起,动摇了美“科技霸权”的根基。为了继续收割世界财富,美国对华为等中企进行了毫无底线的制裁,可结果却得不偿失,我们的企业非但没有倒下,反而越战越勇,打赢了一场又一场漂亮的“攻坚战”。反观美国半导体市场可谓是一片狼藉,可以说到处都是“断壁残垣”。高通、苹果、AMD等美科技企业不是面临市值腰斩,就是面临利润和营收双双下滑,甚至还开启了上万规模的裁员浪潮。

我的输入是这样:

ChatGPT3.5和4.0真的使用差距很大吗?(三)
图15 实体识别能力测试

ChatGPT的输出:

ChatGPT3.5和4.0真的使用差距很大吗?(三)
图16 实体识别ChatGPT的输出

ChatGP没有理解到我希望的输出格式。并且成语这一部分不太理想。

ChatGPT3.5和4.0真的使用差距很大吗?(三)
图17 实体识别GPT-4的输出

GPT-4完全理解输出格式,并且回答的比较好。(注:如果在输入中把“包括国外公司”去掉,GPT-4会漏掉高通、苹果和AMD,但ChatGPT没有这个问题)

最后

光是在推荐和实体抽取这两类任务上的优异表现,就可以设计出很多GPT-4可用的场景。这里补充一些,写抽象一点,大家可以自行脑补:

任务编排、数据关联、图文理解、极为个性化的推荐(别说千人千面了,现在的这些方法百人百面都做不到)、垃圾信息过滤、网络安全、真正意义上在open-set设定下的信息识别(分类、聚类、相似、蕴含等等)。

 


本文转载于Civ 2023年6月13日在知乎发布文章
本文源自互联网转载,文章所有权为原网站和原作者所有,若本文的转载侵害了原网站和原作者的相关权益,请邮件联系info@aigcite.com告知我们,我们将无条件保护您的权益,立即删除。

© 版权声明

相关文章