• 首页
        • 更多产品

          客户为中心的产品管理工具

          专业的软件研发项目管理工具

          简单易用的团队知识库管理

          可量化的研发效能度量工具

          测试用例维护与计划执行

          以团队为中心的协作沟通

          研发工作流自动化工具

          账号认证与安全管理工具

          Why PingCode
          为什么选择 PingCode ?

          6000+企业信赖之选,为研发团队降本增效

        • 行业解决方案
          先进制造(即将上线)
        • 解决方案1
        • 解决方案2
  • Jira替代方案
目录

能读图、考高分、训练高效的GPT-4,还带来什么惊喜?

电子工程专辑讯 在3月15日凌晨1点,OpenAI发布GPT-4最新语言模型,而这距离ChatGPT的上线仅仅过去了4个月时间。

GPT-4是通过在微软Azure上训练大量的数据来生成的。微软已经向这家初创公司投资了数十亿美元。GPT-4使用了OpenAI最新一代人工智能架构Pathways研发的5400亿参数大模型——PaLM,可以接受图像和文本输入,输出文本,具备标记因果关系、上下文理解、推理、代码生成等等多项功能,其中常识推理能力更是较之前提升了20%。

来自推特

先简单介绍下GPT的一个发展历程:

GPT-4是OpenAI扩展深度学习的最新里程碑,它通过模拟律师考试,分数在应试者的前 10% 左右;相比之下,GPT-3.5 的得分在倒数 10% 左右。OpenAI通过使用最新的公开测试(在奥林匹克竞赛和 AP 自由回答问题的情况下)或购买 2022-2023 年版本的模拟考试来继续进行。他们没有针对这些考试进行专门培训,不过该模型在训练期间看到了考试中的少数问题。OpenAI认为结果是具有代表性的。

图1:考试成绩(按GPT-3.5成绩排序)注:估算的百分位数下限(在应试者中)

这是考试结果的输出图,往下再看看GPT-4在不同领域的考试分数。对比GPT-3有显著提升。

图注:GPT-4的考试成绩清单

OpenAI在机器学习模型设计的传统基准上评估了GPT-4。GPT-4的性能超过了现有的大型语言模型,与大多数非常先进的(SOTA)模型并驾齐驱,这些模型可能包括针对基准的工艺或额外的训练协议。

在其他语言的能力上,OpenAI使用Azure Translate将MMLU基准——一套涵盖57个主题的14000个多选题–翻译成了各种语言。在测试的26种语言中的24种语言中,GPT-4的表现优于GPT-3.5和其他LLM(Chinchilla,PaLM)的英语表现,包括低资源语言,如拉脱维亚语(Latvian)、威尔士语(Welsh)和斯瓦希里语(Swahili):

从数据来看,GPT-4对于中文等非英语语言也有很大的进步,处理中文的准确度大幅提升。

GPT-4的视觉可以将图像作为输入,并生成标题、分类和分析,还可以利用图像和文本的信息来完成各种任务,例如:从图片中提取信息并回答问题;根据图片生成描述性或创意性的文本;根据文本生成相关的图片;识别图片中的物体、人物、场景等。

在OpenAI的视觉输入案例介绍中是关于“VGA充电器”。

用户:这张图有什么好笑的?一个面板一个面板地描述它。

GPT-4:该图显示了带有三个面板的“Lightning Cable”适配器的包装。

面板 1:带有 VGA 连接器(一种大的蓝色 15 针连接器,通常用于计算机显示器)的智能手机已插入其充电端口。

面板 2:“Lightning Cable”适配器的包装,上面有 VGA 连接器的图片。

面板 3:VGA 连接器特写,末端有一个小型闪电连接器(用于为 iPhone 和其他 Apple 设备充电)。

这张图片中的幽默来自将过时的大型 VGA 连接器插入小型现代智能手机充电端口的荒谬做法。

上图可见,它已经可以看懂梗图、漫画、艺术作品等多种形式的视觉内容,并与之进行交互。

GPT-4在敏感问题上的回答也有很大的改善。OpenAI请了50 多位来自 AI 对齐风险、网络安全、生物风险、信任和安全以及国际安全等领域的专家来对模型进行对抗性测试。他们还收集了额外的数据来提高 GPT-4 拒绝有关如何合成危险化学品的请求的能力。

也就是说,GPT-4与 GPT-3.5 相比,显着改善了许多安全特性。他们已将模型响应不允许内容请求的倾向降低了 82%,并且 GPT-4 根据政策响应敏感请求(例如,医疗建议和自我伤害)的频率提高了 29% 。

OpenAI还对GPT-4多方面进行了测试,来证明现在的GPT-4具备更加先进的AI性能,我这里就不一一介绍。OpenAI也对此表示,期望GPT-4能作为一个有价值的工具,为许多应用程序提供动力来改善人们的生活。

不过OpenAI也警告称,GPT-4还不完美,在许多情况下,它的能力不如人类。该公司表示:“GPT-4仍有许多已知的局限性,我们正在努力解决,比如社会偏见、幻觉和对抗性提示。”

额外提一点的是,可能会有人好奇GPT-4怎么访问。根据OpenAI官网介绍,如果要访问 GPT-4 API(它使用与 gpt-3.5-turbo 相同的ChatCompletions API),需要注册他们的候补名单。在OpenAI发布GPT-4后就开始邀请部分开发人员,并逐步扩大规模以平衡容量与需求。不过目前的GPT-4还只能支持纯文本请求,图像输入仍处于有限的 alpha 阶段。按照现在的说法是,开放的GPT-4只支持到6月14日,之后就要开始收费了。

GPT-4的推出也让很多人感觉到担忧,比如有一研究NLP的普通博士就表示,作为一个研究NLP的普通博士生,我对GPT-4有一种复杂的感觉。这当然是令人沮丧的,因为它使我对自己的研究价值产生怀疑。但是,这种兴奋感太过强烈了 ;grinning:

还有网友评论,看来以后只能去做个司机了,因为GPT-4没有手……(但是以后会有自动驾驶……)

还有推特@Pietro Schirano借助GPT-4尝试了在60秒内重建了一个乒乓游戏“pong”,并表示,“GPT-4是一个令人难以置信的变革技术。”Pietro Schirano之前采用GPT 3.5时候必须进行一些调试或者询问错误,这是他名列前茅次一次性完成。

GPT-4的发布还是有很大的意义,它是人工智能领域的一次巨大飞跃,也是技术道德规范的又一重大转变。GPT-4不仅提高了语言理解和生成的能力,还增加了图像处理和多模态融合的能力,为各种智能应用和交互式游戏提供了更强大的技术支持。同时GPT-4也给我们带来了新的挑战和机遇,例如如何保护数据隐私、防止信息造假、促进技术公平等。

文章来自:https://www.eet-china.com/

相关文章