那么在周一的发布会上，OpenAI究竟推出了什么“魔力（magic）”产品？
GPT-4o，OpenAI首款能分析情绪的多模态大型语言模型
GPT-4o中的“o”代表“Omnimodal”，顾名思义，这是一个基于GPT-4之上的多模态大模型。
更值得关注的是，GPT-4o能够与用户进行多样化的语气交互，并精准捕捉到用户的情绪变化，这是一大进步。与之前版本仅通过“语音转文字（voice-to-text）”来识别语音输入不同，GPT-4o能够实时处理语音输入并响应用户的情感和语气。
在直播过程中，两位OpenAI的员工向大家展示了GPT-4o的更新细节。
1.感知用户情绪：前沿研究部门主管陈信翰（Mark Chen）让ChatGPT-4o聆听他的呼吸，聊天机器人侦测到他急促的呼吸，并幽默地建议他不要像吸尘器那样呼吸，要放慢速度。随后Mark深呼吸一次，GPT-4o则表示这才是正确的呼吸方式。
4.更即时的语音交互：ChatGPT-4o的响应时间得到缩短，与用户的交互更加即时。穆拉提和陈信翰利用新的聊天机器人展示了跨语言的实时翻译功能，能够在英语和意大利语之间无缝转换。
由此可见，这次更新的重点在于使聊天机器人不再那么机械冷漠，而是更加接近真实人类，能够理解并表达情绪。那么，GPT-4o是如何实现情感识别的呢？
OpenAI目前还没有公布更多的技术细节，但根据其在官网的概述，在GPT-4o之前，使用ChatGPT的语音模式时，需要通过三个相互独立的模型来进行接力处理：
1. 第一个模型将音频转换为文本；
2. 接着由GPT-3.5或GPT-4处理文本输入并输出文本；
3. 最后一个模型再将文本转换回音频。
这种处理方式常导致信息的大量丢失，例如无法捕捉到语调、识别多个说话者或背景噪音，也无法生成笑声、歌唱或其他情感表达。
GPT-4o的创新之处在于，它是OpenAI的首个整合文本、视觉和音频多模态输入与输出的模型。通过端到端地训练一个统一的新模型，实现了所有输入和输出的处理都由同一个神经网络完成。
除了多模态输入输出，GPT-4o还具备更快的响应速度：能够在短至232毫秒内响应音频输入，平均响应时间为320毫秒，接近人类在对话中的响应时间。
GPT-4o在英语文本和代码上的性能与GPT-4 Turbo性能相当，在非英语文本上的性能显著提高，同时API的速度也更快，成本降低了50%。与现有模型相比，GPT-4o在视觉和音频理解方面尤其出色。
GPT-4o在5216毫秒（5.216秒）内处理了574个Token，约等于 110 Token/秒；GPT-4 Turbo在23442毫秒（23.442秒）内处理了474个Token，约等于20 Token/秒。前者的处理速度是后者的大约5.44倍。
“ELO分数最终可能受到提示难度的限制。我们发现在更难的提示集上 — 尤其是编程 — GPT-4o 的ELO比我们之前最好的模型高出100分，”这位工程师补充道。
目前，开发者已能通过API使用GPT-4o的文本和视觉模式。
此外，OpenAI还对ChatGPT的用户界面（UI）进行了优化，并且推出了适用于macOS系统的ChatGPT应用程序，已向付费用户开放。该公司表示今年晚些时候还将推出Windows版本的ChatGPT应用程序。
苹果将用GPT-4o取代自家语音助手Siri？
GPT-4o的推出带动了苹果股价小幅上涨。
上周五，报道称苹果正考虑在下一代iOS18系统中集成ChatGPT技术。如果与OpenAI达成协议，苹果可能会推出基于ChatGPT的聊天助理，作为公司计划在6月发布的一系列新人工智能功能之一。多年来，苹果一直是包括沃伦·巴菲特在内的顶级投资者和投资机构青睐的科技股，并且是市值第一大科技公司，但近年来涨幅却跑输其他大科技公司。
今年以来，苹果股价下跌了2%左右，而微软股价则上涨了10% 以上。得益于其在AI领域的领先地位（特别是与OpenAI的深度合作）以及在云业务和办公套件中加入AI技术，微软已成为全球市值最高的公司，这一领先地位看似还将持续一段时间。
纵观其他Magnificent 7公司的市值：谷歌凭借Gemini增长了20%，拥有开源大语言模型LLaMA的Meta上涨了32%，投资了明星AI初创企业Antropic的亚马逊增长了22%；被誉为AI行业“军火商”的芯片公司英伟达的市值更是增长了82%之多。（注：Magnificent 7是指7家拥有垄断/寡头地位、定价能力、长期盈利能力的科技公司，即微软、谷歌、Meta、亚马逊、英伟达、苹果和特斯拉。）
分析师们普遍认为，苹果的增速放缓主要归因于核心业务iPhone增长疲软，以及缺乏新的AI产品线。虽然Siri作为AI语音助手于2011年推出，但在准确性和实用性方面远逊于谷歌、亚马逊和OpenAI的竞品。
另一方面，手机业务的竞争对手们也已先于苹果在手机中引入新的AI功能。例如，三星电子最近推出的高端Galaxy手机采用了最新的生成式AI技术，提供实时语言翻译、总结笔记和编辑照片等功能。
面对来自四面八方的压力，苹果在今年二月宣布取消长达十年的造车计划，并将部分员工转至生成式AI团队，标志着AI将成为公司未来发展的重点。
在5月2日与分析师举行的电话会议上，蒂姆·库克称凭借将硬件、软件和服务无缝集成的能力，苹果有优势在AI时代脱颖而出。这位首席执行官在去年就表示使用过ChatGPT，并认为当时的ChatGPT还有很多问题需要解决。他反复强调，苹果将在“非常深思熟虑的基础上”引入新的AI功能，这可能解释了为什么苹果在推出AI产品线方面进展缓慢。