数学中国

 找回密码
 注册
搜索
热搜: 活动 交友 discuz
查看: 769|回复: 0

GPT-5 要来了? 惊现两大变化,参数或达 10 万亿级别!

[复制链接]
发表于 2023-8-15 11:36 | 显示全部楼层 |阅读模式
GPT-5 要来了? 惊现两大变化,参数或达 10 万亿级别!

编辑: 孙宇婷 记者: 蔡鼎,兰素英,谭玉涵 的报道 2023/8/14 22:50:43

近日,欧爱运营有限责任公司(OPENAI OPCO,LLC)在中国申请注册 2 枚“GPT-5”商标,引发广泛关注。

在 GPT-4 爆火后,GPT-5 成为了万众期待的下一个版本。

当地时间 8 月 8 日,OpenAI 在官网介绍了新产品 GPTBot ,这是一种网络爬虫,可大规模爬取网络数据用于训练 AI 模型,据称可以用来改进未来的聊天机器人大模型。

OpenAI 在其官网发布的一篇博客文章中表示:“使用 GPTBot 用户代理抓取的网页可能会被用来改进未来的模型。”公司还补充称,GPTBot 可以提高内容准确性,扩展未来迭代的能力。此外,由于 OpenAI 近期刚向美国专利商标局申请了 GPT-5 商标,国外不少科技媒体认为,OpenAI 所指的这个“未来迭代”就是 GPT-5 。

据悉,它将具备众多 GPT-4 所没有的能力,而且几乎每一项都剑指通用人工智能。

另外,值得注意的是,截至上周五美股收盘,英伟达一周累跌 8.56% ,接近失守 1 万亿美元市值关口。华尔街警告:AI 概念股泡沫正在接近顶峰。

OpenAI 提交 GPT-5 商标申请

网络爬虫是一种主要通过浏览网络抓取数据的工具,方式包括数据挖掘,网页数据复制/拍照、网站镜像等方式。网络爬虫是互联网和大数据时代最重要工具之一,被誉为“黄金矿工”,应用场景非常广泛。例如,谷歌、必应等搜索引擎通过网络爬虫来收集和建立网页索引,方便用户通过关键字快速找到相关的网页。

OpenAI 表示,网络爬虫将从互联网上收集公开可用的数据,但会过滤掉需要付费的内容来源或个人身份信息的消息来源,以及有违反其规定的文本来源。需要指出的是,网站的所有者可以通过在服务器上的标准文件中添加“disallow(禁止)”指令来拒绝网络爬虫。

《每日经济新闻》记者注意到,在发布 GPTBot 前,OpenAI 还在美国申请了 GPT-5 的商标,这被认为是当前被广泛使用的 GPT-4 的升级迭代版本。

该申请被 OpenAI 于当地时间 7 月 18 日提交给美国专利商标局,涵盖了“GPT-5”在基于人工智能的人类语音和文本、音频到文本转换、语音识别和语音合成中的使用。在这份新商标申请中,OpenAI 将“GPT-5”描述为一种“用于使用语言模型的可下载计算机软件”。

在这次披露的申请书中,OpenAI 提到,尚未发布的 GPT- 5将具备众多 GPT-4 所没有的能力,而且几乎每一项都剑指通用人工智能(AGI)。

OpenAI 最先提到的一个变化,就是多模态功能的加强。具体来说,GPT-5 的功能包括把文本或语音从一种语言翻译成另一种语言、语音识别、生成文本和语音等。有观点认为,文件中突出的语音识别功能,看似只是一个不起眼的改动,但从某种程度上说,这也是 OpenAI 对 GPT-5 在通往 AGI 的道路上铺下的又一块路砖。

除了上述特点外,OpenAI 提交的文件中还提到:“GPT-5 可能还具备学习、分析、分类和回应数据的能力”。从目前人工智能的发展趋势来看,这很可能是指 GPT-5 具备了类似智能体的主动学习能力。而这样的能力,将会使 GPT-5 与以往只能被动地通过人类投喂数据来学习新知识的模型相比,产生本质的区别。

具体来说,主动学习的能力,是指模型可以根据自身的目标和需求,自主地选择、获取和处理数据,而不是仅仅依赖于人类提供的数据。

这样可以让模型更有效地利用数据中的信息和知识,更灵活地适应不同的数据环境和任务场景,而不只是被动地接收和输出数据。而这样的能力,在 GPT-5 面临一些比较陌生、垂直的领域时,就显得尤为重要。

如果 GPT-5 具备了主动学习的能力,它可以自动地从网络上搜集和更新这些领域的相关数据,分析和分类这些领域的基本概念、重要原理和最新动态,以及回应这些领域的常见问题、典型案例和实际应用。

《每日经济新闻》记者还注意到,GPT-3.5 有 1750 亿参数规模,OpenAI 没有公布过 GPT-4 的具体规格,但之后的分析认为其拥有 16 个专家模型,每个 NLP(Natural language processing ,自然语言处理)专家大约有 1110 亿个参数,总计 1.8 万亿参数,是 GPT-3 的 10 倍。如果按照这个比例来提升,GPT-5 将突破 10 万亿参数,有望成为最大规模的大语言模型。

GPT-5 仍可能在未来重新定义AI

虽然目前 GPT-5 仍然处于理论概念的阶段,但它仍可能会在未来重新定义人工智能,并有可能达到通用人工智能的高度。

GPT 是一种大型语言模型神经网络,可以执行并回答问题、生成代码和总结文本等任务。通过扫描数以百万计的网络文章和数据,GPT 模型可以生成真实和非剽窃的内容。目前,GPT-5 已经成为全球科技界广泛期待和猜测的话题。尽管 OpenAI 没有给出官方的 GPT-5 上线日期,但各路专家早已在各大论坛上分享见解。

据外媒报道,GPT-5 有望显著减少回答所包含的错误内容,OpenAI 可能会通过先进的训练方法来解决这个问题。此外,GPT-5 或将具有更高的计算效率,从而拥有更快的响应时间。虽然具体的细节尚未透露,但人们相信 GPT-5 可能会通过突破自然语言理解、上下文推理和整体语言流畅性等领域的界限,为 AGI 做出贡献。

一位名为 Siqi Chen 的开发者在 Twitter 上发文称,GPT-5 预计将在今年年底完成训练,并有可能实现通用人工智能(AGI)。AGI 旨在创建无需显式编程即可执行任何智力任务的智能系统。如果 GPT-5 实现 AGI ,它可以显著提高生产力并自动执行复杂的认知任务。

不幸的是,外界目前只能从 OpenAI 申请商标的动作来对其计划进行推测,这也并不一定表明 OpenAI 何时或是否计划推出 GPT-5 。就在今年 6 月份,OpenAI 创始人兼 CEO 山姆·阿特曼表示,公司距离开始培训 GPT-5 “还差的很远”,他解释称,在开始(训练 GPT-5)之前还需要进行广泛的安全审核。“在启动 GPT-5 之前,我们还有很多工作要做。”阿特曼 6 月份在一次会议上说道。

还有外媒分析认为,更有可能的结果是,OpenAI 将把精力集中在改进 GPT-4 模型上,而不是把所有的资源都投入到下一个大语言模型的迭代中。

与此同时,OpenAI 最近的数据收集策略还引起了外界的关注,尤其是围绕版权和用于许可的问题。例如,今年 4 月,意大利监管机构还指控 ChatGPT 违反了多项欧盟隐私法律,随后将 ChatGPT 进行了“封杀”;今年 6 月,日本隐私监管机构就未经许可收集敏感数据向 OpenAI 发出了警告。6 月下旬,16 原告对 OpenAI 提起集体诉讼,指控其从 ChatGPT 用户交互中获取私人信息。

此外,OpenAI 还收到了 GitHub Copilot 的诉讼,原告称代码生成工具侵犯了开发者的权利,因为它在没有提供适当归属的情况下抓取了他们的代码。如果这些指控属实,OpenAI 以及同样被列为被告的微软,将违反《计算机欺诈和滥用法案》(Computer Fraud and Abuse Act),这部法律的应用在网络抓取案件方面有先例。

每日经济新闻
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|数学中国 ( 京ICP备05040119号 )

GMT+8, 2024-5-2 09:46 , Processed in 0.064453 second(s), 15 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表