索尼搞了个大新闻!AI打败人类三冠王 登上Nature封面( 二 )



索尼搞了个大新闻!AI打败人类三冠王 登上Nature封面

文章插图
训练场准备好了,现在就是让GT Sophy真正成为一名会转弯、会思考的赛车手 。
行为者- 评价者机制
索尼使用了一种新的深度学习算法,也叫做量化回归的行为者-评价者(QR-SAC)方法 。
AI智能体会被扔到一个没有指令的环境中,并根据评价者(也就是价值函数)的评估来选择行动,并根据完成目标的结果而获得奖励或惩罚 。
比如,智能体会因为保持高速前进而获奖励,也会因为出界、撞墙或失去牵引力受到惩罚 。
这种奖惩机制使智能体迅速得到积极的反馈,慢慢开始熟悉在赛道上的行为 。
事实上,GT Sophy只用了几个小时就学会了在赛道上行驶,并很快就在Maggiore赛道上超越了17700名玩家:
但这种单纯的速度,或者说赛道完成进度上的奖励并不足以激励智能体赢得比赛 。
因为如果对手速度足够快,智能体就完全可以通过跟随并学习对手的“偷懒”的方式积累大量奖励,最终也能完成目标 。
于是,研究者们增加了“超车奖励”,并且,相对于对手的距离的改变也会与奖励积分成比例 。
同时,赛车的碰撞上也有奖惩机制,研究人员设置了一种较为保守的奖励:
在确保智能体能以足够强悍的驾驶风格赢得胜利的同时,也不至于会粗暴地将其他赛车赶出道路,而遭受真正的赛车规则的惩罚 。
最终,GT Sophy在GT赛车比赛中胜过了2021年TGR GT杯冠军、2020年国家杯世界冠军和2021年亚军、2018年国家杯亚洲/大洋洲冠军等多位世界顶级赛车手 。
在比赛中,GT Sophy在三条赛道上都取得了第一名 。
而在比赛中,它能够执行几种类型的转弯,有效地利用漂移,扰乱后面车辆,拦截对手并执行其他紧急操纵 。
不过,研究者也提到,GT Sophy在战略决策方面还存在着一些改进的空间:有时会在同一条跑道上留出足够的空间,让对手有机可乘 。
索尼要用它开发自动驾驶
看到这里,你觉得GT Sophy能力如何?
反正几位世界级选手们是服气了 。
在GT赛车世界级赛事上斩获三冠的宫园拓真(Takuma Miyazono)表示:
“Sophy的速度非常快,单圈时间胜过了此前对最佳车手的预期 。”
——在其中一场比赛中,GT Sophy Rouge以5.8秒的优势战胜了第二名山中智明(2021年TGR GT杯冠军),最快圈速为1:54.373,比山中快了2秒多 。
而GT Sophy的能力显然不仅仅能在游戏中大杀四方 。
斯坦福汽车研究中心联合主任Chris Gerdes教授就指出,GT Sophy背后的AI技术,可以帮助开发自动驾驶汽车:
GT Sophy在赛道上的成功表明,有朝一日,神经网络在自动驾驶汽车软件中的作用可能比现在更大 。
目前,神经网络算法在自动驾驶汽车软件中主要负责跟踪道路标记、感知障碍,控制软件则仍依赖于人为设定的规则 。
丰田研究所高级经理Avinash Balachandran也表示,“在赛车中应用机器学习和自主控制令人兴奋” 。
还有不少网友认为,这一AI或许与索尼新成立的电动汽车公司有关,或许再过几年,这个AI就能在其自动驾驶技术中看到了 。
当然对于索尼玩家来说,最期待的是:下个月上市的GT7能否加入这个最强AI?
好消息是GT7仍会登陆上一代游戏机PS4,没买到PS5的玩家也能尝尝鲜了 。
- THE END -
原文链接: 责任编辑:祥云


以上关于本文的内容,仅作参考!温馨提示:如遇健康、疾病相关的问题,请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容,希望对您有所帮助: