沈向洋院士在2024年IDEA大会上发表的演讲,围绕“从技术突破到产业融合”的主题,对人工智能的“三件套”(算力、算法、数据)进行了深入剖析。他强调,随着技术的爆发,对技术的深度理解变得尤为重要。他预测,未来十年AI的算力需求可能会增长100万倍,远超摩尔定律预言的100倍增长,而英伟达在AI行业中的成功与贡献不容忽视。
沈向洋指出,每年最新的大模型对算力的需求以惊人的速度增长,年均增长率超过四倍。他表示,英伟达已成功将自己从硬件、芯片的供应商转变为行业的核心支柱,现在的行业里流传着“英伟达把自己从乙方变成了甲方,而今天能拿到英伟达的卡,就等于成功了一半”的说法。
沈向洋还透露,明天将与英伟达创始人黄仁勋讨论技术、领导力和创业的故事,特别是在算力发展的问题,探讨未来十年是否还能像过去十年那样实现100万倍的增长。
沈向洋会后向钛媒体App透露,Scaling Law(尺度定律)放缓的原因与数据相关,GPT-5还未发布,其背后与数据的规模有关。
IDEA研究院是沈向洋于2020年创建的,旨在面向AI和数字经济产业及前沿科技的研究。此次大会,研究院发布了多个领域的新技术和新模型的前沿研究与产业落地成果,从视觉、具身智能、合成数据、AI for Science、AI for Coding到低空经济等,实现了AI从技术突破到产业融合。
沈向洋表示,在AI时代,新的编程范式必将催生,中国开发者将起到关键作用。他预测,如果GPT-5问世,可能需要200T规模的数据。同时,沈向洋强调AI正在改变科研方式,从“确定方向”到“选择课题”,再到“深入研究”,每个环节都将被重塑。他认为,接下来几年,算法沿着SRL(强化学习)这条道路走下去,一定会有令人惊艳的全新突破。
(本文首发于钛媒体App,作者|林志佳,编辑|胡润峰)
以下是沈向洋演讲的精彩部分:
今天是IDEA研究院在深圳举办的第四届IDEA大会。回顾发展历程,三年前的第一届大会上,IDEA首次向公众展示了研究院的工作成果。如今,经过四年发展,IDEA研究院已发展成拥有7个研究中心、约450名员工的科研机构。
沈向洋强调,人工智能的蓬勃发展让整个行业充满憧憬和期待。他提到,过去几年,人工智能的“算力、算法、数据”这三件套始终是核心要素。他分别从这三个方面,详细分享了自己的观察和思考。
首先是算力。他认为,随着人工智能的发展,对算力的需求呈现出前所未有的增长态势。根据EPOCH AI的数据,每年最新的大模型对算力的需求都在以惊人的速度增长,年均增长率超过四倍。如果继续这样的增长速度,十年间算力需求的增长将达到惊人的100万倍。
其次是算法。沈向洋提到,自2017年Transformer架构问世以来,人工智能、深度学习和大模型的发展基本上是沿着这个方向。如今,GPT-4及其后续技术的出现,展现了算法创新的新方向。他认为,沿着Self-Reinforcement Learning (SRL)这条道路,我们将看到更多令人惊艳的突破。
最后是数据。沈向洋指出,大模型的发展不仅依赖于参数规模的增长,还需要海量数据的支持。他预计,如果GPT-5问世,可能需要200T规模的数据。他强调,随着网上数据的接近极限,AI的进一步发展需要依靠合成数据,这可能催生新的百亿美元级创业机会。
沈向洋还提到,在人工智能时代,新的编程范式必将催生,中国开发者将起到关键作用。他认为,随着技术的发展,有可能实现技术市场匹配(TMF),从而跳过传统的产品市场匹配(PMF)过程。
在大会的最后,沈向洋表示,AI的发展正在对社会产生深远的影响,必须认真思考AI的治理问题。他强调,人工智能的影响不仅是对民众、公司、监管的冲击,更是对社会发展的冲击。他期待明年再见,并呼吁大家共同关注AI的未来发展。