赛事转播由观众当导播?“自由视角”技术让冬奥观赛身临其境******
你是否想象过,通过任意视角“无死角”观察比赛细节的新体验——随意滑动手机屏幕,比赛转播画面便相应转换角度,当选定角度松开手指,画面即以新的视角和位置播放;借助“子弹时间”技术,在比赛过程中“凝固时空”,全方位观看运动员的竞技瞬间……
“这个技术让我们坐在家里却好像置身赛场,360度想看哪里就看哪里,紧紧跟上瞬息万变的赛场形势。”使体育赛事观众感到新奇的这一体验,是国家重点研发计划“科技冬奥”重点专项“冰雪项目交互式多维度观赛体验技术与系统”中,由优酷参与研发的历时两年多研发的“自由视角”视频技术所带来的。该技术于2021年4月亮相“相约北京”冬季体育冰上项目测试活动,分别在国家体育馆、五棵松体育馆运行测试。
赛事转播新技术的惊艳亮相,进一步推动着科技创新与冬奥赛事深度融合。通过我国企业自主研发的“自由视角”视频技术对冬奥冰雪项目进行示范播出,观众可使用电视、手机或VR设备,通过自主交互连续改变视角和位置,既可以让画面静止以观察某一个比赛瞬间的不同角度,又可以让画面保持流动而不打断比赛,让观众自己当“导播”,突破传统的定点和被动式观赏赛事,提升用户观赛体验。
观众体验自由视角观赛
“我们看到的画面并不是由相机单纯拍摄的,而是通过算法渲染出来,根据三维程序补充出来的。”优酷“自由视角”系统课题负责人盛骁杰介绍,在测试活动中,国家体育馆内的U型架上共架设40台相机,总长度达210米。通过三维重建和渲染,可以渲染出任意时长和帧率的精彩特效片段,相当于1200台相机同时拍摄拼接的效果。无须特殊装备,也不用专门的带宽,仅需手持5G手机,搭配5G网络,冰雪“发烧友”就可以便捷实现高质量的交互式观赛。
据了解,在内容生产上,“自由视角”技术能嵌入转播信号,实现多角度、清晰的即时三维比赛细节还原。针对冰球比赛,这一技术以重点镜头和氛围镜头为侧重,能够让观众感受到冰球赛事独特的魅力。此外,该技术可协助裁判更快速、精准地做出判罚,还能使运动员和教练员在日常训练中多角度直观回顾场上细节。“它可以直接植入到普通的转播当中,比如场上比赛的某一瞬间,观众或裁判没看清楚,系统可以随时生成一个360度的信号提供给裁判和转播商,能够很好地解决判罚和观赏方面的问题。”盛骁杰说。
“‘自由视角’技术的目标是建立交互式多维度观赛体验系统。具体来讲,我们想实现全新的观赛体验。”“科技冬奥”重点专项“冰雪项目交互式多维度观赛体验技术与系统”项目负责人、北京大学博雅特聘教授陈宝权表示,这一技术的第一个特点是实现了多视点观赛功能,第二个是交互性,观众可以决定自己的视点,选择其最舒适的视角去看精彩的比赛。同时,“自由视角”技术还实现了多终端的观看,除通过电视收看外,还支持手机端和VR设备观看。“戴着VR设备,不需要手的交互,而是通过人们身体的自然交互,VR设备的视角能使我们进一步达到身临其境的观赛体验。”
工作人员对自由视角视频直播作测试
事实上,在应用于北京冬奥会赛事转播前,“自由视角”技术已成功落地多档综艺节目及CBA、CUBA等体育赛事场景。而测试活动中所使用的“自由视角”技术和以往的应用有所不同,项目组形成了具有自主知识产权的端到端自由视角点播和直播系统,将8K“自由视角”系统从现场阵列采集、云端三维重建、编码传输到终端解码渲染都做到了端到端实时处理,从而达到能够支持冬奥相关赛事直播的技术水平。(孔繁鑫)
人工智能,如何妙笔“生”画******
核心阅读
输入一段话,“绘”出一幅画——人工智能的绘画本领,吸引众多职业画师和零基础用户尝鲜。人工智能绘画的本质是计算,接受“语言描述”指令后根据自身的理解还原出图像。未来,人工智能技术应用于艺术创作等领域,还要注意防范潜在风险,让技术进步更好地造福社会。
不用画笔、颜料,输入一段描述性文字,计算机就能自动解析,生成相应的画作。2022世界人工智能大会上,人工智能绘画的展示令观众惊叹。
一些过去专属于人类创作的领域,比如绘画、书法、写作、作曲,如今人工智能也已开始涉足。人工智能是如何绘画的?当前沿技术与艺术相遇,将碰撞出怎样的火花?在内容、版权等方面又是否存在问题?
从文本到图像,人工智能绘画本质是计算
人工智能绘画是一个从文本到图像的生成过程,输入一段话,生成一幅画,本质是计算。简要地说,计算机通过大量学习,能识别特定图片元素和文本之间的关联。同理,人工智能程序在收到“语言描述”指令后,可以根据自身的算法还原出图像。
设定计算机程序作画的想法由来已久。早在20世纪70年代,就有艺术家开发了操作机械臂的电脑程序,让机械臂按照指令在画纸上作画。近些年,人工智能技术日新月异,科研人员尝试设计自动作图的计算机程序。但过去很长一段时间,人工智能“画”出的作品普遍不够好,往往只是一些模糊的图像元素的组合,还称不上是完整的画。
今年以来,人工智能画技迅速“进化”。谈及技术突破原因,百度文心一格总架构师肖欣延认为,这是预训练大模型的兴起、大数据的训练和扩散模型的出现3方面共同作用的结果。
具体来说,预训练大模型增强了人工智能的通用性,成为人工智能技术及应用的新基座;大数据的训练中,通过在众多高性能GPU(图形处理器)算力资源中进行并行学习,计算机能够在短时间内完成大量的数据学习。近年来,几乎所有人工智能的技术发展都受益于这两方面的进展。而对人工智能绘画来说,扩散模型的出现至关重要。
扩散模型的原理是,通过人为逐步添加噪声,让图像逐渐变“模糊”,再不断学习去噪过程,如此人工智能就能从完全是噪声的图片中逐渐还原出清晰的图片,即“画”出图像。
“这一过程与人类学习相似。通常,人们学画从临摹开始,机器也是如此。它最初生成的图像可能很模糊,但计算机会不断修正,从而输出越来越清楚、层次越来越丰富的图像。”肖欣延说。
扩散模型让人工智能绘画技术实现跨越,不仅作画质量快速提升,生成时间也缩短到几秒钟。
众多用户尝鲜,大量应用加速“画技”进化
汤林杰是某互联网公司的运营人员。工作中,他需要借助一些图片来丰富文案,而网络上找到合适的配图并不容易。今年10月,了解人工智能绘画程序后,他尝试自己“画”图。现在,人工智能绘画工具已经是他工作的重要辅助。
随着算法模型对公众开放以及训练数据成本的下降,人工智能绘画门槛越来越低,一些简易化操作平台在国内外兴起。如今,不仅一些职业插画师尝试用人工智能绘画程序辅助作画、激发灵感,许多没有绘画基础的用户也开始尝鲜,并“晒”在社交平台上。
大量需求的涌现也加速了技术的更新迭代。“用人工智能绘画的人越多,算法就越能理解输入的描述文本,画作质量就越高。”肖欣延表示,当前人工智能绘画水平与今年初相比,已经有很大进步。
不过,目前的人工智能绘画技术并不完美。首先,可控性仍然不高,即计算机不能很好理解人类指令的含义,即便是输入“画两个苹果,左边红色,右边绿色”这样的简单描述,生成的图像也可能有很大偏差;其次,细节呈现能力还不够。比如,对空间、透视和光影的刻画就很不如意。不少人工智能渲染出的画作,初看上去惊艳,认真观察问题却不少。
但肖欣延认为,人工智能绘画在技法上的缺陷未来有望得到弥补。比如,基于跨模态大模型和强大的深度学习框架,百度开发的技术一定程度上已经缓解这些问题。此外,未来人工智能不仅能作画,还能根据文本描述生成视频,并直接配上解说文字,“可以把视频生成看作是维度更高的绘画,从技术层面看,这是可以实现的。”
防范潜在风险,守住法律和伦理底线
人工智能进入绘画领域,计算机会取代人类画师吗?
在肖欣延看来,好的绘画与构图、设计语言、视觉情绪息息相关,即使人人都可以用人工智能技术作画,但通常只有高水平的画师才能制作出优秀的人工智能绘画作品,“人工智能只是作画的辅助工具”。此外,虽然有的人工智能绘画语言娴熟,也包含细腻的情感,但并不意味着机器有意识、情感,它不过是学过类似的作品,又恰好呈现出来了。“优秀的艺术作品往往是人的思想的投射,目前机器并没有真正具备思考能力。”肖欣延说。
不少业内人士认为,不妨以开放的心态拥抱人工智能绘画,接受新事物。可以预想,将来绘画中一些繁琐、重复性的工作可能由计算机完成,创作者能腾出更多时间去构思想法与创意,调整构图、色彩、光影氛围等。
“人工智能可能会激发绘画创造的活力。”肖欣延表示,20世纪前后,照相技术让传统肖像画失去市场,促使一些画家向非写实方向创新。与人工智能技术融合,或许能激发画家创作出别开生面的作品。
不过,由于人工智能绘画发展刚刚起步,技术发展也引发关于版权、内容把控等问题的争议。比如,有人认为,未经授权人工智能画作模仿原画的内容、构图和风格等,侵犯了原作者的版权,有违法嫌疑。也有人认为,“机器学习”过程是一种类人化的创作行为,同样体现了创造者的思想和劳动,应当获得版权保护。此外,还有人担忧,人工智能绘画技术若被滥用,可能滋生暴力等令人不适的图像。面对新技术发展,有必要前瞻潜在的风险,只有守住法律和伦理底线,技术进步才能更好地造福社会。
不只是绘画,写作、作曲、生成短片,人工智能日益强大的深度学习能力,让它与不同艺术门类发生着奇妙的碰撞。展望未来,业界专家认为,人工智能与艺术融合,一方面会降低一些艺术门类的创造门槛,让更多人参与到当代的审美创造中来;另一方面新技术会带来新的审美风格,人们或许能从中扩展对自身和世界的认识。
记者 喻思南