二、视听媒体虚拟现实技术应用

从莫顿·海利阁1957年获得专利算起,虚拟现实技术已经有超过60年的历史,但是该技术大规模应用在影视、游戏、教育、医疗、工业设计等各个领域只是最近几年的事,所以VR现阶段并没有成为像电视、广播、平面媒体等这样边界相对清晰的媒体形态。本书主要研究电影、电视、网络视频、纪录片、新闻、直播、图片等主流视听媒体形态和VR的结合关系。VR游戏、教育、医疗、旅游、房地产、工业设计等虽与视听媒体有一定的关联,但按其本质将其归属于VR实际应用技术,暂不列入本书的研究对象范围。

本部分重点介绍互联网VR平台、移动互联VR平台、内置App的VR一体机(头显)、VR线下影院的虚拟现实技术应用情况。

(一)中国视听媒体虚拟现实技术应用概况

1.中国互联网三巨头BAT(百度、阿里巴巴、腾讯)在2016年前后都开展了VR业务

2015年12月,百度视频正式向外界推出VR频道,凭借其强大的搜索引擎成为当年国内内容最丰富的VR内容资源平台。百度后来对其VR业务进行了整合,包括内容聚合平台百度VR App、技术开放平台、VR广告解决方案和VR行业解决方案等。百度VR拥有国内独家的Web VR技术,依托百度独有的内核渲染能力,对普通网页进行VR化,可快速引入海量第三方资源,包括3D电影、VR直播、全景视频、全景图片、VR网站等,全面兼容市场上主流的VR眼镜,并提供裸眼全景和VR沉浸两种模式,结合语音交互、手势识别等先进技术,为用户提供沉浸式VR浏览体验。

爱奇艺作为百度旗下的视频平台,在VR内容建设方面比较突出。在VR内容自制方面,爱奇艺2018年推出多部以恐怖类、科幻类题材为主的VR内容,如《寻人大师之注意危险VR版》《鬼吹灯之牧野诡事VR版》《灵域VR版》等。同时,在综艺方面,推出了VR全景视频和VR衍生节目《偶像练习生之VR恋之物语》。在内容合作方面,爱奇艺与Adrift Pictures建立紧密合作,每周在爱奇艺VR平台独家上线1部全新VR视频;Venus Reality的定制主题内容以每周更新2部的频率独家上线爱奇艺VR平台。

在影院场景下,爱奇艺精心打造的原创视频《无主之城》《神探蒲松龄》4D座椅版VR内容将在数字王国空间VR影院首发上映。而在综合娱乐中心场景下,也将热门IP《仙剑奇侠传4》《神探蒲松龄》的多人大空间定制版VR在艾葵斯VR综合娱乐中心首发上线。另外,爱奇艺还将针对《机器人争霸》超级网综IP内容开发面向主题公园的VR体验项目,为用户带来全国首家原创定制的全感式沉浸体验。截至2019年年底,爱奇艺VR应用已经形成了比较稳定的内容板块,主要有VR全景、3D、电影、电视剧、体育、动漫,VR全景内容累计有300多个,电影2000余部。

2016年年初,阿里旗下的优酷土豆进入全景视频领域,“两会”期间推出了VR版点播两会节目。大朋VR入驻阿里VR实验室,大朋VR一体机在淘宝平台众筹。网站设有VR频道,但内容极少。优酷VR App提供VR视频搜索功能,设有综艺、影院、极限、美食、搞笑、明星、旅行、汽车和直播等栏目。截至2019年年底,优酷VR应用中的内容已经整合为巨幕、360°、直播三大板块,巨幕下设3D影院、院线大片、电视剧、综艺和动漫,资源超过600部。

阿里的VR战略布局和百度有所不同,技术对于阿里来说只是入口,最终的目的是把VR扩展到商业。百度的目标是通过搜索引擎的聚合功能,通过视频内容完善其技术平台,提供行业解决方案。腾讯的重点则在交互和应用的设计上,等待5G技术落地,为将来的VR游戏和VR社交奠定基础。在第五届世界互联网大会上,马化腾表示会认真地考虑对VR版本微信的开发。2017年,腾讯发布了腾讯炫境VR App,截至2019年年底,只有少量内容更新。次年腾讯发布了QQ浏览器VR App,互联网页面VR化,同时开发了专用于头显系统的腾讯视频App,为腾讯视频海量的内容提供VR头显入口。

互联网平台VR内容不足,App资源分类更多基于传统2D、3D内容成为BAT三巨头虚拟现实技术应用方面体现出来的共同特点。基于安卓和iOS的移动VR平台上,各家的原生VR内容都不是很丰富,更多的是移植各个视频平台原有的节目,汇集成VR在线影院和综艺节目等栏目。对于这些大量二维、少量三维的框式内容,VR只是一个和影视传统媒介相似的播放平台。

2.专注于虚拟现实技术的影视公司则更早进行了技术的研发和内容的创作

数字王国(1993年由詹姆斯·卡梅隆、斯坦·温斯顿、斯考特·罗斯共同创建的电影特效公司,2012年被国内资本收购)在VR领域的贡献,集中在虚拟人的舞台呈现上。虚拟人技术是指运用计算机图像生成技术(CGI)制作数字人类(Digital Human),再通过全息影像技术呈现在舞台上的一种数字技术。和通过头戴设备观看的虚拟现实内容不同,虚拟人可以被裸眼直接观看,观众端不需要任何辅助设备。数字王国早在2012年就创造了虚拟人图派克(TUPAC,美国说唱歌手),2013年实现了邓丽君的虚拟人与周杰伦的隔空对唱,随后用同样的技术制作了李荣浩演唱会、“康熙来了”等VR视频内容。

按照数字王国自己的定义,虚拟人可分为三个类别:在世(Living)、传奇(Legend)和创造(Creation)。“在世”不仅要制作和真人当下一致的虚拟人,还要模拟出不同年龄段的状态;“传奇”意味着“复活”已过世的经典人物造型;“创造”则是完全使用数字技术制造新的虚拟人。如果把这项技术放在社交背景下,虚拟人可以成为人们在虚拟世界的化身(Avatar)。

在VR视听内容创作方面,数字王国2015年制作了VR电影Evolution of Verse、VR广告Nike Hyper venom II-The Neymar Jr.Effect、VR MV Blank Space,2018年推出原创VR动画片《山与海》。数字王国参与了《泰坦尼克号》《速度与激情(七)》《复仇者联盟》《死侍》等100多部好莱坞电影的特效制作,积累了大量的城市三维建模数据,这被认为是构建VR场景的重要数字资产。不过,电影特效渲染所需的计算资源远非现在的VR平台运算速度所能承受。这些资产在VR领域的“变现”还需假以时日。

小米、360等公司,专注于开发硬件,资本的投入不均衡。“从整个VR产业的实际发展状况来看,硬件支持是VR产品及服务得以落地的重要基础,而内容则是该产业得以快速发展的核心驱动力量。与国外相比,我国VR产业相对落后,无论是硬件还是内容,都存在着一定的问题,而且企业之间缺乏有效联动,没有建立起统一的行业标准和技术规范。VR内容需要有一个较长的创造周期,存在较高的技术壁垒,这导致国内投资者主要投资的是硬件,在内容生产方面的投资明显缺乏积极性。但国内一部分VR领域的探索者,近年来也逐渐意识到了VR内容在建立核心竞争力方面的极大优势,在投入资源研发硬件产品的同时,在内容创造方面也给予了足够的关注。”[11]

(二)海外视听媒体虚拟现实技术应用概况

作为一种新的媒介形式,VR沉浸感吸引了新闻媒体的关注,增加新闻的“在场感”,在时间碎片化的时代捕获更多的注意力。纽约时报、BBC、ABC News、国家地理等知名传统媒体也纷纷试点“VR+新闻”“VR+纪录片”等呈现形式。经过几年的内容创作积累和技术探索,2018年,VR内容的发布全面转向VR应用平台,Oculus Experiences、Google Play等应用商店成为虚拟现实内容的集散地。虽然VR内容的增长放缓,但平台新技术的开发和内容提供商的互动越来越深入,具有真VR特质的作品得以积累,为即将到来的5G时代积蓄能量。

1.传统媒体

(1)纽约时报(The New York Times

在2014年美国计算机协会计算机图形专业组组织的计算机图形学年度峰会上,虚拟现实技术吸引了纽约时报的注意。2015年,纽约时报正式启动了VR内容制作项目,先后制作了20多个VR纪录片。同时,时报投资100多万美元同步研发了虚拟现实内容发布平台——NYT VR。2016年4月,时报和谷歌合作,向订阅杂志的用户赠送了100万个Cardboard眼镜,用户看到的第一篇VR报道是《流离失所》(The Displaced)。5月,NYT VR成为纽约时报App——NYTimes 2008年发布以来下载量最高的App。6月NYT VR获得戛纳国际创意节移动类至尊大奖,VR作品Nature Is Inspiring Our Industrial Future获得了“虚拟现实体验”行动创意奖提名。

为了扩大VR内容的覆盖范围,突破VR观看设备的限制。纽约时报与三星合作(如图3-3-8所示),2016年11月1日推出了虚拟现实视频平台——The Daily 360,以全景视频的方式向它的用户提供新闻,纽约时报自己称之为体验新闻的新方式——“VR+新闻”。The Daily 360的第一部VR视频《在也门的空难废墟中》(In the Rubble of an Airstrike in Yemen),由普利策奖获奖摄影师泰勒希克斯和记者本哈伯德拍摄。

图3-3-8 纽约时报和三星合作发布VR视频

严格来说,基于网页浏览器技术的虚拟现实产品不能称之为典型的VR,而是360全景视频。在2015年纽约时报开始创作VR内容时,苹果操作系统中的Safari还不支持这种格式。按照技术发展的逻辑,VR平台是完全不同于互联网的新一代计算平台,基于网页格式的360全景视频更多的是基于推广普及的需要,只是阶段性的产品。The Daily 360持续更新了426天,发布了435个360度全景视频,基本上实现了每天一部VR作品的承诺。之后时报的VR相关内容转移到了专属的虚拟现实平台。

纽约时报在2016年9月份发布了Life VR App,全面涵盖旗下《时代周刊》《人物》《娱乐周刊》和《体育画报》的内容,包括新闻报道、旅游、体育等。作为最早尝试VR新闻创作和传播的开创者,纽约时报证明了“VR+新闻”可以成为新闻传播的一种新类型。叙事新闻作品有:Sensations of Sound、Great Performs:Natalie Portman、Man on Spire、Lincoln In The Bardo、How I Become a Laugher Yoga Photographer、Policing Flint、The Displaced、Vigils in Paris。文体类新闻作品有:The National:Something out of Nothing、Notes on Blindness、The Creators:Taryn Simon、The Creators:Rob Pruitt、Great Performers、Take Flight、Walking New York、The Modern Games。自然景观类作品有:Pilgrimage、The Click Effect、The Land of Salt and Fire、Under a Cracked Sky。科普类作品有:Experience Eclipse Totality、Seeking Pluto's Frigid Heart。《流离失所》讲述了三个孩子在叙利亚战争中艰难生活的故事,第一次把受众“代入”新闻事件现场。《寻找冥王星的冰冻之心》突破传统科教片的边界,提供给观众的是一次虚拟旅行。《守夜巴黎》(Vigils in Paris)再现在恐怖袭击发生后的巴黎,夜晚受众跟随市民在街头摆放蟠烛,诵经祈福。纽约时报对多种新闻题材进行了尝试,这对VR新闻的发展影响深远。

互联网视频平台不适合传播VR内容,一体机或头显内置的VR浏览器技术也并非理想的人机交互界面,这些可以视作纽约时报互联网视频平台VR新闻日常化的实验。谷歌的Cardboard和三星的Gear VR需要和用户的手机一起使用,手机的分辨率一般在2K以下,纱窗效应影响了用户的体验。在内容供应方面,纽约时报创作的VR内容大多都不具有唯一性,不能很好地表现VR的本体特征。以现在的技术水平和创作理念来衡量,时报的VR新闻还有许多缺憾,但以历史的视角来看,时报开创性的探索实践开辟了VR新闻的新时代。

(2)英国广播公司(BBC)

2015年BBC和REWIND工作室合作[12],制作了一档VR真人秀节目《舞动奇迹》(Strictly Come Dancing)。2016年BBC推出了一款App,能够对西格夫里·萨松(Siegfried Sassoon)的诗歌进行VR可视化操作。试验成功后,BBC把自己纪录片创作上的巨大成就和VR技术结合,推出了一系列VR纪录片,发布在Oculus Rift以及Gear VR平台。

从360度全景展示,到CGI手段介入互动叙事,BBC在VR影视创作交互体验方面进行了大量的尝试和创新。比较有代表性的作品有:《刚果VR》(Congo VR)、《复活节崛起:反叛的声音》(Easter Rising:Voice Of A Rebel)、《生命VR》(Life in VR)、《发出噪音VR》(Make Noise VR)、《他们什么也没做VR》(People Just Do Nothing VR)、《战地明信片VR》(Nothing To Be Written VR)、《1943柏林空袭VR》(1943 Berlin Blitz VR)、《旋转的森林:一个互动的童话VR》(The Turning Forest:An Interactive Fairytale VR)、《尼罗河筑坝VR》(Damming the Nile VR)、《我们等待:一个移民故事VR》(We Wait:A Migrant Story VR)、《跨越天空:穿过喜马拉雅山徒步上学VR》(Crossing the Sky:Trek to School through the Himalayas VR)。

《复活节崛起:反叛的声音》是BBC为纪念1916年爱尔兰复活节起义100周年而推出的VR纪录片。观众“置身于”柏林街头,跟随19岁少年Willie McNieve的脚步,回顾那段反抗英国政府的真实历史。《复活节崛起:反叛的声音》由伦敦BBC iWonder公司开发制作,并得到了Crossover Labs和VRTOV工作室的Oscar Raby在技术方面的支持。

由BBC VR Hub和BBC News制作的纪录片《刚果VR》是2018金玫瑰奖(Rose d'Or)获奖作品《尼罗河筑坝VR》的续集。在这部纪录片里,观众和BBC新闻非洲记者Alastair Leithead一起“身临”刚果,在首都金沙萨加入俾格米人的森林狩猎,和联合国维和部队一起应对激进组织和埃博拉疫情,深入雨林近距离接触东部低地的大猩猩,体验和了解这个国家,改变一个多世纪以来刚果民主共和国“黑暗之心”的形象(如图3-3-9所示)。

《生命VR》由游戏工作室Preloaded与BBC Studios联合制作,这部VR纪录片将海底世界的奇观与虚拟现实的乐趣融合在一起,它的主题与食物链有关,讲述各种生物之间相互依存的故事。奇妙之旅在加利福尼亚海岸、在太平洋的蒙特雷湾、在宽阔的海域上正式开启,这部作品将叙述周期精确到十二个小时,一路沿着旅程前进,每一个章节都会出现不同的生物,同时,引领用户进入下一章节。这部VR动画纪录片运用了谷歌的WorldSense追踪技术,不需要外部传感器即可识别观众的动作,影片中的水下生物会同步响应这些动作。BBC在平衡虚拟现实的自由探索性和故事本身的叙事性上进行了可贵的尝试。

图3-3-9 BBC《刚果VR》

(3)ABC News

早在ABC News推出VR频道之前,ABC News就已经尝试利用VR为自家的网剧做宣传。ABC News为犯罪剧《Q谍网》制作的VR短片《缉凶VR》(Quantico VR),以第一视角、参与式方式展现警方的一场抓捕行动,不仅为观众提供了一次沉浸式体验,还巧妙地将赞助商雷克萨斯的新车广告完美结合到了剧情中。

ABC News VR的代表作品有《盲光:重温2017年美国日食VR》(“Blind Light”:Relive the 2017 Great American Eclipse in VR)、《身处隐秘王国:朝鲜之旅VR》(Inside the Hermit Kingdom:VR Journey in North Korea)、《与鲨鱼同游:体验金哲鲨鱼潜水VR》(Swimming with sharks:Experience Ginger Zee's shark dive live in virtual reality)、《抢救面临ISIS威胁的叙利亚文物的飞行》(The Fight to Save Syria's Antiquities From ISIS)、《地震损毁后的尼泊尔加德满都:一场VR体验》(Earthquake-Ravaged Kathmandu,Nepal:A Virtual Reality Experience)等。

2.应用商店

海外最具代表性的VR应用商店是Oculus Experiences和Google Play。

Oculus Experiences中的栏目众多,和视听媒体虚拟现实内容直接相关的栏目有两个:电影与故事、纪录片与历史。截至2019年4月15日,电影与故事栏目下有110个应用,纪录片与历史栏目下有33个应用。受VR投资遇冷的影响,这两个栏目中应用的月增长比较缓慢,但质量上乘。

Google Play并不像Oculus那样专注于VR技术开发和内容生产,它是一个综合性的应用商店。Google Play也没有专门为视听媒体虚拟现实内容划分的栏目,通过关键词搜索,截至2019年4月15日,有关VR的应用有250个,大部分属于VR游戏和VR体验类内容。

两大应用商店中有一些VR应用合集,像Google Play中的应用《虚拟现实恐怖影片360》汇集了2018年度大量的恐怖VR电影;《虚拟现实360 VR视频》等应用也是类似的合集。如果将合集中的VR应用单独计算,两大应用商店中的VR应用数量会比上文统计的数字多出不少。

3.网络视频平台

海外主流的视频平台YouTube和Hulu均有虚拟现实的应用及视频短片。YouTube VR channel是YouTube的官方虚拟现实频道,于2015年1月26日注册,到2019年3月共有317万次订阅,子栏目有探索VR180视频、极限运动、游戏世界、感受音乐盛宴、探索世界、沉浸式故事。2016年至2017年YouTube VR视频高速增长,积累了70多万部VR视频。2018年增速放缓,新增加约10万部视频,至同年年底YouTube上的VR视频共有80多万部。[13]VR视频内容正在增长,但它在整个数字视频消费中的占比还比较小。Hulu是由美国NBC环球、新闻集团以及迪士尼联合投资的视频网站。2016年3月Hulu在Oculus应用商店推出虚拟现实应用,视频的制作方包括国家地理、探索传播、Baobab Studios、Showtime电视网、维亚康姆集团、RYOT等。Hulu的在线电视属性,决定了其虚拟现实应用的重心是虚拟客厅和虚拟影院。虚拟现实既是视听内容创作手段和呈现方式,亦可成为传统视听内容新的发布方式。和Hulu的操作类似,三星为全球最大的在线影片服务提供商Netflix,提供了一款App,模拟虚拟的客厅,观众可以使用VR一体机或头显设备观看线上的影片。