12月5日消息,据Uploadvr报道,总部位于芬兰的诺基亚公司曾是手机行业无可争议的霸主,然而随着智能手机以及最新操作系统的崛起,诺基亚逐渐走向没落。但是经过几年的潜心研究,诺基亚决定利用360度全景相机OZO翻身,进军虚拟现实(VR)领域。
今年3月份,诺基亚发布了具有开创性意义的VR相机OZO,起售价6万美元。8月份,诺基亚将其价格下调为4.5万美元。如今,诺基亚已经出货大量此款设备,同时推出相关软件和服务,支持虚拟现实相机这个新兴市场。诺基亚公司虚拟现实业务负责人盖多·沃尔托利纳(Guido Voltolina)日前在该公司位于加州硅谷的研究中心接受科技媒体VentureBeat专访,谈及OZO在一次性捕捉和处理大量数据方面的优势,以及该公司的未来VR扩张计划。采访摘要如下:
VentureBeat:你们为何要推出VR相机OZO?
沃尔托利纳:这个项目和部门都被称为“存留捕捉”(Presence Capture)。VR的概念产生于Facebook收购Oculus之前,在真正的VR到来之前,显然VR的部分内容需要电脑生成,游戏就是最佳例证。但是我们看到它时,立即
想到:“如果这是一种新媒介,应该不仅仅有电脑生成的内容,人们可能还需要捕捉更多东西,比如他们自己、他们的生活以及世界上发生的各种事情等。”
我们必须看看什么样的设备能够尽可能多地捕捉数据,以便于当你完全沉浸于VR中时能够产生“存在感”。作为VR的附属技术,你还可以抓拍2D360度照片。但它可能只是解决主要问题时产生的副产物,这些完整的三围视听体验才能够重现“存在感”。
接着,我们的团队开始构思能够实现上述目的的设备。我们没有将现有的不同相机技术整合起来,而是专门为此设计了一款设备。OZO可能不是最好的2D相机,但其绝对是卓绝的VR相机。最终,这款相机的形状与人类头骨很像,就连两眼间的距离都与人类相当。它有8个摄像头组成,距离非常近,镜头领域可以大范围重叠。我们的设备可以捕捉两层像素,以满足两眼间距。有些设备有更大的距离,但这会导致你在VR中感觉与物体之间距离过近。
有了解决方案,我们开始集成8个麦克风,因为随着场景变换,我们可以捕捉到空间音频。当我与你在这里谈话时,我没有理由转身。而在大多数情况下,人们转身的唯一理由就是我们听到身后有声音。人类非常善于向声音发出的角度转身,即使我们的脑袋后面没有长出眼睛。我们的耳朵也非常善于感知声音的方向,我们将3D音频与3D视频融合起来,因为完整的沉浸式体验需要它们。我们很少随着周围移动的物体移动,而最好的线索总是声音提供的。
在观看2D电影时,拍摄电影的人知道你正观看屏幕,为此可通过放大、缩小图片或切换对话,来切换不同的场景。但在VR中,音频通常会让你转身,寻找其他人或其他东西。
我们的目标就是要捕捉现场事件。人们可以前往那些正常情况下因为不同理由通常无法访问的地方,比如花费太大、距离太远或根本不存在等。如果埃及金字塔被毁,我们可能永远无法再看到它们。但是在VR中游览金字塔,你
会觉得自己好像正置身其中。你可以想想自己乘坐时间机器回到了过去,抓拍到金字塔的真实场景,然后重新回到现在,可以无数次访问它。20年后,你的子女可能重新体验今天的感恩节晚宴,就像你今天回到过去同样的感觉。
VentureBeat:为何推出OZO堪称是一招妙棋?
沃尔托利纳:这与照片和视频的出现非常相似。最初,黑白照片也只是少数人能够接触的。即使最富有的人,每年可能也只会拍摄一次全家福。现在,我们的手机上已经拥有高分辨率摄像头,可以随意拍照。视频也是如此,最初人们只会雇人用其录制婚礼现场。接着,家用录像系统与数码相机开始出现。但是文字、照片以及视频并非互不相容,照片无法取代文字,视频也无法取代照片。我们依然会发短信,依然共享照片,依然在YouTube上发布视频。不同的媒体可以去做不同的事情。
VR只是另一种媒介。作为新的媒介,我们必须要专注于如何在虚拟现实中捕捉真实生活。有了这种设备,我们还必须考虑携带和分布数据以作为用于回放的技术。在OZO之后,我们又推出了OZO Live和OZO Player。我们将这些软件包授权给其他公司使用,以便于它们能够建立更高品质的VR播放器,或直播我们通过多部OZO相机捕捉的信号。
举例来说,我们曾前往奥斯丁市参加极限演唱会。我相信,制片公司在舞台的不同位置已经安装了8部OZO相机,而非一部。这就是我们正在尝试打造的前排体验,但我更希望自己能去那些正常情况下无法前往的地方。我想走上舞台中央,与迈克·贾格尔(Mick Jagger)或其他明星同台献艺。我可以挤入他周围成千上万的人群中。而在现实生活中,你可能无法做到这些,无论你付了多少钱。
VentureBeat:与其他360度全景相机相比,OZO有何不同?Facebook也展示了它们的设计。
沃尔托利纳:你现在看到的绝大多数解决方案都是多部相机的组合,它们要么有SSD卡,要么使用线缆。但是每部相机都需要SSD卡或线缆。如果有的相机有25个模块,你就需要25个SSD卡。当你拍摄时,你无法通过摄像头看到自己正拍摄什么,只有将它们拼合起来时,才能看到最终结果。
而这种与它们最大的不同在于,我们不仅有8部相机在同步拍摄,而且拥有可以实时抓拍和处理所有数据的大脑。这种的输出只有单一电缆,数据要么进入存储中,要么进入头戴式显示设备中。你可以看到相机正拍摄的场景,以实时角度直接观看,它就像正常的取景器。对于VR相机来说,能够实时看到相机正拍摄什么是非常关键的优势。
另一个关键优势是,OZO可以作为电池支持的独立设备使用,只需要内置SSD卡。你可以将它灵活地安装在无人机、汽车以及任何地方,它只有人头大小的尺寸,不显眼的设计是个很大的优势。这些拥有16或25个摄像头的机器拥有很强的入侵性。如果你想捕捉多个角度,你可以安装16个摄像头。如果你需要7个摄像头或需要100个摄像头怎么办?其中有的摄像头可能存在功能障碍,无法同步。而且当你需要更多摄像头时,三脚架就变得更为重要。
VentureBeat:每部OZO成本多少?
沃尔托利纳:目前为4.5万美元。现有的零部件开发已经不再推动价格增长。最初时,VR相机只有1个镜头和传感器。几所所有相关部件都有非常高的分辨率,但只有1个传感器。当你将8个组合起来时,其系统级芯片(SOC)必须协调所有传感器,但这种部件目前还不存在。我们只能创造现场可编程门阵列(FPGA)去完成前所未有的工作。你需要以每秒30帧的速度同步所有2K传感器,数据量非常庞大。没有任何零部件能够为1个系统级芯片中的8个视频流实时编码。
此外就是传感器本身,我们使用正方形传感器,这是鱼眼镜头抓拍场景的最佳几何形状。大多数传感器都是矩形的,那会导致大量传感器细胞未被利用。我们还需要所有图像完全同步,我不知道你是否熟悉卷帘快门(Rolling shutter)与全局快门(global shutter),但如果你有多个卷帘快门,它们从来都无法实现100%完全同步曝光。它会产生8张有细微差别的照片,当你将它们拼合起来时,就会发现无法匹配。我们必须引入全局快门,但其应用市场很小,因而成本更高。
镜头都是定制的,因为这种相机的几何形状以前并不存在。所有零部件都是为其特意设计的。事实上,市场上还没有数以百万计的相机,这令其零部件显得更加昂贵。
VentureBeat:如果OZO的定价如此之高,你认为哪些用户会被其吸引?
沃尔托利纳:我们从今年2月份开始在北美地区出售OZO,目前我们正将其销往世界各地,包括欧洲和中国。我们的主要客户是那些制作VR内容的工作室,尝试创作VR内容或360全景视频的人。当他们看到OZO时,立即发现其优势。尽管价格比较贵,但OZO却可为它们创作节省更多时间,特别是在拼合和后期处理方面,它可给出快速回报。
你可以想象下:当你在现场安排演员时,这可能是视频拍摄过程中最耗费时间和资金的程序。你要通过相机查看到现场发生的事情,并对演员进行实时协调;或许你要利用其它相机进行拍摄,直到最后才能回顾发生了什么事儿;亦或是你必须反复重新拍摄,这都需要耗费大量资金。
当前的VR体验主要用于额外的电影宣传。它们本身不属于电影,而是诸如《彼得的龙》和《丛林之书》等电影的VR体验。当然,还有许多广告、直播事件等,需要使用OZO拍摄。我们看到人们几乎每周都有VR体验直播事件发生,比如我们刚刚在中国完成了草莓音乐节的VR直播活动,直播对象包括好几个国家。
VentureBeat:到目前为止,有什么可以证明OZO取得了成功?流媒体直播还是制作录制内容?
沃尔托利纳:这取决于视频中的主角是谁,与是否直播没有太大关系。在迪士尼电影《爱丽丝漫游奇境记》中,歌手品克(Pink)为首映式举办了音乐会。当然,这吸引了许多观众。但我们同OneRepublic录制了新单曲《孩子》的音乐视频。它们发布了2D音乐视频,然后又发布了VR体验。这些不是直播,但所有社交媒体粉丝都感到好奇,他们可以观看视频,然后在VR中从不同的方向观看它。粉丝可以一遍遍观看,并从中发现新的东西。
另一个比较受欢迎的体验是《彼得的龙》。在VR体验中,你真的可以骑龙飞翔,可以看到龙的翅膀和尾巴。视频本身就像坐飞机,你可以在新西兰空中飞翔。但事实上,你却骑在龙身上,许多粉丝都被深深地吸引。这就是主题与故事相结合带来的优势。当然如果里面有明星,可能更有帮助。
VentureBeat:接下来你们要做什么?你们制定了未来计划吗?
沃尔托利纳:下一步我们将向两个方向探索。第一是寻找更有竞争力的方案。如果们能够捕捉到越来越多的数据,我们需要有效处理这些数据的观看设备,它们将变得越来越好。去年堪称Cardboard之年,今年我们开始看到Oculus和HTC的虚拟现实头盔。现在,我们有PlayStation VR、Daydream等。越来越多的VR设备将拥有更高分辨率,性能越来越好,沉浸感也将不断提高。
至少熟悉2D360度全景视频的人越来越多,这可以鼓励更多人去体验VR。这种技术能够让OZO Live或OZO Player提供更好的沉浸式回放体验,这就是我们接下来要做的。
VentureBeat:你们还要继续提高分辨率?
沃尔托利纳:绝对的。分辨率总是被提及,因为它是描述更高质量的简单方式。在有些时候,分辨率会达到令你无法分辨的程度。更好的视觉质量即将到来,包括拼合质量都已经有了巨大改进。有了OZO,你就可以获得3D拼合的OZO Creator软件。我们已经发布了3个版本,每次都进行了重大改进。另一个领域是用多部Ozo提供流媒体直播。我们支持不只使用1部相机产生VR体验的方法,它将由互补的、不同位置等元素构成。
VentureBeat:你们会帮助VR设备降价吗?
沃尔托利纳:当我们发布OZO时,其起售价达6万美元。到今年夏季,我们将其售价调整为4.5万美元。理由是,最初几个月中,我们只制造了几部VR相机,我们不确定是否应该扩大生产规模,以供应全球市场。我们最先在北美开始销售,想看看这款产品是否会受到好评,随后我们才会扩大生产规模。8月份时,我们开始下调价格。由于这是一种专业设备,许多租赁公司都购买了它们,就像购买索尼或松下的高端相机那样。
VentureBeat:在某个时候,零部件可以移动到应用专用集成电路(ASIC)上吗?你们会实现规模经济吗?
沃尔托利纳:在某种程度上,我们可以做到这一点,但需要在数量与时间方面进行权衡。应用专用集成电路的效率非常高,只有当需要制造成千上万部设备时才会用到。你还需要不会以非常快的速度进化的产品。看看数码相机,它们正快速进化,但它们每次迭代都不会完全改变。或许开始时改进比较大,但它们现在已经处于稳定状态,每年有数十亿部配有摄像头的手机被制造出来。然而,市场上VR相机的数量依然不多。只有当系统级芯片和应用专用集成电路出现时,才会实现规模经济。
VentureBeat:如何衡量好的增长趋势?你们能统计出VR内容的长度吗?
沃尔托利纳:我们主要在三四个领域保持追踪状态。一个是头戴式显示器的安装数量。我们将Cardboard纳入统计中,但将它们单独分类。你永远也不会知道是否有人使用Cardboard,或许你将其送给了孩子,或许最后被扔进垃圾桶。但像三星Gear VR等显示器,尽管我们依然不知道有多少被使用,但至少你已经具备某种使用能力。当人们花费500美元或700美元购买这些设备时,他们很可能会用到这些设备。
尽管高性能头戴式显示器的安装数量非常重要,但投入VR内容创作的资金同样不容忽视。如果这些VR内容多数以营销为目的,比如推销电影或产品,那么你需要找对受众目标。受众越大,针对这些受众的VR营销越多,这是另外一个促使VR爆发的驱动力。
我们还追踪VR内容中心,比如Oculus store、Little Star以及Disney VR等。你看了多少VR内容?与1年前相比,这种差别看起来就像天文数字,从几十到几百,很快就会达到成千上万。很好的东西不一定是最迷人的,但你可以看到整体水平在上升。
顶级VR体验的质量已经获得大幅改进。我不知道你是否看过最流行的VR内容,比如有个家伙与狗弹钢琴。每个人当时认为,这段内容非常棒。但如果你现在去看,不到1分钟你可能就会感到无聊。为何会如此?因为新的VR内容是真实的东西,而不仅仅是360度全景视频。
名为Magnopus的工作室曾创作出VR短片《The Argos File》,并为此赢得雨果奥斯卡奖。它就是使用诺基亚OZO拍摄的,这是个动作犯罪片,你可以通过受害者的眼睛看到许多事情。它的节奏很快,你就像在看真实场景发生那样,这是非常迷人的体验。
VentureBeat:OZO看起来即将成为良好的业务吗?亦或是依然需要更多实验?
沃尔托利纳:我们认为,OZO即将成为好的业务,但我不认为它目前已经处于成熟阶段。最好的对比就是我的砖头手机,业内许多人都在使用它们。第一款砖头手机实际上就是没有电线的电话,与iPhone根本无法相比。砖头手机最好的地方是拨号即可打电话,电池可以使用几个小时。
当然,我们正快速向VR行业的iPhone迈进,并在集成更多功能。但在某种程度上说,OZO的未来很难想象。在我所长大的世界,所有图片、视频都是长方形的。IMAX如今已然是巨大的长方形,只不过开始支持Minecraft和其他游戏,现在也支持VR视频。所有的孩子们都长大了,不理解为何此前受到如此多的限制。为何我们不去掉那个长方形外框?
对于我来说,这个概念就是如何改进VR。当然,我们无法坚持形式元素。与砖头手机与iPhone相比,形式因素的影响是惊人的,谁会知道它会变成什么样子。但是PlayStation VR已经取得显著进步。它可与你客厅中的设备兼容,并立即可使用。许多步骤变得更加顺畅,这就是我们认为这个行业正在增长的理由。
我们需要能够参与进来,并确保像现在的领导者地位。为此,我们需要保持创新,并尝试类似OZO这样的产品。我们很清楚,充当第一存在很大风险。
VentureBeat:与索尼的合作意味着可以创作更多新的VR内容吗?
沃尔托利纳:当然,我们已经与迪士尼展开合作,包括其旗下所有工作室,比如Marvel、Lucas、ABC以及Disney Nature等,这是迈出的一大步。索尼旗下也包括Sony Music,还包括电视节目和音乐视频。当我们商谈这些合作时,我们已经看向更广泛的娱乐。我们还与华纳兄弟合作拍摄美剧《重案组》,他们使用了OZO。这是个特别节目,当交易完成时,效果非常好,我们可以将OZO应用于不同的娱乐节目。
VentureBeat:你们看到有人开始制作更长的VR视频吗?
沃尔托利纳:我们看到人们往往将VR长视频剪辑成多个片段。执导《油脂》的导演兰道尔·克莱瑟(Randal Kleiser)创作了《Defrost》系列,在VR中分为10集。故事讲述你生活在某个处于冬眠状态中的人,接着他突然苏醒过来。家人再次见到你,但你根本不记得他们。所有的表演都在你周围进行,你坐在轮椅上,他们在医院推着你的场景一闪而过。每集大约15分钟。我认为,VR视频的长度可达60分钟或90分钟,现在VR直播已经可以持续60分钟。
VentureBeat:人们还有利用OZO的其他创意吗?我曾经在球场上空看篮球比赛。
沃尔托利纳:我们曾有人带着OZO攀上珠穆朗玛峰,这并非我们资助的。这个人购买了OZO,然后攀上珠峰。他再现了自己在一号和二号营地的经历。当然,很多喜欢运动的人喜欢将Ozo放在前排、篮筐下或赛车中。人们还带着它去了许多神奇的地方,比如危地马拉的火山内部。
与普通纪录片相比,不同的是你可以自由地四处观看,当然期间也要讲述故事。这种体验肯定是娱乐性质的。如果保持沉默,会显得非常无聊。如果你独自待在丛林中,四处走动,你很快就会失去兴趣。但是如果有人跟你谈论你看到的东西,而你可以随心所欲地四处观看,那就有趣得多!
至于新闻,你可以想象:甚至就连记者都不知道发生了什么,而你却可以进入事件现场。你可以不受拍摄者的限制随意观看,这简直太棒了!你可以重新访问这里,找到你此前从未看到过的东西。你拥有所有数据。红牛拍摄了许多VR极限运动场景。
本地事件、直播活动、新闻以及音乐,VR体验并不能替代视频,后者同样非常有趣,与VR可形成互补关系。你可以来我家观看比赛,我们共同看着屏幕,然后有人在社交媒体上说:“看看主场队的板凳!”你可以进入VR,看看我们在电视上观看的比赛现场发生了什么。
VentureBeat:我喜欢VR音频作品,音频如何吸引你们?
沃尔托利纳:我们认为一半的感觉需要音频驱动。如果你使用立体声音频或混合音频,效果与VR音频截然不同。
VentureBeat:我想知道这种技术最终如何使用?有些早期VR相机有36个模块,为何不使用更多模块?并非越多越好吗?
沃尔托利纳:这要根据你的数据量和你想要从中获得哪些好处决定。我们利用8个摄像头进行重叠覆盖,创造2层像素。但我们受到数据量的限制,因为我们需要现场监测,需要工作流程实时可行。这些摄像头可以捕捉非常多的像素,但你需要以特定方式转化数据才能看到图像。
此外,还有许多接缝。如果你增加摄像头的数量,的确可以捕捉到更高分辨率的画面,但接缝的数量也会随之增多。这就像你看到一面墙壁,上面有很多接缝,你可能觉得用大块玻璃代替它效果更好。当然,这也需要权衡成本。相比小块的玻璃,大块玻璃肯定更难运输。同理,接缝越多,计算量就越庞大。
之所以会限制摄像头数量,还因为我们想要更多灵活性。如果你内容被重叠覆盖,我可以选择不同角度的接缝,可以改变面对接缝的脸部位置,可以将其移到左侧或右侧避免问题。但是如果有太多接缝,向右移动脸部,就可能影响其他画面,这反而会影响灵活性。
VentureBeat:应用程序有何不同?你们的客户包括好莱坞摄影师、GoPro爱好者以及普通消费者。似乎不同的人可以使用不同的相机。
沃尔托利纳:如果你时间充裕且财大气粗,可以尽量拍摄和完善你的产品。但这也意味着,你拍摄的数据必须是最好的数据。你可以精炼所有数据,因为你有的是时间和资金。如果你的预算有限,这意味着时间更紧、资金更少,拍摄的人员也不多,你需要采用不同的方式。与大型拍摄不同,他们可能有摄影师、照明师、音响师以及其他诸多助理。而小的团队或许只有几个人,有的人需要承担多个角色,那意味着产品必须能够为更多角色做更多事情。
当然,也有刷单帮的人,比如战地新闻记者、录制婚礼现场的人或为公司拍摄教育视频的人。这些人的预算只有5000美元到1.5万美元,而非动辄数百万美元。他们需要快速工作,因为需要在1周内赚到钱,而非数月之后。时间设置非常重要,快速拼合和周转同样重要,因为他们需要能够尽快将作品展示给客户,然后获得报酬。
现在,OZO已经可以达到独立创作的阶段。但是对于刷单帮的人来说,尽管其只需1人操作,但其价格过于高昂。如果要拍摄婚礼场景,可以租用设备,而不是购买。将来,我们可能进行不同的投资,为不同的客户研发不同类型的产品。即使你不想要VR体验,你可能也会体验到这种感觉,因为设备足够先进。目前,2D360度全景视频和VR体验正快速扩展,但它们依然与正常视频差别不大。我要说,我们依然处于转投电话的时代。
VentureBeat:现在听起来这是个非常有趣的领域。
沃尔托利纳:它的确非常有趣,最让我感兴趣的是,我们可以在这个领域观看相同的视频,却可以获得不同的体验。即使我们都在观看视频,但我可以与你分享某些你没看到的东西。第三人可能分享前2个人没看到的内容。从社交角度来看,这是非常迷人的。即使我们曾见看到过,那并非意味着我们所有人都看到同样的东西。或许我会尝试你第二次使用的观看方式,这将变成非常有趣的机制。
VentureBeat:在CES上,你有什么内幕披露吗?
沃尔托利纳:我们会保持信息更新,并披露些新消息。总体来说,我们全年都在保持更新,因为我们正致力于许多不同的前沿技术。我们有相机、Ozo Live和Ozo Player软件以及其他技术,它们可以确保更好地观看视频、拼合视频以及直播视频。比如上次发布Ozo Live更新时,我们添加了多部相机支持功能,这是巨大的进步。
VentureBeat:诺基亚有多少人在从事这些工作?
沃尔托利纳:几百人。诺基亚这个部门有800到900人,包括数字健康、数字媒体以及授权团队。但我们正在壮大,正招募更多人才。
VentureBeat:大部分工作完成了吗?
沃尔托利纳:绝大部分研发工作都在芬兰进行,那是我们项目开始的地方。现在,65%的项目在芬兰,35%位于加州的森尼维尔。森尼维尔的业务正在扩张,但这里充满了竞争。这里有很多VR技术和大量VR投资。技术已经成为稀缺资源,它很像硅谷的技术潮。只要每个人都认为技术潮到来,投资就会突然增加。
VentureBeat:你们在关注增强现实(AR)吗?
沃尔托利纳:当然,AR是我们关注的另一个重要领域。AR现在有两层意思,第一AR是你所在的真实环境,但也有AR视频捕捉。正如你想象的那样,我可以捕捉特定区域的视频,AR不一定是我们周围的东西,可能是被捕捉的图像。这个领域非常有意思,只是你每次观看的都是相同的内容。
你会看到相同的视频,但取决于你观看或控制的方式不同,可以获得的信息也会不同。你可以更强交互的方式进行,每次你看视频时,都会发现新的东西,并提取不同的信息,增加些不存在的东西。如果别的事情发生,也可以交互的方式处理。比如我正观看会议记录,可以出现不同的人,或房间变得有点儿不同。
你可以看到计算机生成的VR与记录下的VR,但你可很容易想象两者混合的场景,特别是当回放平台相同的情况下。