半导体行业观察严格来说,现有的影片并不是真实的互动媒介,因为使用者只能待在屏幕前,平静地看着影片,而不能像《哈利波特》里的油画可以持续地骚扰画中人物或物体。然而经由 MIT 的技术,用户除了能实际“接触”并干扰影片中的物件,也能经由电脑演算法,模拟并预测物体被干扰后的情形。
MIT 的“电脑科学与人工智能实验室”(CSAIL)把这项技术称为“Interactive Dynamic Video”(IDV)。在示范中,MIT 的研究员除了展示透过鼠标游标,随意拉动影片中的吉他弦并让它振动,也可以让游标模拟自然风,使树叶随风摇摆。
MIT 指出,以往这类虚拟物件都是透过 3D 技术绘出无数张美术图与情境,例如电影特效,或是电玩效果。不过这种方式虽然能创造完美的画面,却得花上大量的时间以及制作经费,然而 IDV 却只需要一台摄影机与电脑就能完成:首先先让一台普遍摄影机拍下影片,即使 5 秒也可以,再放到电脑,电脑就能经由演算法自动判定影片物体的物理移动方式,并且“夸大”它的效果,进而让使用者能使用游标“影响”它们。
例如在示范影中,用户便可以透过游标让影片中的树丛摆动,拉动遮帘,或是弹吉他弦。MIT 也随手画了一些虚拟物体取代鼠标,例如卡通恐龙,并把它丢到遮帘,创造一种像是卡通龙实际碰触到真实遮帘的效果。有趣的是,MIT 也提到几个技术的应用方式,例如 Pokémon Go。日后用户在手机上看到的小火龙就不再只是浮在草地上的图片,而是能“踩”本地上,压弯小草,或者用户也能在电脑上看电影时,用鼠标拨动演员的头发或衣物。
不过,目前 MIT 能实证出来的互动效果仍不脱“震动”与“碰触”这一类。因此比较成熟的应用方式,应该是透过物理演算法,模拟建物本地震与风暴中的效果。
- MIT creates video you can reach out and touch
- Reach in and touch objects in videos with “Interactive Dynamic Video”
(首图来源:Flickr/Lane Fournerat CC BY 2.0)
如需获取更多资讯,请关注微信公众账号:半导体行业观察
相关文章









