半导体行业观察严格来说，现有的影片并不是真实的互动媒介，因为使用者只能待在屏幕前，平静地看着影片，而不能像《哈利波特》里的油画可以持续地骚扰画中人物或物体。然而经由 MIT 的技术，用户除了能实际“接触”并干扰影片中的物件，也能经由电脑演算法，模拟并预测物体被干扰后的情形。

MIT 的“电脑科学与人工智能实验室”（CSAIL）把这项技术称为“Interactive Dynamic Video”（IDV）。在示范中，MIT 的研究员除了展示透过鼠标游标，随意拉动影片中的吉他弦并让它振动，也可以让游标模拟自然风，使树叶随风摇摆。

MIT 指出，以往这类虚拟物件都是透过 3D 技术绘出无数张美术图与情境，例如电影特效，或是电玩效果。不过这种方式虽然能创造完美的画面，却得花上大量的时间以及制作经费，然而 IDV 却只需要一台摄影机与电脑就能完成：首先先让一台普遍摄影机拍下影片，即使 5 秒也可以，再放到电脑，电脑就能经由演算法自动判定影片物体的物理移动方式，并且“夸大”它的效果，进而让使用者能使用游标“影响”它们。

例如在示范影中，用户便可以透过游标让影片中的树丛摆动，拉动遮帘，或是弹吉他弦。MIT 也随手画了一些虚拟物体取代鼠标，例如卡通恐龙，并把它丢到遮帘，创造一种像是卡通龙实际碰触到真实遮帘的效果。有趣的是，MIT 也提到几个技术的应用方式，例如 Pokémon Go。日后用户在手机上看到的小火龙就不再只是浮在草地上的图片，而是能“踩”本地上，压弯小草，或者用户也能在电脑上看电影时，用鼠标拨动演员的头发或衣物。

不过，目前 MIT 能实证出来的互动效果仍不脱“震动”与“碰触”这一类。因此比较成熟的应用方式，应该是透过物理演算法，模拟建物本地震与风暴中的效果。

• MIT creates video you can reach out and touch
• Reach in and touch objects in videos with “Interactive Dynamic Video”

（首图来源：Flickr/Lane Fournerat CC BY 2.0）

如需获取更多资讯，请关注微信公众账号：半导体行业观察