隨著愈來愈多的消費性電子設備如手機、平板裝置、PC和電視等等加入所謂的「智慧」，「手勢操控」（在下文中我用「懸浮操控」字眼來取代）繼觸控技術之後成為廠商寄與厚望的人機介面技術；的確，肢體語言是人類彼此之間最原始的基本互動方式，如果機器能夠直接辨識人類的手勢或表情，那麼我們就可以不需要透過觸控螢幕、滑鼠、遙控器、各式旋鈕或開關等物品的協助，直接以直覺自然的方式與機器進行溝通，這種所謂「懸浮操控」操控的方式理論上應該更易於被我們所接受，然而這類技術已發展好幾年了，卻始終未見消費者青睞，是技術發展遇到瓶頸嗎？還是產品應用方向不對？
ComputerWorld.com的專欄作家Mike Elgan認為，懸浮操控技術未見流行的原因，在於目前的產品應用面背離了消費者實際的生活體驗，他提到，懸浮操控應該結合擬真操控的體驗，前者是摸不到的一種技術、而後者則是提供摸得到的體驗，兩者的融合才能提供使用者最直覺與自然的操控行為。
這篇Mike Elgan的專欄文章「Why in-air gestures failed, and why they'll soon win」刊載於8/30的ComputerWorld.com，內容首先談到懸浮操控(in-air gestures)相關的產品（如微軟Kinect for Xbox 360以及Leap Motion的Leap Motion Controller）失敗的原因，以及他個人對於懸浮操控應用領域的建議；原文網址在http://www.computerworld.com/article/2599359/emerging-technology/why-in-air-gestures-failed-and-why-theyll-soon-win.html。
Mike Elgan提到大約四年前，也就是2010年左右，當時的「懸浮操控」被認為是遊戲以及PC人機介面的操控趨勢，專門開發3D體感技術的公司Leap Motion在當年成立，微軟也發表了以語音及手勢操控的Kinect for Xbox 360；當時微軟的Kinect剛推出不久，有一段時間是當時銷售量最快的Xbox遊戲機附加配件，但熱潮過了之後，遊戲玩家們和遊戲開發商對於Kinect的興奮度就完全平息了，而且直到現在微軟的Xbox One促銷活動中早已不見Kinect配備，此外Leap Motion在當年所推出的，宣稱比Kinect技術精確200倍的Leap Motion控制器在消費市場上也未見成功，讓我們不禁想問，為什麼大家對於「懸浮操控」不感興趣？
Mike Elgan認為「與生活應用脫節」是這些強調「懸浮操控技術」的產品們失敗的主要原因，因為天平另一端的使用者是實實在在的人類，廠商將炫麗科技硬加在不需要的層面上，雖然暫時性獲取了大眾的目光，但終究消費者們會發現這些產品一點實用性也沒有；「懸浮操控」的本質是一種人機介面技術，它擔負的應是人與機器之間溝通橋樑的角色，但是大部份的「懸浮操控」技術僅強調於「操控螢幕上的某個虛擬物品」這個應用層面，這類的應用都需要使用者揮動雙手來操控某個「好像在那裏」的虛擬物品，僅有空氣觸感與缺乏視覺回饋，這在一般人的生活體驗中並沒有類似的情景，它完全脫離了人類的日常生活行為與習慣，使得「懸浮操控」對於使用者來說變成了一種不自然的動作，一種被迫要求配合的種種怪異且抽象的持技，因此想當然爾，很快的使用者便會感到厭煩並且把它們移置冷宮。
那麼，到底「懸浮操控」應該加強那些方面的應用才為大眾所接受呢？Mike Elgan認為應該要著重在「增強虛擬實境的體驗」以及「溝通」這兩個應用方向。
一）增強虛擬實境的體驗（Virtual and augmented reality）
他舉了Leap Motion在本週推出了價格僅$20美元、塑膠材質的的小配件為例，這個配件可以將Leap Motion的controller安裝在另一家公司Oculus Rift的頭戴顯示器上，以便於將Leap Motion Controller與頭戴顯示器整合在一起。（Oculus Rift在今年三月被Facebook以20億美元收購，它主要產品是虛擬實境系統的研發）；Mike Elgan推薦我們看看Leap Motion針對這個玩意所推出的demo影片，在這影片中有兩個分別透過Oculus Rift所看到的左右眼立體畫面，在影片中可以看到Leap Motion針對手臂、手掌以及手指進行極為精確的偵測來與使用者所看到的虛擬畫面相互結合及互動。
Oculus Rift透過這技術，應用在實境強化augmented reality（將虛擬物體疊加在使用者肉眼所見的實際環境上）以及虛擬實境（使用者所看到的是模擬實際場景的虛擬人工畫面），讓使用者能透過雙手雙腳在虛擬環境下進行互動，這樣的技術可應用在遊戲、社交以及專業領域上（例如醫生可以從遠處來控制機器人進行醫療或開刀行為），因此Mike Elgan他提到希望Facebook趕快併購Leap Motion並且將它整合到Oculus Rif頭戴顯示器中，好將這類的應用儘快實現，因為這樣結合高精度移動偵測的控制技術讓，可讓使用者在虛擬的環境下得到與實際環境的體驗相同的反饋，是一種懸浮操控成功的應用案例，且在未來也是需求漸增且持續看好的領域之一。
除了這項應用領域，Mike Elgan還提到了下面一項應用：溝通
二）溝通（Communication）
虛擬助手
Mike Elgan說認為接下來五年內，虛擬助手（virtual assistants）的功能將會無處不在，例如蘋果公司的Siri、Google的Google Now以及微軟的Cortana（我突然想到了亞馬遜的May Day，但它是即時的真人線上客服而非虛擬客服），這類的服務將會整合到使用者介面中，應用在不同apps以及各式網路應用上。
提供這類虛擬助手服務的廠商們彼此競爭，其中有一個致勝關鍵點在於是否加入偵測功能來感知使用者情緒並依據不同情況選擇適當的溝通行為；實際上Siri、Google Now、Cortana這些系統目前都已經擁有某種程度的自我學習功能，它們會自動定期掃描你目前的資訊，如時間、地點、行事曆內容、email、聯絡人等等並作出適當的回應（這項技術稱為「getting-to-know-you」）。
而在未來，Mike Elgan提到這類虛擬助手的功能將會持續發展，還會化被動為主動自動提供相關資訊並觀察你是否喜歡，最重要的是將「懸浮操控」技術整合進來，以便偵測你講話的音調、使用的語句、目部的表情、手勢動作和身體姿態來進行判斷並給予相對應的建議，換句話說，未來「虛擬助手」功能會跟人類一樣能接收對方的身體語言，當「虛擬助手」發現它所提供的某項資訊讓你或對方產生不好的情緒或反應，那麼它下次就會主動改進並調整，因此虛擬助手在未來將會使用「懸浮操控」技術去瞭解並感知人類行為。
這是一段我在YouTube上找到的Siri、Google Now、Cortana比較影片，看來各有勝負，後起之秀Cortana的表現相當不錯，Siri則沒有想像中那麼強，雖然目前這三種系統尚未加入Mike Elgan建議的「懸浮操控」技術，但未來若能夠加入相信會更具實用性：https://www.youtube.com/watch?v=Hg8mjR1TCNs。
社交圖示
除了作為人與機器之間溝通的方式，Mike Elgan強調「懸浮操控」亦可應用在人與人的溝通之中，例如「社交圖示」和「替身圖像」這兩種應用。
有沒有發現最近的傳訊或貼文軟體都支援表情符號（emoji）的功能？透過一個簡單的圖示便能表達你目前的情緒或感覺，當然對於一些人來說，會覺得這類的功能可能僅是花俏或噱頭，但實際上，簡單且快速的雙向溝通在目前的網路行為上已經成了一種趨勢，而我們可以利用「懸浮操控」快速的將肢體語言轉化為文字訊息，例如，當你微笑時，要傳送的訊息上便自動附加微笑的圖示，當你開懷大笑時一個LOL的圖示便自動附上（LOL是laugh out loud的縮寫），此外像是聳肩、晃手、大姆指朝下、拍額頭、抓下巴…等等，你所發出的這些身體語言電腦都可以即時的自動附加到你要傳送的文字上。
替身圖像stand-in avatars
人總是害羞的，這也是為什麼影像聊天一直無法興起的原因（對此我表讚同，大部份人在使用聊天或傳訊軟體時除非必要，否則絕對不會開啟視訊功能，且全然不是因為頻寬的原因），如果能夠用圖像方式轉換實際的面孔與情緒，那麼web camera開啟的接受度就會比較高了。
實際上替身圖像這項技術的研發已經超過20年了，目前比較可行的是頭部和臉部的圖像替身技術會先被開始使用，再來則是全身的圖像替身，而Mike Elgan認為替身圖像是未來Xbox Kinect和Leap Motion應該要跨入的功能之一。
除了Leap Motion，Intel也積極投入相關體感的領域，例如下圖這是今年中旬英特爾在台北Computex 2014公開RealSense技術其中的一項替身圖像應用real-time avatar with faceshift，相當有趣，可直接點擊此連結：https://www.youtube.com/watch?v=2lGNrGoGWgU 來觀看。
關於Intel的RealSense技術，如果您有興趣的話，也可以到http://www.intel.com.tw/content/www/tw/zh/architecture-and-technology/realsense-overview.html看看。
