
ハンドトラッキングとは手や指の動きをリアルタイムで検出する技術
ハンドトラッキング(Hand Tracking)とは、センサーが手や指の位置を検出し、その動きを追跡する技術です。
手の動きをコンピュータ(AI)が解析することで、動きのパターンを把握します。
おもにVR、AR、MRなどのXR領域で使用されている技術で、ユーザーの手の動きをデジタル空間にリンクさせることで、デジタルコンテンツをより直感的にコントロールできます。
ハンドトラッキングに対応したXRデバイスでは、手がそのままコントローラーの代わりになるため、コントローラーを必要としない点も魅力の1つです。
▽関連記事
「トラッキング」方式の種類とは?どんな違いがあるの?【知っておきたいXRの専門用語】
ハンドトラッキングの仕組み

ハンドトラッキングにはグローブなどのデバイスで検知する手法と、カメラを使った手法がありますが、今回は、昨今主流となっている、カメラによって手の動きを検知する場合の仕組みを解説します。
カメラを使ったハンドトラッキングでは、次の3つのプロセスがおこなわれます。
- 手の位置や動きの検出
- データ処理をして追跡
- 位置情報を元にジェスチャーを認識
なお、XR関連のニュースなどを見ていると「インタラクション(相互作用)」という言葉が散見されます。
ハンドトラッキングにおいては、手や指の動きをコンピューター(AI)が検出し、それに基づいた操作・反応をデジタル環境内で実現する処理の一連の動作をインタラクションと呼ぶので、押さえておきましょう。
①手の位置や動きの検出
手の位置や動きの検出には、デバイスに装備されている赤外線カメラやRGBカメラなどが使用されます。また、カメラは手だけではなく、五指それぞれの動きも検出します。
②データ処理をして追跡
カメラで収集された手や指のデータは、リアルタイムで分析・追跡されます。また、デバイスによっては、独自のデータ処理AIを活用し、複雑な指の動きや重なりなどを自動で補正してくれるものや、素早い動きにも対応してくれるものなどがあります。
③位置情報を元にジェスチャーを認識
現実での手の動きに合わせて、仮想空間でのオブジェクト(例えば、文房具や花瓶など)をつかんだり、移動させたりすることが可能です。また、ジェスチャーによる画面操作が設定されているデバイスであれば、ハンドトラッキングでの画面操作も可能です。
▽関連記事
・VR技術とは?使われている技術や活用事例を解説!
・NTTコノキューデバイスの「MiRZA」とは?軽くてワイヤレスで高性能だからできるXRの新体験
ハンドトラッキングはXR領域でこう使われている

ハンドトラッキングは、デジタル空間でのオブジェクトのコントロール・メニュー操作・コマンド入力で利用されています。
①仮想オブジェクトのコントロール
デジタル空間で物に触れたり、動かしたりできます。「つかむ」「はなす」「移動させる」といったコントロールのほか、「回転させる」や「弾く」といった操作も可能です。
②メニュー操作
デジタル空間で目の前に投影されたメニュー画面を直感的に手で操作できます。マウスやポインターを使用せずに、メニュー選択や画面スクロールや画面消去といったコントロールが可能です。
③コマンド入力
ハンドトラッキングによって特定のジェスチャーがコマンド入力の役割を果たします。例えば、指をつまむことで「決定」、人差し指を立てて曲げる操作でテレポートなどの操作が可能です。
▽関連記事
・ヘッドトラッキングとは?仕組みやユーザー体験を解説【知っておきたいXRの専門用語】
・ポジショントラッキングとは?仕組みと課題を解説【知っておきたいXRの専門用語】