Meta Ray-Banなどの映像から指の動きを解析しスマホのパスワードを推定、テルアビブ大学の研究者らが実証

この記事の要点

●テルアビブ大学の研究者らが、スマートグラス映像から指の動きでパスワードを推定する手法を実証した。
●相手の機種やキーボードアプリを事前に知らなくても、自然な入力からパスワードを推定できるという。
●公共の場では画面だけでなく、入力時の指先の動きも撮影されない姿勢や位置取りを確認する。

イスラエルのテルアビブ大学に所属する研究者らは、スマートグラスで撮影した指の動きからスマートフォンのパスワードを推定する手法を実証した論文「Watch and Crack: Password Inference from Smart-Glasses Video」を発表した。

事案の詳細

研究者らが発表した「Watch and Crack: Password Inference from Smart-Glasses Video」は、スマートグラスで撮影された映像から指先の動きを解析し、スマートフォンに入力されたパスワードを推定する手法を実証した研究報告である。カフェなどの公共の場でスマートフォンにパスワードを入力する行為は、スマートグラスの普及によって脅威にさらされる可能性があると位置付けられている。

研究では、のぞき見防止フィルムやプライバシー表示機能で画面を隠していても、指先の動きが録画されればパスワードなどを推定される可能性があると述べている。普通の眼鏡に見える「Meta Ray-Ban」などのスマートグラスは撮影されていることに気付きにくく、前方から撮影されても指の動きを解析され得るため、後ろからのぞき見を想定したショルダーハッキングへの注意だけでは不十分になり得る、という問題提起も含まれる。

今回実証した手法は、相手の機種やキーボードアプリ(Gboard、iOS、Samsung)の事前知識を必要とせず、両親指や人差し指による自然なタイピングから、大文字・小文字・数字・記号の4つの配列にまたがるパスワードを推定できるという。まず画像認識AI(SAM 3)と手の追跡モデル(MediaPipe Hands)で指先をサブピクセル精度で追跡し、3Dニューラルネットワークでキーを押した瞬間を特定する。バックスペースキーによる入力修正も自動で検出・除外される。

影響と背景

研究では、従来の映像解析がキーの大きいタブレットや4桁のPINコードなど単純な条件に限られていたのに対し、今回の手法はより一般的なスマートフォンと自然な入力に適用できる点を特徴として挙げている。大文字や数字の入力時に押されるシフトキーや配列切り替えキーの位置を手がかりに画面上のキーボード領域を逆算し、映像から算出した各キーの打鍵確率と、約22億件の漏えいパスワードの統計データを数学的手法で統合して正解候補を絞り込むとしている。16人の参加者による実験では、全体の77.8%で打鍵数の特定に成功した。

対策・今後の展望

  • 公共の場での入力行為への注意:研究は、カフェなどの公共の場でのパスワード入力がスマートグラスの普及で脅威にさらされる可能性を指摘している。
  • 画面を隠す対策だけに依存しない:のぞき見防止フィルムやプライバシー表示機能で画面を隠していても、指先の動きが録画されれば推定される可能性があるとしている。
  • 背後だけでなく前方からの撮影も想定:「Meta Ray-Ban」などでは撮影に気付きにくく、前方から撮影されても指の動きを解析され得る点が示されている。

CSRIからのアドバイス

同種の事案では、人の目線やカメラが画面を直接見ていない状況でも、入力時の手や指の動きが見える位置にいるだけで成立し得る点が重要になる。公共空間では周囲の視線だけでなく、撮影の可能性も含めた前提で行動が求められる。

例えるなら、スマートフォンの画面を布で隠しても、鍵穴に差し込む手元の動きを動画で撮られると「どの鍵を使ったか」が推測されてしまうようなものだ。つまり、守るべき対象は画面だけではなく、指の動きそのものだということになる。

まず、社内で「カフェなど公共の場でパスワードを入力する行為が脅威にさらされる」という指摘を共有し、入力場所の選び方を見直す。次に、のぞき見防止フィルムなどだけでは不十分になり得る点を担当者に伝え、入力時の指の動きが見られない姿勢や位置取りを確認する。

参照: Meta Ray-Banで向かいの席から撮影→指の動きからスマホのパスワードを解読する盗み見攻撃

Meta Ray-Banなどの映像から指の動きを解析しスマホのパスワードを推定、テルアビブ大学の研究者らが実証
最新情報をチェックしよう!