用語の定義

本ガイドラインに登場する用語について、以下のように定義する。


情報デザイン:
システムを利用する作業者に対して、どのような情報をどのような形で分かりやすく利用者に伝えるかを設計することを指す。

タスク:
実施すべき作業全体を指す。
(タスクは1つ以上のサブタスクで構成される。)

サブタスク:
タスクを構成している複数の小さな作業を指す。
(一般的に、手順書に記載されているサブタスクはさらに、細かなサブタスクに分割することが可能である。)

初期状態:
タスク開始前の状態を指す。

目標状態:
タスク完了後の状態を指す。

ユーザ:
製作したARシステムを使用してタスクを行う者(作業者)を指す。

オブジェクト(対象物、指定箇所):
サブタスクを実行する際に必要となる部品や道具などを指す。
(ブロックを組み立てるタスクでは、オブジェクトは「ブロック」となる。)

3次元位置と3次元姿勢:
3次元位置は、位置情報を(x, y, z)の3つのパラメータで表現したものを指し、3次元姿勢とは、傾き等の姿勢情報を3つのパラメータで表現したものを指す。

トラッキング:
システムが、ユーザまたはオブジェクトの3次元位置、3次元姿勢を逐次的に検出することを指す。
(本ガイドラインでは、トラッキングの状態を、検出可能な情報に応じて、「3次元位置および姿勢」、「3次元位置のみ」、「3次元姿勢のみ」、「なし」の4種類で表す。これを「トラッキング自由度」という。)

3次元位置のみトラッキング可能な場合(左)と3次元姿勢のみトラッキング可能な場合(右)

世界座標系:
システムを利用する空間において、ユーザーやオブジェクトの位置情報・姿勢情報を定める仕組みを指す。
(基準となる原点と座標軸を持つ。)

情報提示方法:
画像や動画、3Dモデルを使用して、必要な情報を実空間上に提示する表現方法を指す。

 


システム作成における情報デザインの流れ

情報デザインの流れ

ARシステムの情報デザインにおいて重要な「情報提示方法」は、「サブタスクの種類」と「利用可能なトラッキング技術の自由度」によって決定することが出来る。そこで、本ガイドラインでは、作業支援ARシステムの情報デザインをまとめたデザイン表の作成を大きく以下の3段階で構成する。

  1. タスクの分解
  2. 利用可能なトラッキング技術の検討
  3. 情報提示方法の選択

作業支援システムの情報デザインでは、まず、支援対象となるタスクの内容について確認し、本ガイドラインで設定しているサブタスクの種類を元に、タスクをサブタスクへと分解する。そして、分解した各サブタスクに対して、ユーザおよびオブジェクトトラッキングの自由度について考慮し、利用可能なトラッキング技術を検討する。最終的に、各サブタスクに対して、検討したトラッキング技術に基づき情報提示方法を選択し、タスク全体における情報デザインを行う。

以降は、本ガイドラインを構成する各段階について説明を行い、最後に、デザイン表作成後のシステム開発について説明する。


 

  1. タスクの分解

タスクには、複雑なものから簡易なものまで様々ある。本ガイドラインで、全てのタスクを扱うために一定の複雑さを持つサブタスクに統一する。そのために、本ガイドラインでは、6種類のサブタスクを用意し、この6つに分類することでサブタスクの分解を行う。(「サブタスクの種類」はサブタスク一覧表で確認することが出来る。)まず、タスクの確認を行う。次に、タスクをサブタスクへ分解する。

・タスクの確認

実際に支援したいタスクを観察する。タスクの開始時の状態(初期状態Si)から最終的な状態(目標状態Sg)への手順を確認する。具体的には、以下のようなブロックの組み立て作業において、土台にブロックが配置されていない初期状態Siから、最終的な状態であるSgに到達するまでの各作業手順の把握を行う。

・タスクをサブタスクへ分解

確認したタスクの手順に基づきタスクをサブタスクへと分解する。サブタスクへの分解は、サブタスク一覧表に記載されている6種類の作業カテゴリへ分類することで実施する。以下は、ブロックの組み立てタスクをn個のサブタスクへ分解した場合の例である。(A1~Anがサブタスクを表す)

A1:設置対象のブロック(青い2×4の長方形ブロック)を手に取る(オブジェクトの選択)
A2:(A1で選択した)ブロックを土台上の指定された場所に設置する(オブジェクトの設置)

An-1:設置対象のブロック(赤色2×4の長方形ブロック)を手に取る(オブジェクトの選択)
An:(An-1で選択した)ブロックを青色2×2ブロックと黄色2×4ブロック上の指定された場所に設置する(オブジェクトの設置)

タスクの分解へ


 

  2. 利用可能なトラッキング技術の検討

タスク全体で、使用するHMDにおいて利用可能なユーザートラッキング技術を検討する。さらに、分解した各サブタスクで、対象となるオブジェクのトラッキングに利用可能な技術を検討する。トラッキング技術には、RGB-Dカメラやマーカ、光学式モーションキャプチャなどを用いて位置・姿勢情報を取得可能なものに加え、埋め込み式のジャイロセンサーなどを用いて姿勢情報のみを取得可能なものなどがある。本ガイドラインでは、ユーザおよびオブジェクトの3次元位置、3次元姿勢は、下図のように利用空間中に設定されている世界座標系との関係で定義された、ユーザートラッキングと2種類のオブジェクトトラッキングを用いる。

トラッキングの種類

・ユーザートラッキング:世界座標系におけるHMDの三次元位置と三次元姿勢を追跡すること
例)HoloLensの機能など

・世界座標系基準型オブジェクトトラッキング:世界座標系における、オブジェクト(サブタスクで使用する部品・道具)の3次元位置と3次元姿勢を逐次的に検出すること
例)磁気センサ(Flock of Birds等)を用いて、環境中に設置したトランスミッタに対する、オブジェクトに固定したレシーバの位置姿勢を求める場合。
オブジェクトに基準ARマーカを貼付、もしくはオブジェトの3次元モデルを用意し、環境中に設置したカメラにより、対象を検出・認識する場合。

・HMD基準型オブジェクトトラッキング:HMDに対するオブジェクトの3次元位置と3次元姿勢を逐次的に検出すること
例)オブジェクトに基準マーカを貼付、もしくはオブジェトの3次元モデルを用意し、HMDのカメラで対象を検出・認識する場合。

タスク全体を通して、利用可能なユーザートラッキングの自由度を検討する。更に、各サブタスクに対して、用いる部品や道具に適用するオブジェクトトラッキングの種類とその自由度を検討する。

利用可能なトラッキング技術の検討へ


  3. 情報提示方法の選択

分解したサブタスクと検討したトラッキング技術・その自由度から、それぞれのサブタスクに対して最適な情報提示方法を検討する。情報提示方法の選択には、情報提示方法選択ツールを用いる。

・情報提示方法選択ツール

これは、各サブタスクごとに、「サブタスクの種類」・「トラッキングの種類」を入力することで最適な情報提示方法を提示するツールである。入力後、複数の情報提示方法が提示されている場合があるが、その場合は提示されている情報提示方法の中から支援内容に適切なものを適宜選択する。そして、最終的に、「サブタスクの順序」・「サブタスクの内容」・「サブタスクの種類」・「トラッキングの自由度」・「情報提示方法」をまとめたデザイン表を作成することが出来る。

情報提示方法選択ツールへ


 

 

4. デザイン表作成後の開発について

ここで作成した情報デザイン表を基に、UnityやMicrosoftのDynamics 365などのツールを利用してARシステムを作成する。

我々は本ガイドラインを製作するにあたって様々なARシステムを開発した。そこで得た開発のノウハウをまとめている。デザイン表の完成後、このノウハウを参考に開発すると更に良いシステムを製作させることができる。