チュートリアル3. アノテーション作業

3-1. アノテーション作業フロー

ここからは、いよいよアノテーション作業が始まります。地道ですが、とても重要な作業です。

まず初めに AnnoFab での作業フローを説明しておきます。AnnoFabでは検査回数を設定して作業フローを柔軟にカスタマイズできます。

  • 検査回数を0に設定: アノテーター本人と受入する人(チェッカーまたはPO=プロジェクトオーナー)のダブルチェック ←本チュートリアルではこちら。
  • 検査回数を1以上に設定: アノテーター本人、検査する人(別のアノテーター、チェッカーまたはPO)、受入する人(チェッカーまたはPO)の「n(検査回数) + 2」チェック
検査/受入を省きたい場合は、検査回数を0に設定して抜取検査率を0%にします。すると、アノテーターがタスクを提出するときに、システムが必須の品質検査を行ったのち、問題が見つからなければタスクは自動で受入完了となります。

タスク一覧画面の右上には、設定した検査回数に合わせて以下のような「タスクを取得」ボタンが確認できます

検査回数を0に設定した場合、次のような流れでアノテーション作業が進行します。

  1. Aさんが「教師付けタスク」を取得
  2. Aさんが「教師付けタスク」を実施
  3. 別のBさんが「受入タスク」を取得
  4. Bさんが「受入タスク」を実施
    • 差戻し→2へ
    • 合格→5へ
  5. そのタスクは完成

3-2. 教師付けタスク

タスク一覧で「教師付けタスクを取得」し、そのまま作業画面に移ります。

以下の手順で、交通標識にアノテーションをつけていきます。

  1. 「編集」タブで「新規」モードをクリックします。(ショートカットキー Space)
  2. 「アノテーション」パネルで、ラベル「交通標識」をクリックします。(ショートカットキー Q)
  3. アノテーションを開始したいところで、マウスで左クリックします。
  4. アノテーションを確定させたいところで、マウスで右クリックします。

以上の操作で、枠(矩形)のアノテーションが作図されました。続いて、「属性」パネルで、アノテーションに属性をつけていきます。AnnoFabでは、属性をつけるのは後回しにして、先にどんどん作図だけ進めることもできます。

1画像内の交通標識をすべてアノテーションつけ終わったら、「F」キーで次の画像に進み、次のアノテーションを進めましょう。

タスク内の全画像(チュートリアルでは5画像)に対してアノテーションを終えたら、「タスク」パネルの「提出」ボタンを押します。

すると、AnnoFabによる簡易チェックが行われ、問題がなければ、「教師付けタスク」が完了します。もし、何らかの作業ミス(例:枠はつけたが、「属性」を入力していない)があれば、修正を促すメッセージが出力されます。

この調子で、2つの教師付けタスク(計10画像)を完了してしまいます。

3-3. 受入タスク

「受入タスク」のフェーズでは、作業が完了した「教師付けタスク」に対して、ミスがないかチェックします。

アノテーションやその属性をチェックし、もし属性の入力ミスやつけ忘れがあれば、

  • 修正事項をコメント → アノテーターに修正してもらうよう、差し戻し
  • 受入タスク担当者がその場で修正 → 合格

いずれかのアクションを行います。

複数人で作業をする場合は、プロジェクトの初期にはなるべく「差し戻し」 をお勧めします。それによって、受入した人の判断基準と教師付けした人の判断基準をすりあわせて、チーム内の「基準のずれ」をなくすことができるからです。

それぞれのアクションについて、操作の流れを簡単に説明します。

アクション1. コメント→差し戻し

コメントは、アノテーションの作成と同じように「編集」パネルを使います。「検査」モードをクリックして選択します。

検査コメントには「点」と「ポリライン」の2種類があります。まずは「点」から説明してきます。

アノテーションの作画と同じように、「ここに問題がある」という場所をマウスで左クリックします。すると、点が表示されます。

つけた点1つ1つについて、「検査コメント」パネルにコメントが表示されます。

点をつけた直後はコメントの中身は「未入力」となっていますので、これを編集していきます。

  1. 修正指示を自由入力してもいいですし、あらかじめ作成された「定型指摘」のポップアップから選ぶこともできます。両方組み合わせることもできます。
  2. 検査コメントの対象を選びます。
    • 特定のアノテーションの修正をコメントする場合、「アノテーション」パネル欄でアノテーションをクリックします。
    • アノテーションつけ忘れをコメントする場合、対象は「未指定」にします。
  3. 「確定」します。

続いて、「ポリライン」での検査コメントを説明します。

アノテーションのつけ忘れコメントでは、1箇所だけ点をつけるのではなく「このあたりを囲ってください」と指示するとわかりやすくなります。「ポリライン」でのコメントは、そんなときに効果を発揮します。

ポリライン検査コメントの作図は、アノテーションのときと同様、左クリックでポリライン作図を開始して右クリックで確定です。

ポリライン検査コメントの見本は、次のようになります。

以上の操作で、検査コメントを追加し終えたら、「タスク」パネルを開いて、「差し戻し」します。

差し戻されたタスクは、元の教師付け担当者に自動で割り当てられるので、わざわざ「この修正してください」と伝える必要はありません。

Tips: あとでまとめて編集

アノテーションでは、枠だけ複数まとめて作図し、そのあと1つ1つの属性を入れることができます。

これと同じように、検査でも問題箇所に点を打っていき、あとでまとめてコメントを編集できます。

Tips: 定型指摘

定型指摘は、プロジェクトのアノテーション仕様の一部として作成します。

定型指摘のIDまたはラベル名に一致する文字を入力すると、ドロップダウンが表示されます。これを選択すると「 #フラグを入力してください 」のように「#」付きで表示されます。定型指摘はユーザーの表示言語に基づいた言語で表示されるので、言語の異なるチームで便利です。

よく使う定型指摘があるときは、コピー&ペーストで入力することも可能です。その場合は「#」つきの「 #ハッシュタグ 」形式でコピー&ペーストしてください

アノテーション仕様から対応する定型指摘が削除されたら、管理ID(例 #a1-1 )が表示されます。

アクション2. その場で修正 → 合格

軽微なミスな場合は、受入担当者がその場で修正してしまうフローも可能です。受入タスクでは、教師付けタスクと同様にアノテーションの編集が可能です。かんたんな編集をして問題がなくなったら、「タスク」パネルから「合格」にします。

チュートリアルでは、かんたんのため、受入のときに修正することにします。枠や属性を見直して、修正しおえたら、「合格」ボタンを押して、受入を完了しましょう。

すべての受入が完了すると、タスク一覧画面は以下のようになります。