ByteTrack: Multi-Object Tracking by Associating Every Detection Box

この記事では、2021年に発表された多物体追跡（Multiple Object Tracking）手法のByteTrackについて解説します。

ByteTrackの論文「ByteTrack: Multi-Object Tracking by Associating Every Detection Box」はArXivに公開されており、実装のByteTrackはGitHubに公開されています。

Introduction

ByteTrackは、データアソシエーション（Data Association）のアルゴリズムに工夫をすることにより性能を向上させています。その工夫は、論文のタイトルに”Associating Every Detection Box”とあるように、全ての検出ボックスを用いてデータアソシエーションを行うことです。但し、実装によると、スコアが0.1よりも高い検出ボックスを用いてデータアソシエーションを行っており、ほぼ全ての検出ボックスと言ったほうが実装にあっている気がします。

次に下図を用いて、ByteTrackが解決しようとする課題を説明します。図（a）は、Frame t₁、t₂、t₃における検出ボックスとそのスコアを表しています。図（b）は、スコアが0.5よりも高い高スコアな検出ボックスを用いてデータアソシエーションを行う例を示しています。Frame t₁において、3つのトラックレットが生成されますが、Frame t₂とt₃では、オクルージョンにより、赤色のトラックレットに対応する検出ボックスのスコアが0.5以下となり、赤色のトラックレットが消失しています。ここで、上記の対策として全ての検出ボックスを用いるように変更すると、より多くの誤検出によって性能が低下します。これが、検出のジレンマです。

引用元：ByteTrack

Data Association of ByteTrack

ここでは、ByteTrackのデータアソシエーション・アルゴリズムの詳細を見てゆきます。ByteTrackでは、データアソシエーションを2回に分けて実施しています。論文では、それぞれFirst AssociationとSecond Associationと呼んでいます。

First Associationは、スコアがしきい値（論文の実験では、0.6）を超えた検出、すなわち高スコアな検出とトラックレットとのデータアソシエーションです。First Associationにおいて、検出が割り当てられたトラックレットは、図（b）のようにカルマンフィルタによる状態ベクトルの更新が行われます。First Associationにおいて、割り当てがなかった高スコアな検出とトラックレットは、それぞれリメイン（remain）検出とリメイン・トラックレットに移されます。図（b）の場合、Frame t₂とt₃において、赤色のトラックレットは、対応する高スコアな検出がないためリメイン・トラックレットに移されます。

Second Associationは、論文ではスコアがしきい値以下の検出、実装ではスコアがしきい値以下かつ0.1よりも高い検出、すなわち低スコアな検出とリメイン・トラックレットとのデータアソシエーションです。図（c）の場合、赤色破線のリメイン・トラックレットは、Frame t₂とt₃において、スコアがそれぞれ0.4と0.1の検出とデータアソシエーションが行われます。Second Associationにおいて、割り当てがなかったリメイン・トラックレットは、再リメイン（re-remain）・トラックレットに移されます。なお、割り当てがなかった低スコアな検出は、リメイン検出には移されず、破棄されます。

すなわち、ByteTrackでは、対応する高スコアな検出がなかったリメイン・トラックレットに対してのみ、低スコアな検出とのデータアソシエーションを実施することにより、前述の検出のジレンマを解決しています。

Versatility of the ByteTrack Algorithm

ここでは、ByteTrackのデータアソシエーション・アルゴリズムの汎用性について見てゆきます。

ByteTrackの実装では、First AssociationとSecond Associationの類似性指標として、共にIoU（intersection-over-union）を用いています。一方、ByteTrackの論文では、各アソシエーションの類似性指標は、それぞれSimilarity#1とSimilarity#2と記載されており、汎用性があります。

論文では、MOT17とBDD100Kを使用したベンチマークにより、類似性指標としてIoUとRe-IDを比較しています。ここで、Re-IDは外観特徴を使用する類似性指標です。MOT17を使用したベンチマークでは、First AssociationのSimilarity#1には IoUまたはRe-IDのいずれかが適しています。IoUはより優れたMOTAとIDを実現し、Re-IDはより高いIDF1を実現します。BDD100Kを使用したベンチマークでは、Re-IDがIoUよりも優れたパフォーマンスを達成しています。但し、Second AssociationのSimilarity#2に関しては、IoUを使用することが望ましいと記載されています。その理由として、低スコアな検出は、オクルージョンまたはモーションブラーの影響を受けており、外観特徴は信頼できないとしています。

また論文では、ByteTrackのデータアソシエーション・アルゴリズムを既存の9種類のトラッカーに適用し、多くのトラッカーの性能が改善することが示されています。

まとめ

この記事では、2021年に発表された多物体追跡（Multiple Object Tracking）手法のByteTrackのデータアソシエーションについて解説しました。

BYTEと呼ばれているByteTrackのデータアソシエーション・アルゴリズムは、シンプルで効果的で汎用性が高いデータアソシエーション方法だと思います。