分類における既存の損失問題を解決するために、AMC-Loss: Angular Margin Contrastive Loss for Improved Explainability in Image Classification [1]では、従来の損失に代わるものとして、リーマン幾何学的制約に基づくAngular Margin Contrastive Lossを提案しています。既存の損失による分類問題において、クラス内のサンプルのクラスタリングが不十分であったり、クラス間のクラスタリングの区分が明確でないという問題を解決するために、本論文では、従来の損失を補完する一種として、クロスエントロピー損失と併用可能な、リーマン幾何学的制約に基づく角度余裕対比損失(Angular Margin Contrastive Loss: AMC Loss)を提案します。実験によれば、AMC損失は従来の損失と比較してイメージ分類テストの性能を向上させ、定性的な視覚化において非常に印象的な改善をもたらし、解釈可能性を大幅に改善します。
ソースコード
記事一覧
痛点
クロスエントロピー損失は現在分類問題で最も一般的に使用されており、中心損失、コントラスト損失、トリプレット損失などの補助的な損失関数がよく使用されますが、最近の研究により、これらの損失はメトリクスを計算する際に、角度距離や特徴表現で示される低レベルと高レベルの特徴を無視することが示されています。これは、クラス内のコンパクト性の欠如や、クラス間のクラスタリングの境界の欠如という問題につながります。
例えば、深さ特徴とその対応するクラス中心との間のユークリッド距離にペナルティを課す重心損失は、クラス内距離をさらに最小化することを強制する方法です。たとえ中心損失がクラス内の稠密性を向上させたとしても、クラス間の分離可能性にわずかな変化をもたらすために、異なるクラス間の距離を十分に近づけることはできません。
このため、代替案として、クラス間の分離可能性を考慮しながら、コントラスト損失を使用することが望ましい場合があります。コントラスト損失は、非類似のデータを互いに分離したまま、類似のデータを互いに近づけるための埋め込み特徴を学習するために使用できます。しかし、コントラスト損失は、損失を得るために入力サンプルペアを必要とし、大量のデータのために、従来の方法は、適切なサンプルペアを構築するための計算複雑度が非常に高く、収束が遅くなります。また、ユークリッド距離を用いて学習された特徴の幾何学的特性には本質的なミスマッチがあり、クロスエントロピー損失、ユークリッド距離コントラスト損失、AMC損失は、例えば以下の図2に可視化されています：
モデル
AMC損失は、同じクラスの点間の測地線距離を最小化し、異なるクラスの点をより明確に分離します：
グローバル平均プーリングによってダウンサンプリングされた特徴量を取得した後、制約がユニットパラダイム特徴量に渡されます：
その特徴を超球面上の点として表現し、AMC-Lossに適用します。
この問題を解決するために、記事では測地線距離を計算するために二重ランダムサンプリングサンプルペアの方法を採用しています、記事ではバッチBを2つのグループに分け、1つのグループをB1、1つのグループをB2とし、各グループにn/2のサンプルがあります。要素ごとの測地線計算
その理由は、出力予測ラベルは、各カテゴリーで最も高い確率を持つラベルになるからです。
以下の擬似コードがあります。
実験
MNISTとCIFAR10データセットにおけるクロスエントロピー損失、ユークリッド距離コントラスト損失比較の結果：
10KMNISTデータセットにおける3次元可視化の比較
クラス内コンパクト性とクラス間分離AMC-Lossの両方が優れていることがわかります。
SVHNデータセットにおける視覚化の比較：
CIFAR10の10カテゴリーの注意ヒートマップ視覚化の比較。左からクロスエントロピー損失、ユークリッド距離コントラスト損失、AMC損失の各カテゴリー：
ハイパーパラメータの効果に関する分離テスト
使用したモデルの構造は下表の通り：
