臨床AIのモダリティ欠落による失敗を分析するフレームワークを研究者が公開

新たなarXiv論文は、導入時に1つ以上のモダリティが欠ける場合に、マルチモーダル臨床AIの失敗を分析するモデル非依存のフレームワークを提示した。モダリティ埋め込み、マスク対応プローブ、ラベルを入力すると、このフレームワークは事例ごとの失敗分類、モダリティごとの相補性マトリクス、そして導入時に観測可能な信号を使ったドロップアウトの「検出しやすい失敗」と「見えにくい失敗」のプロファイルを返す。著者らは、この手法を小規模でユニットテスト済みのハーネスとして公開し、埋め込んだ正解データに照らして検証したとしている。