がん治療に新たな可能性をもたらします！世界初のフルスライドデジタル病理モデルが発売

寄稿者: 徐漢文 (ワシントン大学博士課程2年)

近年、デジタル病理学の活発な発展は、精密医療の進歩を加速させる上で重要な役割を果たしています。腫瘍組織のサンプルを高解像度のデジタル画像に変換する全スライドイメージングは​​、がん治療では日常的に行われている。最大 10 億ピクセルの病理画像には多様な腫瘍微小環境情報が含まれており、がんの分類診断、生存率分析、精密免疫療法に前例のない機会を提供します。

最近、生成型人工知能革命により、病理画像に含まれる膨大な量の情報を正確に認識し分析するための強力なソリューションが提供されました。同時に、マルチモーダル生成人工知能技術の進歩により、時間と空間の複数のスケールからのデジタル病理画像を理解し、他の生物医学的モダリティと統合することで、患者の病気の進行と発達をより適切に描写し、医師の臨床診断と治療を支援することができます。

しかし、デジタル病理画像は規模が大きく、ピクセル数が多く、特徴が複雑なため、計算の観点からそれらの複雑なパターンを効率的に処理して理解することは非常に困難です。デジタル変換後、各スライスには数十億のピクセルが含まれ、面積は自然画像の数十万倍になるため、既存のコンピューター ビジョン モデルを適用することが難しくなります。 Vision Transformer などの従来のビジョン モデルの計算の複雑さは、入力画像のサイズが大きくなるにつれて急速に増加します。同時に、臨床医療データは、クロススケール、マルチモーダル、高ノイズという特性があり、既存の病理モデルのほとんどは標準的な公開データセットに基づいており、実際のアプリケーションにはまだまだ遠い状況です。

この目的のために、マイクロソフトリサーチ、プロビデンスメディカルネットワーク、ワシントン大学の研究者が共同で、初のフルスライススケールのデジタル病理学モデルであるGigaPathを提案しました。

GigaPathモデルは、2段階カスケード構造と、Microsoft Researchが最近開発したLongNetアーキテクチャを採用しており、数十億ピクセルの画像の処理と理解の問題を効率的に解決すると報告されています。研究者らは、米国のプロビデンスにある 28 の病院の 30,000 人の患者から 170,000 枚のフルスライドデジタル病理画像を収集し、実世界のデータで GigaPath を大規模に事前トレーニングし、合計 13 億の病理タイルを作成しました。

実験結果によると、 GigaPath は 9 つの癌分類と 17 の病理学タスクを含む 26 のタスクのうち 25 で優れた結果を達成し、18 のタスクでは既存の方法よりも大幅に優れていることがわかりました。

研究者らは、この研究はフルスライススケールのモデリングと大規模な実世界のデータによる事前トレーニングの重要性を実証したと述べた。同時に、GigaPath はより高度な癌治療と臨床的発見のための新たな可能性も提供します。 GigaPath のモデルとコードはオープンソース化されていることは注目に値します。

方法

GigaPath は、下図に示すように、DINOv2 を使用したタイルレベルの事前トレーニングと、LongNet を使用したマスクオートエンコーダーを使用したフルスライスレベルの事前トレーニングを含む 2 段階のカリキュラム学習を採用しています。

図｜GigaPathモデル図

DINOv2 は、教師と生徒の Vision Transformer をトレーニングするときに、コントラスト損失とマスク再構築損失を組み合わせた標準的な自己教師あり学習法です。ただし、自己注意自体によって生じる計算上の課題のため、その適用は 256 × 256 タイルなどの小さな画像に限定されます。フルスライスレベルのモデリングのために、研究チームは、下の図に示すように、LongNet の Dilated Attention をデジタル病理学に適用しました。

図｜LongNetモデル図

フルスライスにわたる長い画像タイルのシーケンスを処理するために、タイルのシーケンスを特定のサイズのセグメントに分割する、サイズが徐々に増加する一連の方法を導入しました。より大きなセグメントの場合、LongNet はスパース アテンションを導入します。スパース性はセグメントの長さに比例するため、2 次的な成長が抑制されます。最大サイズのフラグメントがスライス全体をカバーします。これにより、計算を扱いやすく（コンテキストの長さに対して線形に）しながら、長距離の依存関係を体系的にキャプチャできるようになります。

主な実験結果

癌の分類診断に関しては、病理学的セクションに基づいて細分化されたサブタイプを分類することがタスクの目標です。たとえば、卵巣がんの場合、モデルは、明細胞卵巣がん、類内膜卵巣がん、高悪性度漿液性卵巣がん、低悪性度漿液性卵巣がん、粘液性卵巣がん、卵巣癌肉腫の 6 つのサブタイプを区別する必要があります。 **GigaPath は、9 つ​​の癌分類タスクすべてで優れた結果を達成し、6 つの癌分類タスクで精度が大幅に向上しました。 **6 種類のがん (乳がん、腎臓がん、肝臓がん、脳がん、卵巣がん、中枢神経系がん) において、GigaPath は 90% 以上の AUROC を達成しました。これは、がんの診断や予後などの精密医療における下流アプリケーションにとって良いスタートとなります。

病理学的タスクでは、タスクの目標は、スライス全体の画像のみに基づいて、腫瘍が特定の臨床的に関連する遺伝子変異を示すかどうかを予測することです。この予測タスクは、人間が認識しにくい組織形態と遺伝子経路間の豊富なつながりを明らかにするのに役立ちます。いくつかの既知の特定の癌の種類と遺伝子変異のペア以外に、スライド全体の画像にどの程度の遺伝子変異シグナルが存在するかは、未解決の疑問のままです。さらに、いくつかの実験では、研究者らは全がんシナリオを考慮し、すべてのがんの種類と非常に多様な腫瘍の形態にわたる遺伝子変異の普遍的なシグナルを特定しました。このような困難なシナリオにおいて、 GigaPath は再び 18 のタスクのうち 17 でトップのパフォーマンスを達成し、18 のタスクのうち 12 で次点のタスクを大幅に上回りました。 Gigapath は、全スライドレベルで遺伝的に関連する全癌およびサブタイプ固有の形態学的特徴を抽出できるため、現実世界のシナリオにおける複雑な将来の研究方向への扉を開きます。

さらに、研究者らは病理レポートを導入することで、マルチモーダル視覚言語タスクにおける GigaPath の可能性をさらに実証しました。病的な視覚言語の事前トレーニングに関するこれまでの研究では、タイルレベルの小さな画像に焦点が当てられることが多かった。対照的に、GigaPath はフルスライス レベルでの視覚言語事前トレーニングを検討します。病理レポートのペアの事前トレーニングを継続することで、レポートのセマンティクスを利用して病理画像の潜在空間表現を調整します。

これは従来の視覚言語事前トレーニングよりも困難であり、個々の画像パッチとテキストスニペット間のきめ細かい位置合わせ情報を活用することなく、GigaPath は標準的な視覚言語タスクにおいて 3 つの最先端の病理学的視覚言語モデルを大幅に上回ります。

要約する

研究者らは、豊富で包括的な実験を通じて、GigaPath の関連研究がフルスライス レベルの事前トレーニングとマルチモーダル視覚言語モデリングの優れた実践であることを実証しました。 GigaPath は複数のタスクで優れた結果を達成していますが、特定のタスクではまだ改善の余地が大いにあることには注目すべきです。同時に、研究者たちは視覚言語マルチモーダルタスクを研究してきましたが、病理学的レベルでマルチモーダル会話アシスタントを構築するまでの道のりには、まだ研究すべき具体的な問題が数多く残っています。

GigaPath は、Microsoft Research、Providence Health System、ワシントン大学 Paul G. Allen School of Computer Science の共同プロジェクトです。このうち、マイクロソフト リサーチとワシントン大学の博士課程 2 年目の学生である Xu Hanwen 氏と、マイクロソフト リサーチの主任研究員である Usuyama Naoto 氏が、論文の共同筆頭著者です。マイクロソフト リサーチの Health Futures チームのゼネラル マネージャーである Hoifung Poon 博士、ワシントン大学の Wang Sheng 教授、プロビデンスの Carlo Bifulco 博士が、この論文の共同責任著者です。

Xu Hanwen さんはワシントン大学の博士課程 2 年目の学生です。彼の研究分野は AI と医学の交差点です。研究成果はNature、Nature Communications、Nature Machine Intelligence、AAAIなどに掲載されており、Nature Communications、Nature Computational Scienceなどの雑誌の査読者を務めている。

ワン・シェン：ワシントン大学コンピューターサイエンス助教授。彼の研究は AI と医療の交差点に焦点を当てています。研究成果は、Nature、Science、Nature Biotechnology、Nature Machine Intelligence、The Lancet Oncologyに掲載され、研究変革の結果はメイヨー・クリニック、チャン・ザッカーバーグ・バイオハブ、UWメディシン、プロビデンスなど複数の医療機関で活用されています。

Pan Haifeng: Microsoft Research の Health Futures 担当ゼネラルマネージャー。彼の研究対象には、生成 AI と精密医療アプリケーションに関する基礎研究が含まれます。このプロジェクトは複数のトップ AI カンファレンスで最優秀論文賞を受賞しており、HuggingFace で公開されたオープンソースの生物医学モデルは数千万回ダウンロードされています。その研究成果の一部は、協力医療機関や製薬企業での応用へと形を変え始めています。