RADIOISOTOPES

放射性医薬品の誤投与は重大なインシデントの一つである。医療現場ではインシデント対策がさまざま講じられているが，特に放射性医薬品の誤投与予防に関しては事前の準備によって未然に防がれている。例えば，検査当日朝に搬入された放射性医薬品を患者のラベルを貼付した鉛の容器に一つずつ移し替える作業を実施し，放射性医薬品が封入された容器に直接患者のラベルを貼付することが考えられる。さらなる工夫としては，患者へ投与する前に再度確認するため，患者が装着したリストバンドに記載されたバーコードやQRコードを活用し，患者確認を実施した上で放射性医薬品に貼付した患者のラベルに記載されている名前および検査内容を確認している。こうした一連の作業によって放射性医薬品の誤投与といった重大なインシデントは未然に防がれている。しかし，ここで問題になるのは，準備に非常に時間や労力を要するという点である。当日患者に投与する薬剤に患者のラベルを貼付する作業を完了するためには，施設によってはダブルチェックを実施する。すなわち，患者のラベルを貼付する作業は一見すると容易であるが，そのラベルを貼付するのは人であるためヒューマンエラーの可能性が存在する。少しでもその可能性を排除するためには，念入りな確認やダブルチェクが必要となる。1日に多数の患者の撮影を実施かつ多種類の検査内容が存在する日は，朝の準備が煩雑になりエラーの可能性は高くなる。実際，これまで放射性医薬品の誤投与が発生した事例も存在し^{1, 2）}，準備やチェックに人が介在する限り誤投与の可能性は存在する。

先行研究では，医薬品の誤投与防止のための情報技術についての研究が存在する。Kaushal^3）らは情報システムが誤投与を防止する可能性について述べており，Kang^4）らは誤投与の7つの因子を含むリスクスコアリングアルゴリズムを作成し，これに基づく自動誤投与予測システムを開発している。このように，医薬品の誤投与を防止するためのシステム開発やリスク因子の推定が実施されている。また，放射性医薬品容器をスマートフォンで撮影し，放射性医薬品容器を分類する試みも存在する^5）。この方法でも十分臨床での使用が可能である。

本研究では一歩先へ進み，先行研究^5）のように放射性医薬品に対しスマートフォンを手に持つ必要なく，視野内に存在する放射性医薬品の識別が可能となるシステム開発を考案した。この方法では，人の視点とほぼ同じ位置に搭載された複合現実装置搭載カメラを用いる。視野内に存在する放射性医薬品の容器を識別することが可能となるため，診療放射線技師または看護師が自然に業務を遂行する中で放射性医薬品の誤投与の可能性を事前に気づくことが可能となる。複合現実装置とそれに付随するカメラを用いることで，診療放射線技師または看護師の視界に存在する放射性医薬品と患者をArtificial Intelligence（AI）で識別し，患者と放射性医薬品の照合を可能とするシステム開発を試みた。本研究の概念をFig. 1に示す。診療放射線技師が放射性医薬品を投与する際は，必ず放射性医薬品の容器を視認することになるため，事前準備なしに患者と投与する放射性医薬品の照合は可能となる。この要素技術としては，（1）カメラによる現実空間のリアルタイムキャプチャ，（2）キャプチャ画像に存在する放射性医薬品のAIによるリアルタイム解析，（3）複合現実装置での解析結果ホログラム表示，（4）患者の顔情報保存と顔情報識別，（5）患者識別結果および放射性医薬品の識別結果をもとにした検査情報との照合が存在する。（4）についてはすでに既存の技術が存在する。また，（5）については放射線情報システムや病院情報システムから情報をリンクさせる必要があり，ベンダーによる開発が必要である。本研究では，一連のシステムを達成するため，中心となる（2）の深層学習モデルを開発した。

Fig. 1 Concept of this study (Color online).

なお，本研究におけるホログラム表示とは複合現実装置を用いて現実空間内の位置情報を伴ったコンピュータグラフィックス表示を表す。このホログラム表示を使用することで，システム使用者はAIによる分析結果がその空間内空中に表示されているかのように認識することが可能である。物理的なディスプレイとは異なりホログラム表示であれば場所を取ることなく確認可能となるため毎日使用するには有用であることが予想される。

特に本研究の重要な点は複合現実装置であるHololens2（Microsoft（株））に搭載されているカメラで放射性医薬品のラベル撮影した際に分類を可能とすることの確認である。また，今回手に持って訓練画像を取得することで，より本番環境と同様に学習し，分類可能か検証することは重要な課題である。先行研究^5）では実施していなかった複数の深層学習モデルの開発を実施し，後述のGradient-weighted Class Activation Mapping（Grad-CAM）^6）で分類根拠を可視化する。これにより，より適切な深層学習モデルの開発を試みたので報告する。

2・1 概要

本研究では複合現実装置を使用し，AIによる放射性医薬品の分類結果のホログラム表示をすることでインシデントの防止を目指すシステム開発の各種要素を考案し，特に重要なHololens2搭載カメラから取得した画像を用いた深層学習モデルの開発を実施した。実験では，Hololens2から取得した放射性医薬品を含む動画から各フレームを抽出し，静止画に変換した。この静止画を使用して深層学習モデルを開発した。三種類の深層学習モデルを開発しその精度や分類根拠を示すヒートマップを比較し，Hololens2搭載カメラで取得された画像を元にしても分類可能か検証し，実現可能性を検討した。フローチャートをFig. 2に示す。

Fig. 2 Flowchart of this study.

2・2 使用機器及び物品

使用機器としては，放射性医薬品容器の動画撮影にはHololens2およびその搭載カメラを使用した（Fig. 3）。このカメラは当該装置装着者の視野と同様の映像を取得することが可能である。このカメラは800万画素で動画を取得可能であり，30 fpsで1080 p（1980×1080）の動画取得が可能である。すなわち1フレームあたり約0.03秒での取得が可能である。カメラ搭載位置はFig. 3の黄色円部に示す。本研究で用意した放射性医薬品の容器の種類は，日本メジフィジックス株式会社およびPDRファーマ株式会社の15種類を用意した（Table 1）。

Fig. 3 Overview of Hololens2 (The yellow circle indicates the camera mounting position) (Color online).

Table 1 Number of data sets

2・3 実験環境

日本メジフィジックス株式会社およびPDRファーマ株式会社より借用した15種類の容器を公立藤岡総合病院の投与室にて動画撮影した。この室内には，一般的な核医学検査に用いられる各種機器が存在する。

2・4 訓練画像及びテスト画像の作成と研究実施手順

先行研究^5）で得られた結果を参考にして，放射性医薬品とそれを持つ手以外には構造物が含まれないように壁側を向いて撮影するパターンとその他構造物が含まれるように撮影するパターンの二つのパターンで動画を撮影した。この動画はHololens2搭載の動画撮影機能を使用し，撮影者の目線に合わせ放射性医薬品を保持した。動画はラベルが映るように満遍なくラベルを中心とした約180°の範囲内で回転させて撮影した。具体的にはラベルの左端からこの動画を静止画として1フレームごとに抽出し，これらの画像を深層学習モデルの開発に使用した。画像のマトリクスサイズは1920×1080の横長の画像として取得される。これらの画像を訓練画像およびテスト画像として深層学習モデルの開発に使用した。また，全ての画像を画像認識タスクにおいて画像内のどの箇所が推測の根拠となったのかを可視化する手法であるGrad-CAMに入力した（Fig. 4）。

Fig. 4 Image acquisition method (Color online).

2・5 三種類の深層学習モデルの転移学習

深層学習の実行環境は，訓練Epoch数は100, Batch sizeは64，最適化手法は モーメンタム項付きStochastic gradient descentを使用した。モーメンタムは0.9, Base Learning Rateを0.001とした。実行環境は，CPU: Core i9 12900 K 3.2 GHz，メモリ：64 GB, GPU: GeForce RTX 3080Ti 12 GB, OS: Windows 11 Pro, CUDA 11.6, CuDNN 8.3, MATLAB R2022a Update2 Ver. 9.12.0.1956245（MathWorks, Meitec. MA, USA）を使用した。学習曲線を観察し，過学習が生じていないことを確認した。ImageNet^7）を事前学習したAlexNet^8），GoogLeNet^9），ResNet18^10）の転移学習を行い，学習モデルの開発・検証を実施した。

Epoch数とは学習を何回繰り返すかを表したパラメータで，batch sizeは学習する際のデータ入力数を表すパラメータである。最適化手法の選択により，局所最適解と呼ばれる見かけ上の最適解に到達し，大域最適解と呼ばれる真の最適解に到達することなく学習が進行しなくなる現状を防ぐことが可能となる場合が存在する。モーメンタムはモーメンタム項付きstochastic gradient descentで設定する値で，局所最適解から最適解への進行方向へ向けて学習スピードを加速させるために設定する値である。Base Learning Rateの値を大きくすることで学習するスピードを早くすることが可能になる。この値を適切に調節することで大域最適解へ到達する可能性を高くすることが可能である。

1920×1080の画像をそれぞれの深層学習モデルの入力層（AlexNet: 227×227, GoogLeNet: 224×224, ResNet: 224×224）に適合させるため画像の縮小を実施した。本研究ではデータ拡張技術を用いた。先行研究と同様，学習させる際にランダムな確率でランダムに−20から20ピクセル以内の移動量で縦及び横方向に移動させる処理を施した。これは，Hololens2を装着した頭部の傾きや手で持った際の放射性医薬品の角度が異なる場合でも識別を可能とするためである。また，実際の識別時に放射性医薬品とHololens 2搭載カメラの距離が異なる場合に備えてランダムな確率でランダムに1倍から2倍までの拡大率で拡大する処理を施した。

2・6 10分割交差検証の実施方法

動画を静止画に変換しているため，シャッフルの結果フレームとフレームの間に存在する画像がテスト画像となる可能性を排除するため，連続した一連の画像がそれぞれ訓練データとテストデータとなるよう学習および検証を実施した。訓練画像の例をFig. 5に示す。上述のようにHololens2に搭載されているカメラから動画形式で撮影し，Fig. 4に示したように1フレームごとに静止画へと変換した。これを訓練画像とテスト画像として用いた。本研究では10分割交差検証を採用した。10分割交差検証では，全データを10分割し10セットのデータとする。そのうち1セットをテストデータとして残りのデータを全て訓練データとする。すべてのセットについてテストデータとなるように学習させ，その平均精度を求めた。Fig. 6に示す通り，平均精度は各セットのテストデータとして使用された際の正解枚数から算出されるため，最終結果は全テストデータを分類したときの正解枚数の合計枚数を全データ枚数で除算した値とした（Fig. 6）。

Fig. 5 Example of training image. Video was captured using Hololens2 and converted to static images. (Color online).

Fig. 6 Evaluation methods in this study.

2・7 Grad-CAMを用いたAIによる判断根拠の可視化

一般的には訓練画像とテスト画像は重複しない未知の画像を用いることで評価の際に汎化性能が担保されているかを確認する。本研究において，深層学習モデルを開発する際，訓練データとテストデータに重複したデータは使用していない。また，上述のように極めて類似した画像が混入しないように一連の動画から作成した静止画はシャッフルせず，二つの隣接するフレーム間のデータを使用しないように対策した。交差検証を実施しているため，データの偏りは防ぐことが可能となっている。しかし，放射性医薬品の容器自体はどの画像でも同じであり，様々な方向から画像を取得したとしても類似した画像となるケースは存在した。これらの評価に関する課題を解決するため，精度の評価のみならず視覚評価にGrad-CAMを用いヒートマップで表示する手法を導入した^10）。Grad-CAMは最終的な畳み込み特徴マップに対する分類スコアの勾配を利用して，分類スコアに最も影響を与える入力イメージの部分を識別する^11）とされている。出力される画像は原画像と分類スコアの勾配をもとに作成したヒートマップをアルファブレンド処理された画像である。このヒートマップはJETカラーマップで表現するよう設定した。暖色になる程分類スコアに影響を与えている領域である。本研究では，このGrad-CAMから出力された画像について放射性医薬品の容器に着目されていることを確認した上で精度が担保されていることを確認した。

Fig. 6に示す通り，本研究では各foldで得られた正解枚数の合計枚数を全データ枚数で除算した値を深層学習モデルの精度として定義した。AlexNetにおける画像分類の結果は，12464枚中12463枚の画像を正しく分類していた（Table 2）。精度は99.99％となった。

GoogLeNetは，12464枚中12462枚の画像を正しく分類していた（Table 3）。精度は99.98％となった。

Table 2 Confusion matrix (AlexNet)

Table 3 Confusion matrix (GoogLeNet)

ResNet18では，12464枚中12462枚の画像を正しく分類した（Table 4）。精度は99.98％となった。

Table 4 Confusion matrix (ResNet18)

それぞれの精度比較をTable 5に示す。AlexNetは99.99％各モデルを使用した時の正しく分類された画像の例およびその判断根拠を示すヒートマップをFig. 7a–cに示す。

Table 5 Summary of classification accuracy for each learning model

Fig. 7 (a) Heatmap of positive classification images and their basis for decision making (AlexNet). (b) Heatmap of positive classification images and their basis for decision making (GoogLeNet). (c) Heatmap of positive classification images and their basis for decision making (ResNet18) (Color online).

どのモデルも放射性医薬品のラベルや容器の形状を判断根拠として分類していることが判明した。また，各モデルを使用した時の誤分類された画像の例およびその判断根拠を示すヒートマップをFig. 8a–cに示す。

Fig. 8 (a) Heatmap of misclassified images and their basis for decision (AlexNet). (b) Heatmap of misclassified images and their basis for decision (GoogLeNet). (c) Heatmap of misclassified images and their basis for decision (ResNet18) (Color online).

AlexNetではボケた画像のみ誤分類したが，GoogLeNetおよびResNet18に関してはラベルが極めて見辛い画像についても誤分類した。すなわち，適切でない画像についてGoogLeNetおよびResNet18については分類できないものの，AlexNetについては見かけ上正しく分類された。Fig. 9に各モデルの判断根拠のヒートマップ比較を示した。この図は16フレーム分を掲示的に並べ各モデルの着目点の推移が視覚的に理解可能にするためのグラフである。どのモデルについても未知の画像を入力しているにもかかわらず，AlexNetでは時計や壁といった構造物を判断根拠としており，こうした正しくない判断根拠であっても分類に成功してしまった場合が存在した。すなわち過学習と同様の影響がみられた。一方GoogLeNetやResNet18の場合は，分類結果および判断根拠のヒートマップ表示はAlexNetと比較して適切であった。

Fig. 9 Heat map comparison of the decision basis for each model (Color online).

本研究では，複合現実装置を用いた放射性医薬品誤投与防止のためのシステム開発における中心となる要素技術を開発した。複合現実装置に搭載されているカメラから装着者の視野を動画形式でキャプチャし，放射性医薬品を手に持って見ている時の装着者の視野について動画形式から静止画へと変換した。すなわち，現場で誤投与を防止するために薬剤の準備をしているときと同じように放射性医薬品の容器を手に持って放射性医薬品の種類を確認するときと同じ行動をしたときの画像を取得している。本研究では，このように診療放射線技師が事前の準備なしに，放射性医薬品の誤投与を防ぐことを主眼に置いたシステム開発を試みた。その要素技術として，複合現実装置から得られた放射性医薬品の容器の静止画を用いて深層学習モデルを開発した。この深層学習モデルを使用することで複合現実装置に搭載されたカメラで取得した放射性医薬品容器の画像から放射性医薬品の種類を分類することが可能となる。また，複合現実装置を使用することで放射性医薬品容器を手に取るのみでその放射性医薬品の種類が目の前にホログラム表示される。

深層学習モデルの開発には精度比較のため，三種類の事前学習済みの深層学習モデルを使用した。AlexNetおよびGoogLeNet, ResNet18を使用したとき，それぞれ99.99％，98.98％，98.98％となった。どのモデルも精度は高くなったが，実際は判断根拠のヒートマップを見るとモデルによっては正しく判断されていない画像も存在した。今回の場合，容器の形状や模様が同じであるためどのように撮影し，データを水増ししても極める類似する画像を学習するため過学習が生じる可能性が存在する。こうした同じ構造物を分類するための深層学習モデルの開発では，Grad-CAMなどによる判断根拠の可視化を実施して適切に分類されるか確認する必要があると考える。こうした観点から判断すると，分類の正当性はAlexNetに劣るものの，GoogLeNetやResNet18が比較的良い結果となった。Fig. 9に各モデルの判断根拠のヒートマップの比較を示す。この図では，連続したフレームの画像を並べ，時間経過によるヒートマップの変化を可視化した。AlexNetの判断根拠を示したヒートマップでは重要な領域を表す赤色の領域が，始めのフレームでは放射性医薬品容器に集中しているものの，放射性医薬品を持つ位置が多少変化したのみで赤色の領域が放射性医薬品以外の場所に集中してしまっていた。一方で，分類精度がAlexNetよりも劣るGoogLeNetやResNet18では一貫して放射性医薬品の領域に赤色の領域が集中していた。必ずしも，GoogLeNetやResNet18を用いたとき，Fig. 9のように放射性医薬品に集中する状態になっていない画像もいくつか存在したが，総じてAlexNetよりも精度は良好であった。このように，未知の画像を入力したとしても，背景の設定や分類対象となる構造物によっては本研究のように目に見えない過学習が生じる可能性が存在することが判明した。今後は，過学習の原因となる可能性を排除するため，生成AIを活用し背景を生成しその上に薬剤画像を重ね合わせることで訓練画像の多様性を改善することが可能と考える。放射性医薬品の容器の形状についてバリエーションを持たせることは不可能であるため，その背景領域を工夫し様々な背景を放射性医薬品と合成することでデータセットの多様性を確保し，より汎用性の高いモデルを完成させることが可能であると考える。または，学習・分類に悪影響を与える背景領域が混入することで分類ミスにつながる可能性も考えられるため，U-netなどの領域抽出モデルを活用し，分類のためのモデル開発には領域抽出後の画像を学習させ，分類時も抽出後の画像を分類するといった工夫が可能である。本研究では，テスト画像には未知の画像を入力したもののGradCAMで分類根拠を可視化することでこうした過学習の影響を判断可能であると示した。結果，適切な深層学習モデルの選定方法を提案できたと考える。

今回，AlexNetと比較してGoogLeNetおよびResNet18で精度が下がってしまった。その原因となった誤分類画像は撮影時頭部もしくは手がぶれてしまったことによるボケの存在する画像を分類したことが原因であった。また，ラベルが極めて見えにくい画像が混入してしまったことによって精度が下がってしまった。しかし，これは分類しえない画像は分類に失敗するという正しい結果であり，AlexNetのようにこうした画像も分類に成功してしまっているという点で過学習の影響が考えられる。

誤分類した原因は他にも考えられる。今回の検証では^99mTc-TFを^99mTc-HMDPに，^99mTc-HMDPを¹²³I-IMPに誤って分類している場合が存在した。誤分類の理由としては，ラベルの色が同じでありなおかつ容器の形状が同じであることが原因と考えられる。ほかには，今回借用が可能であった放射性医薬品の容器はサンプル用で，それを表す「SAMPLE」の文字が記載されたシールが貼られていたことが原因と考えられる。ヒートマップを確認すると基本的にはラベル周囲から判断根拠とした範囲が広がっており，ラベルを中心に容器の形状を着目していたことが判明した。しかし，今回の検討では画像の枚数が少ないことや学習するために用い画像のバリエーションが少ないと言える。その中でも極めて高い結果が出たのは一部過学習の影響も考えられ，今後誤分類の影響や過学習の影響を把握するためにも実機でのデモンストレーションが必要である。そのためには，今後は企業の協力のもと，実際に使用する放射性医薬品の容器を借用し，様々なデータを取得しそのデータを元に深層学習モデルの開発が必要である。本研究が産学連携のための根拠となる結果になることを期待する。

ほかの放射線検査では当日検査する患者も多く存在するため本研究は適用できないが，核医学検査であれば薬剤の注文までの時間が存在し，核医学検査受付で事前の前処置の説明を必ず受ける必要が存在するため，そのタイミングで顔情報を登録することが可能である。こうした理由から，本システムは核医学検査に適用することが可能である。顔認証技術について，顔情報は個人情報となるため厳重に扱う必要がある。顔情報を取得する際は患者に必ず同意を取る必要がある上，その情報の用途を説明する必要がある。また，この顔情報は検査終了後削除する必要があるため，検査終了とともにその情報を削除するためのプログラムを別途組み込む必要がある。

また今後マイナンバーカードなどを利用し顔写真を活用することができれば同一人物の顔検証は容易となる。技術的には問題ないが，顔情報の取得には未だ個人情報の取り扱いや取得の同意といった問題点が存在し，今後議論する必要がある。

本研究では，Hololens2搭載カメラで取得した画像を用いて深層学習モデルを開発した。先行研究^5）で使用したスマートフォン（iPhoneXR）のカメラの性能は1200万画素であるが，本研究で使用したHololens2搭載カメラは800万画素のカメラを搭載している。このようにカメラの性能が異なる状態であったとしても同じように分類され，複数の深層学習モデルの開発が可能であることが判明した。しかし，実際に放射性医薬品の撮影を実施した際，自身の視野の範囲とHololens2搭載カメラの視野と若干の差異が存在することに気づいた。実際，Hololens2のカメラ搭載位置は人の視点よりも高い位置にある。そのため，自然に持つ感覚よりも少し上に放射性医薬品を位置する必要があった。今後，Hololens2のカメラのみならずWebカメラの併用など幅広く対応方法を考慮する必要がある。

本研究で考案したHololens2とリアルタイムAI解析技術は他分野にも応用可能である。例えば，放射性医薬品に限らず病院内で投与するさまざまな薬剤を分類することが可能になる場合，名前の類似する薬剤の誤投与を防ぐことが可能になる。また，インシデントが発生する可能性のある場所をいち早く認識し医療スタッフに警告するシステムも考えられる。いわゆる，医療スタッフ用の予防安全性能が開発できる可能性がある。これらシステムは常に医療スタッフ本人の視野をカメラでキャプチャする必要があり，スマートフォンでは対処することが不可能である。そのため，本研究のようにあらかじめHololens2で取得した映像をもとに学習し，その分類精度を評価することは有用であると考える。本研究では，データ取得方法について改善が必要であるものの，3種類の深層学習モデルを用いて分類可能であることを示した。すなわち，Hololens2搭載カメラを用いて取得した画像を用いたとしても，先行研究^5）と同様に分類することが可能であると判明した。何より，本研究は今後医療の領域に応用展開する可能性がある新たなアイディアを示しており，その実現可能性が確認されたと考える。今後はさらなる有用性を確認するため，実際にHololens2をはじめとする複合現実装置を用いて本研究で開発した深層学習モデルを使用し，リアルタイム解析およびその結果のホログラム表示を実施する必要がある。

本研究で提案するHololens2による複合現実表示とリアルタイムAI解析技術を組み合わせの可能性が示され，その有用性が判明したと考える。

本研究では複合現実装置を使用した放射性医薬品誤投与防止のためのシステムの要素技術開発を試みた。その結果，Hololens2搭載カメラで放射性医薬品容器を撮影しその種類を分類するモデルは高精度となり本研究で提案する一連のシステムの中心となるシステム開発は可能であることが判明した。どのモデルでも高精度になるものの判断根拠を示すヒートマップを表示することで，放射性医薬品のように分類する対象が常に一定の見え方をする場合，過学習と同様の挙動をすることが判明した。そのため，深層学習モデルの選択は慎重に選択すべきであると判明した。

今後の展開としては，既存の顔認証技術と組み合わせ，人物と使用予定の放射性医薬品が照合できるシステム開発を行う必要がある。また，臨床で使用する場合は，PACSと本システムを接続することで実際に使用可能となる。本研究で開発したシステム以外に必要となる技術は既存の技術を活用可能なため，本システムを基盤として実際に現場に配布可能なシステムが構築されることに期待する。

本研究では，Hololens2搭載のカメラを元にして放射性医薬品容器を分類する深層学習モデルを開発し，本研究で提案した複合現実装置を用いた放射性医薬品の分類結果ホログラム表示による誤投与インシデント防止の実現可能性が示された。今後放射性医薬品容器のように常に同じ見え方をする構造物を対象に過学習の効果を低減するため新たなデータ収集方法または学習方法が開発されることに期待する。