プレシジョン、症例報告を学習した医療LLMで誤生成が疑われる病名を約8割削減
掲載日:
医療AI(人工知能)開発ベンチャーのプレシジョン(東京・文京区)は10月26日、医療特化型の大規模言語モデル(LLM)「SIP-jmed-LLM-Precision」で、ハルシネーション(幻覚)が疑われる病名の割合を、追加学習によって約8割削減した研究結果を発表した。また、同社では、この研究成果を活用した日本語入力ソフト「今日の医療AI日本語入力(Precision IME-med)」を10月から販売する。
「SIP-jmed-LLM-Precision」は、国立情報学研究所が中心となって開発する国産LLM「LLM-jp-4」を基に、約3万例の症例を整理した「疾患因果ダイアグラム」を追加学習したモデル。症例の所見から検索語を作成し、関連する症例や疾患を検索して順位を付けて提示する。
「疾患因果ダイアグラム」は、永井良三・自治医科大学学長が約10年かけて、疾患・病態と症状・所見の関係を図式化し、用語辞書で医学用語を統一して整理した図表。
評価では、医師が作成した症例問題のうち、学習に使っていない100問で学習前後を比較した。提示した病名のうち、医学辞書にもウェブ検索にも見つからない病名の割合は15.5%(998件中155件)から3%(同30件)に低下した。また、正解の疾患を上位10件に含む割合は27%から65%に上がった。
研究は、内閣府の戦略的イノベーション創造プログラム(SIP)第3期の「統合型ヘルスケアシステムの構築」の一環。「SIP-jmed-LLM-Precision」は医師が参考にする情報を提供する研究開発段階のモデルで、診断を行うものではなく、医療機器としての薬事承認は受けていない。
商用化する「今日の医療AI日本語入力」は、病名や薬剤名などを収録した医療用辞書の変換候補を、AIで並べ替えるソフト。医療LLMの出力などを追加学習したエンジンを使用する。パソコンの日本語入力として動作するため、電子カルテを改修せずに利用できる。
変換エンジンは文章を生成せず、辞書内の候補の順番だけを決めるため、辞書にない語や実在しない病名を新たに生成しないという。一方で、候補の順位を誤る可能性はあるため、入力内容は利用者が確定する仕組みにした。
今後は、確定後の文章の文脈をAIが読み、「方針/疱疹(ほうしん)」などの取り違えが疑われる語に別の変換候補を提示する機能も提供する。文章を自動で書き換えることはなく、提案を採用するかどうかは利用者が選べるようにする。