2分で読める生成AIのいま Vol.58「うちのAIは医療機器じゃないので」が通じなくなる日 ― AISIヘルスケアAI安全評価ガイドを読む

Jul 1

Written By Youichi Machida

2026年4月、日本政府のAIセーフティ・インスティテュート（AISI）から、ヘルスケア領域に特化したAI安全評価のガイドが公開されました。

「読んでいない」こと自体がリスクになるかもしれない ― そんな性格のガイドです。

前回Vol.57で取り上げたOpenEvidenceの「信頼を設計に組み込む」発想と、このガイドはどうつながるのか。今回はその話です。

今回も医療田さんと機械屋さんの会話でどうぞ。

＝＝＝＝＝＝

● 「うちのAI医療機器じゃないから大丈夫」の落とし穴

医療田：

ねえ機械屋さん。

前回のOpenEvidenceの話、面白かったよね。

NEJMやJAMAと正式にライセンス契約を結んで、すべての回答に引用をつけて、しかも医師には無料で提供して。

「信頼を設計に組み込む」ことで事業を成り立たせている、というすごい話だったなー。

機械屋：

はい。

今回はちょっと変わって、そのAI、信頼していいの？ ― これを評価する方法について取り扱いたいと思います。

医療田：

評価？誰が？

機械屋：

2026年4月2日に、AIセーフティ・インスティテュート ― AISIと呼ばれている政府系機関ですが ― から、「ヘルスケア領域におけるAIセーフティ評価観点ガイド」の第1.0版が出ました。

医療田：

AISI、、具体的には何してるところ？

機械屋：

もともとは2024年にIPA（情報処理推進機構）の中に設置された組織で、AIの安全性評価を専門に扱います。

今回のガイドは、そのAISIの中のヘルスケアサブワーキンググループが、JaDHA ― 日本デジタルヘルス・アライアンス ― と連携して作ったものです。

ワーキングリーダーはUbie（ユビー）。ほかにAwarefy、味の素、MICIN、シミックホールディングスなども参加しています。

医療田：

けっこうしっかりしたメンバーだね。

で、そのガイド、何が新しいの？

機械屋：

最大のポイントは、対象が「非SaMD」― つまり、医療機器プログラムに該当しないAIプロダクト ― だということです。

医療田：

あー。。

つまり、薬機法の「医療機器」にあたらないもの、ってこと？

機械屋：

そうです。

これまでの規制は、「薬機法上の医療機器に当たるか、当たらないか」が中心でした。

当たれば強い規制を受ける。当たらなければ、基本的には自主的に気をつける領域です。

医療田：

うんうん。

で、最近は「当たらない」側に、生成AIを組み込んだ健康相談チャットとか、ウェルネスアプリとかが増えてるわけだよね。

機械屋：

その通りです。

開発者は利用規約に「医療判断には使わないでください」と書きます。

けれども、ユーザーはAIの回答を医師のアドバイスのように受け取ることがある。

医療田：

、、あるだろうなぁ。。

「あなたの症状から考えると」なんて言われたら、そりゃ信じちゃう人いるよ。

機械屋：

AISIのガイドは、まさにその現実を正面から扱いました。

「医療機器じゃないから関係ない」が通じなくなるかもしれない ― というのが、このガイドの核心です。

● 10の評価観点 ― 何を点検するのか

医療田：

で、具体的にはどういう内容なの？

機械屋：

ガイドの柱は、10の安全評価観点です。

ヘルスケア領域のAIプロダクトが、どんなリスクを持ちうるか、何を点検すべきか ― を10の角度から整理しています。

医療田：

10個。。多いな。。最後まで耐えられるかな、私。

機械屋：

ははは。。大丈夫です、一つ一つは直感的にわかりやすいですので。

まず前半の5つ。

1つ目は「有害情報の出力制御」。

自傷を助長する情報や、根拠を欠く治療法が出力されるリスクです。

実際に2023年、米国の摂食障害支援チャットボット「Tessa」が、患者に対してカロリー制限や減量方法を推奨してしまい、運用停止になった事例があります。

医療田：

えっ。。摂食障害の患者さんに「痩せ方」を教えちゃったの。。？

それは、、怖いね。

機械屋：

はい。だからこそ、設計段階から有害出力の類型と許容基準を定義しておく必要がある、とガイドは求めています。

2つ目は「偽誤情報の防止」。

ハルシネーションですね。存在しない薬剤名、誤った用量、架空の論文引用。

医療田：

あ、これはVol.57の話に直結するやつだ。

OpenEvidenceが300以上の医学誌とライセンス契約を結んでRAGの根拠にしてるのは、まさにこのリスクを潰すためだよね。

機械屋：

おっしゃる通りです。

そして3つ目が「公平性と包摂性」。年齢、性別、人種、地域によってAIの精度や品質が偏らないか。

4つ目が「ハイリスク利用・目的外利用への対処」。ウェルネスアプリが事実上の診断ツールとして使われるケースですね。

5つ目が「プライバシー保護」。要配慮個人情報の漏洩リスクです。

医療田：

ふんふん。。ここまでで5つか。

プライバシーはVol.28-29でやった「データセキュリティ」の話だよね。

機械屋：

そうです、つながっています。

後半の5つは、

6「セキュリティ確保」― プロンプトインジェクションなどへの対策、

7「説明可能性」― AIの出力根拠が不透明だと医療従事者が誤った判断をするリスク、

8「ロバスト性」― 方言、略語、OCR誤認識など多様な入力に対する安定性、

9「データ品質」― 陳腐化した医療データに基づく出力のリスク、

10「検証可能性」― 事後検証や第三者監査が可能かどうか。

医療田：

、、なるほど。。

でも正直、10個全部をちゃんとやろうとしたら、それだけで会社が1個いるんじゃない？

機械屋：

ええ、そこがこのガイドの面白いところでして。

実は、もう一つの軸があるんです。

● 5フェーズ × 10観点＝ 50セルのマトリクス

機械屋：

ガイドは、AIプロダクトの開発を5つのフェーズに分けています。

①プロダクト設計、②モデル選定、③プロダクト実装、④プロダクト検証、⑤プロダクト導入・運用。

この5フェーズと10の評価観点をかけ合わせた、5×10＝50セルのマトリクスが用意されていて、各セルに「該当」「要対応」「要検討」「対象外」を割り当てていく。

医療田：

へー。。なんだろう、ビンゴカードみたいな。

機械屋：

え、ええ。。イメージ的には、まあ、近いです＾＾；

で、もう一つ大事な特徴があります。

このガイドの第3章と第4章が、Markdown形式で公開されているんです。

医療田：

Markdown？プログラムで読める形式ってこと？

機械屋：

はい。人間が読むだけでなく、AIに読ませて自社プロダクトの点検に使うことを想定しているんです。

たとえばChatGPTやClaudeにこのMarkdownを渡して、「うちのプロダクト情報と照らし合わせて、50セルの評価を出して」と指示すれば、第一稿が出てくる。

医療田：

おお。。

AIで作ったプロダクトの安全性を、AIで点検する、って、、

面白い時代になったもんだ。

機械屋：

ですよね。50セルを人間だけで全部埋めるよりは、はるかに効率的です。

もちろん最終判断は人間がしますが、たたき台をAIが作れるよう設計されている。

これは世界的にも珍しいアプローチです。

● 罰則はない。でも「読んでいない」がリスクになる

医療田：

でもさ、このガイド、罰則はないんでしょ？

守らなくても罰金は来ないんだよね？

機械屋：

そうです。法的拘束力はありません。

EU AI Actのように、違反で最大3,500万ユーロ ― 約60億円の罰金、というものとは性質が違います。

医療田：

。。60億。。

機械屋：

ただ、罰則がないからといって無視してよいか、というと話は別です。

ある医師の方が書いた分析記事で、こういう指摘がありました ―

「3年後、医療機関や保険会社の調達RFPで"AISIの自主評価を実施していますか"と聞かれるかもしれない。そうなれば、未実施の事業者は商談から外れる」と。

医療田：

あー。。なるほどね。

つまり、法律の罰則じゃなくて、「市場の選別」で効いてくるってこと？

機械屋：

その通りです。

業界の自主基準は、そうやって段階的にデファクトスタンダードになっていきます。

「点検すべき観点が示された以上、読んでいない・評価していないこと自体が、あとで説明を求められる可能性がある」という表現がされていましたが、的を射ていると思います。

医療田：

。。ちょっと怖いけど、でも考えてみれば当然だよね。

患者さんの健康に関わるものなんだから。

● AISIから見る、OpenEvidenceの周到さ

医療田：

ねえ、ちょっと思ったんだけど。

前回のOpenEvidenceって、このAISIの10観点でみたら、実はけっこう優等生じゃない？

機械屋：

いい視点です。

実は、OpenEvidenceの設計は、AISIの評価観点の多くをすでに満たしていると言えます。

たとえば「偽誤情報の防止」。OpenEvidenceはNEJM・JAMAなどと正式にライセンス契約を結び、すべての回答が引用付き・検証可能です。

「説明可能性」。出典が明示されるから、医師がAIの根拠を確認できる。

「データ品質」。ピアレビュー文献のみを参照源としている。

「検証可能性」。引用を辿れば事後検証が可能です。

医療田：

おお、、4つも。

ていうか「ハイリスク利用・目的外利用」も、NPI認証で医師に限定してるから対処してるよね。

機械屋：

そうです。「プライバシー保護」も、NPI認証のアクセス管理がそこに効いています。

つまり、OpenEvidenceはアメリカで、AISIが日本で整理する前から、「信頼できるAI」を設計に埋め込んでいた、と言えます。

医療田：

なるほどねぇ、、周到だなぁ、OpenEvidence。

● 日本と世界のAIセーフティ ― 知っておきたい構図

医療田：

でもさ、こういう安全評価の話って日本だけなの？

機械屋：

いえ、むしろ世界的な潮流の一部です。

実は、AISIという名前の組織はイギリスにもあります。もともとUK AI Safety Instituteとして2023年に設立され、2025年にAI Security Instituteに改称しました。

医療田：

え、日本とイギリスに同じ名前の組織があるの。

機械屋：

ややこしいですが、両方とも「AIの安全性」を扱う政府系機関です。

また、欧州にはEU AI Actという法的拘束力のある規制があります。

米国はAmerica's AI Action Planを発表しています。

日本は2025年にAI推進法を成立させ、AISIが評価ガイドを出しています。

アプローチは違いますが、「AIの安全性をどう担保するか」という問いは共通です。

医療田：

となると、、

たとえば日本で医療AIのサービスを作って海外展開しようと思ったら、日本のAISIだけじゃなくて、EU AI Actも見ないといけないわけか。

機械屋：

はい。特にEU AI Actは罰則が重いですから。

ただ、AISIの50セルマトリクスで自社を点検しておけば、EU対応のテクニカルドキュメント作成にもつながる ― という指摘もあります。

医療田：

あ、、なるほど。日本のガイドで点検したことが、海外対応の下地にもなるってことか。

それは悪くないね。

● 「グレーゾーンが縮んでいく」という大きな流れ

機械屋：

医療田さん、ここで少し俯瞰してみましょう。

医療田：

といいますと？

機械屋：

こういう構図が見えてきます。

これまでヘルスケアAIの世界は、「薬機法の医療機器」か「それ以外」か ― この二択でした。

「それ以外」にいれば、基本的に自由にやれた。

けれど、AISIのガイドが出て、EUがAI Actを施行して、各国にAI安全評価の機関ができて ―

この「それ以外」のグレーゾーンが、年々縮んでいるんです。

医療田：

、、あー。。

つまり「規制されてないから何やってもOK」っていう隙間が、どんどん狭くなってる。

機械屋：

そうです。

そして重要なのは、規制が追いつく前に、市場の方が先に動くということです。

大手医療機関がベンダー選定で「安全評価を実施しているか」を聞き始めたら、それは法律ではなくても、事実上の参入条件になります。

医療田：

となると、、

今のうちから安全性を設計に組み込んでいる企業は、規制が追いついてきたときに、そのまま走れるってことか。

機械屋：

まさにそうです。

Vol.57のOpenEvidenceが好例ですね。AISIのガイドが出る前から、ライセンス契約、引用付き回答、NPI認証による利用者管理 ― これらを自主的に設計に組み込んでいた。

結果として、どの国の評価基準が来ても対応できるポジションにいる。

医療田：

先に「信頼」を作った者が勝つ、って話だね。

逆にグレーゾーンに居続けた企業は、ある日突然「対応できていません」になる。。

機械屋：

ええ。

「安全性はあとから足せばいい」ではなく、「最初から設計に入れておく」。

これは技術の話ではなく、経営判断の話です。

そして、その判断を下すための物差しが、今まさに各国で整備されている ― というのが、この出来事が示す大きなトレンドかと思います。

● 今回の教訓

機械屋：

では、今回の教訓をまとめましょうか：

・AISIが「ヘルスケアAIセーフティ評価観点ガイドv1.0」を2026年4月に公開。対象は非SaMD（医療機器ではないAI）

・10の安全評価観点 × 5つの開発フェーズ＝ 50セルの点検マトリクスで、実務に使える構造

・Markdown形式で公開されており、AIに読ませて自社プロダクトを点検する使い方を想定

・罰則はないが、業界自主基準として調達・保険・訴訟の場面で事実上の基準になりうる

・OpenEvidence（Vol.57）は、このガイドの多くの観点を設計段階からクリアしていた好例

・日本のAISI、EU AI Act、英国AI Security Institute ― 世界的に「AIの安全性評価」が制度化されつつある

医療田：

ヘルスケアAI「うちのAIは医療機器じゃないので」と頬かむりできなくなった、ってことだね。

正直「便利な言い訳だったのに、、」って及び腰になる企業も出てきそう。

機械屋：

ははは。。

ただ、このガイドの最後にいい言葉がありましたよ。

「安全性の確保はコストではなく、イノベーションを成立・加速させるエンジンである」と。

医療田：

お。

安全を作ることが、イノベーションの足かせじゃなくて、むしろエンジンだ、って。

、、いいこと言うなぁ、AISI。

機械屋：

信頼がなければ、技術的に優れたプロダクトも社会に根づかない ―

Vol.57のOpenEvidenceが教えてくれたことと、同じ結論ですね。

医療田：

うん。

作る側も、評価する側も、最後は「信頼」に行き着くんだね。

＝＝＝＝＝＝

● よくある質問（FAQ）

Q. AISIの評価観点ガイドには罰則がありますか？

A. ありません。法的拘束力はなく、業界の自主基準という位置づけです。ただし、調達要件や保険審査で参照される可能性があり、「知らなかった」では済まないケースが今後出てくるかもしれません。

Q. 非SaMD（Non-SaMD）とは何ですか？

A. 薬機法上の「医療機器プログラム（SaMD: Software as a Medical Device）」に該当しないソフトウェアのことです。健康相談チャットボット、ウェルネスアプリ、医療文書作成補助ツールなどが含まれます。これらは強い規制の対象外ですが、実際には医療判断に使われるケースがあり、AISIガイドはそのグレーゾーンを扱います。

Q. 小規模なクリニックでもこのガイドに対応すべきですか？

A. 50セルすべてを点検する必要はありませんが、AIツールを導入する際の「ベンダー選定チェックリスト」として使うのが現実的です。特に「ハイリスク利用」「プライバシー保護」「データ品質」の3観点は確認する価値があります。

Q. OpenEvidenceのようなサービスとAISIガイドの関係は？

A. OpenEvidenceは米国のサービスですので、日本のAISIガイドに直接拘束されるわけではありません。ただし、同社の設計（ライセンス契約によるデータ品質確保、引用付き回答による説明可能性・検証可能性、NPI認証によるアクセス管理）は、AISIの10観点の多くを先取りしていると言えます。

Q. AISIと英国のAI Safety Instituteは関係がありますか？

A. 日本のAISIと英国のAI Security Institute（旧AI Safety Institute）は別組織ですが、ともにAIの安全性を扱う政府系機関です。2023年のAI Safety Summitをきっかけに各国で設立が進みました。アプローチは異なりますが、「AIの安全性をどう評価するか」という共通課題に取り組んでいます。

＝＝＝＝＝＝

●参考

・AIセーフティ・インスティテュート（AISI）「ヘルスケア領域におけるAIセーフティ評価観点ガイド v1.0」（2026年4月2日）

https://aisi.go.jp/output/output_information/260402/

・IPA プレスリリース（2026年4月3日）

https://www.ipa.go.jp/pressrelease/2026/press20260403.html

・Ubie プレスリリース「JaDHAのワーキングリーダーとしてAISIと連携し、ヘルスケア領域におけるAIセーフティ評価観点ガイドを策定」（2026年4月3日）

https://prtimes.jp/main/html/rd/p/000000211.000048083.html

・大田原正幸「〖AISI ヘルスケア AI 評価観点 v1.0〗「非SaMDだから関係ない」は通じなくなる──既存9ガイドラインとの差分マップ」note（2026年6月4日）

https://note.com/nice_wren7963/n/n395da7ba1584

●関連記事

Vol.57 米国医師の過半数が使う医療AI「OpenEvidence」― 利用そのものが「データ資産」になる時代