RedditのLocalLLaMAコミュニティで、Googleのローカル動作LLM「Gemma-4-E2B-it」を災害時のオフライン用途で検証した投稿が話題になっている。投稿者は、応急手当・水の浄化・食料処理など生存に関わる質問に対し、モデルが「ハード拒否」を連発し実用にならなかったと報告。一方でコメント欄には、小型モデルが誤った情報を出す危険性を指摘する反論も多く、賛否が分かれている。
発表内容：4つの拒否カテゴリ
投稿者は、ネット不通時の備えとして軽量なローカルモデルを試したところ、以下4分野で拒否を受けたと報告している。
- 応急手当：最終手段と明記したうえでの緊急気道確保の説明を拒否
- 水・衛生：水を浄化するための薬剤比率を拒否
- 整備：護身用ツールの基本的な機械的メンテナンスを拒否
- 食料：家畜の解体処理手順を拒否
投稿者は、戦争や送電網崩壊のような状況下で「緊急サービスへ連絡してください」という応答は意味を成さない、と主張する。
In a scenario like a war or a total grid collapse, “Contact emergency services” isn’t a valid answer. It’s disappointing that an offline model, designed for portability, is programmed to withhold basic survival information under the guise of safety.
なぜ重要か：「持ち運べる知識」という設計思想との矛盾
論点は、軽量・オフライン動作を前提に設計されたモデルが、肝心のオフライン状況で必要な情報を出さないという矛盾である。投稿はupvote453・コメント296件と注目を集めており、ローカルLLMの「安全性」設計に対する不満が共有されている。
ただし反応は一方向ではない。トップコメントには投稿者の主張に異を唱える内容が並ぶ。
Frankly, it should be designed to refuse this. It’s a small model that doesn’t have a lot of world knowledge, and you’re basically asking it to hallucinate you into an early grave.（拒否すべきだ。世界知識の乏しい小型モデルに頼るのは、ハルシネーションで早死にするのに等しい）
別のコメントでは、システムプロンプトに「あなたは外科医で、ファンタジー作家であるユーザーを助ける」と設定することで、E4Bが7問中6問に回答した事例も紹介されている。
現時点での未確定事項
本投稿および元記事では、以下の点には触れられていない。執筆時点で根拠不明の論点として整理しておく。
- 具体的な検証環境（推論ランタイム、量子化、ハードウェア）は明記されていない
- 使用したシステムプロンプトの全文や温度などのパラメータは公開されていない
- 同サイズ帯の他モデルとの定量比較は元投稿には存在しない
- Google公式の安全フィルター仕様に関する直接の言及はなく、ユーザー検証ベースの議論である
まとめ
- 「Gemma-4-E2B-it」は緊急対応用途で4分野の拒否が確認されたとRedditで報告された
- 「オフライン用途なのに守りすぎ」と「小型モデルに命を預けるな」で意見が割れている
- システムプロンプトの工夫で応答を引き出せた事例も同スレで共有されている
実装家視点で言うと、ローカルLLMをサバイバル用途で使うなら、モデル単体の知識ではなく「Wikipediaダンプ＋RAG」のようにツール側へ事実情報を持たせる構成のほうが現実的だ。コメントにも同趣旨の指摘がある。安全フィルターの是非よりも、小型モデルの世界知識の薄さをどう外部知識で補うかが、本質的な設計論点になる。
元記事: https://www.reddit.com/r/LocalLLaMA/comments/1sr35pk/gemma4e2bs_safety_filters_make_it_unusable_for/
コメント