Local LLM.

外部APIに毎回テキストを送らずに推論できるため、通信制約やデータ所在地の要件に対応しやすい。用途に合わせて小規模モデルを選べば、遅延や運用費を抑えられる場合もある。ただし「ローカルで動く＝安全」ではない。

端末の紛失、ログやキャッシュへの機密情報の残存、不適切なアクセス権、入手元不明のモデル・依存ライブラリ、脆弱な更新運用は別のリスクを生む。性能・ライセンス・利用データの取扱いもモデルによって異なる。導入前に脅威モデル、権限、監査、更新責任を決める必要がある。

個人PCで試した成功例をそのまま全社利用へ広げるのは危険だ。モデルの更新、問い合わせ対応、利用ログの管理まで責任の所在を決めておく。

Blueberry’s Perspective

社外に送らないことは安全対策の一つだが、管理する責任が自社に移ることも忘れてはいけない。