AIに毒を盛る

昨年、シカゴ大学のグループが、生成AIにダメージを与えるために機械学習の対象となるデータを”poisoning”する（毒を盛る（笑））ツールNightshadeを開発したという報道があった。Nightshadeは、アーティストが自分の作品を学習から防御するものとして紹介されており、画像生成AIの学習データとなる画像データに、目では分別できないピクセルを混入して、それを学習データとすることによって、AIモデルが混乱して生成物が予測できない壊れ方をするという。報道では、研究論文はUsenix協会のカンファレンスで査読のために提出されたプレヴュだということだったが、arxivで公開されていて読むことができる。なんとこのツールNightshadeの専用サイトもありダウンロードもできる。論文は専門的なので読んでも分からないことだらけだが、毒されたデータを学習したAIが生成した、意味不明の画像（私の感覚では「壊れている」）が掲載されている。

そして今年、音楽についての同様の研究成果が発表された。テネシー大学のHarmonyCloakというツールだ。サイトでは、クリーンなデータで学習させた場合の生成音楽と、毒されたデータで学習させた場合とを聞き比べることができる。後者は、音楽としての鑑賞には堪えないと思う（面白いという人があるかもしれない）。

作品が学習されることを防御する目的でアーティストが毒（自衛のためにされることを「毒」と呼ぶのは申し訳ないことだが）を作品に仕込むことは、その結果としてAIのモデル全体に影響を及ぼしてしまう可能性があることが分かっている場合でも、お咎めはないのだろうか（AI神には不敬だ（笑））。内閣府が公表した「AI時代の知的財産権検討会」の「中間とりまとめ」、その後最近になって公表した「—権利者のための手引―」とする資料では、技術的な防衛策として「学習を妨害するノイズを画像に付与」する方法も有用として紹介されている一方で、「AI開発者や AI 提供者の業務を妨害することを目的とした悪質な行為については、電子計算機損壊等業務妨害罪（刑法234条の２）等の刑事罰の対象となる可能性もあり得る」ともされている。　＜続く＞