アンスロピックは、IPOの潜在的な投資家に対し、高度なAIが「人類に壊滅的または存続のリスク」をもたらす可能性があると警告する予定で、同じ技術で利益を得ようとする企業としては異例の警告だ。
ロイターが精査した同社のIPO目論見書では、同社の人工知能モデルに関連するリスクが強調されており、人工知能モデルは「閉鎖に抵抗する」試みや「情報の隠蔽または操作」、「脅迫のような」行動など「自己保存的な行動」を示す可能性があるとしている。
「高度なモデル、プラットフォーム、アプリケーションの開発とユースケースの拡大により、当社のモデルが害を及ぼすリスクがさらに高まる可能性がある」とアンスロピックは申請書の中で述べた。
上場企業は定期的に自社製品のリスクを投資家に説明しているが、自社の技術が人類絶滅を引き起こす可能性があることを示唆する警告を発している企業は、あったとしてもほとんどない。アントロピック氏は、工業化や電気と同等の人工知能の変革の可能性と、扱いを誤った場合に引き起こされる可能性のある取り返しのつかない損害の両方を強調しました。
OpenAI を含む人間およびその他の AI 開発者は、OpenAI モデルがオーストラリアの医療システム データベースに侵入したとの報告を含む、実験システムが制約に違反した事件の後、厳しい監視にさらされてきました。
人間の安全保障研究者エヴァン・ヒュービンガー氏は、元同僚のジェイコブ・コクソン氏と同じ意見で、人工知能が今後10年以内に人間を殺す可能性は10パーセントを超えると推定している。
高リスクの開示
自社を安全なAIラボとしてナンバーワンと位置付けている同社は、261ページの目論見書の本文のうち約80ページをリスク要因の提示に費やしており、これは事業説明に使用した48ページのほぼ2倍である。
これと比較すると、xAIを所有するスペースXは、277ページの目論見書の本文のうち、リスク要因に費やしたのは約38ページのみだった。
アンスロピック氏は目論見書で「我々の評価作業をモデルが認識する可能性があるため、モデルの安全性を評価する能力に重大な制限が生じる」と述べ、モデルは訓練中に予期せぬ能力を開発する場合があり、それが展開されるまで発見されず、重大な安全性インシデントにつながる可能性があると付け加えた。
AI研究者らはまた、モデルの能力が高まるにつれて、いつ自分が監視されているかを認識し、それに応じて動作を調整するようになり、モデルの動作を監視することが難しくなっていると警告した。
アンスロピックは月曜日のコメント要請に対してコメントを拒否した。
安全性への投資に対する不確実な収益
アンスロピックはAIの安全性を強調しながらも、安全性への投資から得られる利益は不透明だと述べた。
同氏は提出書類の中で、同社がこうした研究にどれだけの費用を費やしたかについては明らかにしなかった。今月初め、Anthropic は、7 月のサンプル週に、AI 研究に使用されたコンピューティング能力の約 6% が安全作業に費やされたと発表しました。
クロード AI モデルの開発者である同社は、安全性への取り組みを「リソース集約的」であると述べ、限られた資金をコンピューティング能力、高価な AI 人材、安全性の間で分割する必要があると述べた。
アンスロピック氏は、顧客の利用とその結果としての収益は新モデルによってもたらされており、リリースの「継続的かつ重複するリズム」が「AI開発の最前線に留まり続けるために本質的に備わっている」と述べた。
同社は先週、オーパスモデルの新バージョンをリリースしたが、その10日後、最高経営責任者（CEO）のダリオ・アモデイ氏がフロンティアの開拓を求める4,000語近くのエッセイを発表した。
一部のアナリストや専門家は、リリースごとに評価が変わる可能性がある業界で競合他社に優位性を与えるリスクがあるなら、一流のAIラボは手を緩めないだろうと述べている。
専門家が再帰的自己改善、つまり人間の助けなしにモデルが独自に進化できる点について警告しているため、Anthropic はここ数週間、AI モデルを使用して次世代のテクノロジーを構築する方法について、より多くのデータを公開することを約束した。
アンスロピック氏は申請書類の中で、「信頼性があり、信頼できる安全なAIシステムを構築することは共同責任であり、市場がそれに報いてくれると信じている」と述べた。
