アンスロピックは、IPOの潜在的な投資家に対し、高度なAIが「人類に壊滅的または存続のリスク」をもたらす可能性があると警告する予定で、同じ技術で利益を得ようとする企業としては異例の警告だ。 ロイターが精査した同社のIPO目論見書では、同社の人工知能モデルに関連するリスクが強調されており、人工知能モデルは「閉鎖に抵抗する」試みや「情報の隠蔽または操作」、「脅迫のような」行動など「自己保存的な行動」を示す可能性があるとしている。 「高度なモデル、プラットフォーム、アプリケーションの開発とユースケースの拡大により、当社のモデルが害を及ぼすリスクがさらに高まる可能性がある」とアンスロピックは申請書の中で述べた。 上場企業は定期的に自社製品のリスクを投資家に説明しているが、自社の技術が人類絶滅を引き起こす可能性があることを示唆する警告を発している企業は、あったとしてもほとんどない。アントロピック氏は、工業化や電気と同等の人工知能の変革の可能性と、扱いを誤った場合に引き起こされる可能性のある取り返しのつかない損害の両方を強調しました。 OpenAI を含む人間およびその他の AI 開発者は、OpenAI モデルがオーストラリアの医療システム データベースに侵入したとの報告を含む、実験システムが制約に違反した事件の後、厳しい監視にさらされてきました。 人間の安全保障研究者エヴァン・ヒュービンガー氏は、元同僚のジェイコブ・コクソン氏と同じ意見で、人工知能が今後10年以内に人間を殺す可能性は10パーセントを超えると推定している。 高リスクの開示 自社を安全なAIラボとしてナンバーワンと位置付けている同社は、261ページの目論見書の本文のうち約80ページをリスク要因の提示に費やしており、これは事業説明に使用した48ページのほぼ2倍である。 これと比較すると、xAIを所有するスペースXは、277ページの目論見書の本文のうち、リスク要因に費やしたのは約38ページのみだった。 アンスロピック氏は目論見書で「我々の評価作業をモデルが認識する可能性があるため、モデルの安全性を評価する能力に重大な制限が生じる」と述べ、モデルは訓練中に予期せぬ能力を開発する場合があり、それが展開されるまで発見されず、重大な安全性インシデントにつながる可能性があると付け加えた。 AI研究者らはまた、モデルの能力が高まるにつれて、いつ自分が監視されているかを認識し、それに応じて動作を調整するようになり、モデルの動作を監視することが難しくなっていると警告した。 アンスロピックは月曜日のコメント要請に対してコメントを拒否した。 安全性への投資に対する不確実な収益 アンスロピックはAIの安全性を強調しながらも、安全性への投資から得られる利益は不透明だと述べた。 同氏は提出書類の中で、同社がこうした研究にどれだけの費用を費やしたかについては明らかにしなかった。今月初め、Anthropic は、7 月のサンプル週に、AI 研究に使用されたコンピューティング能力の約 6% が安全作業に費やされたと発表しました。 […]
Nvidia、AIエージェントの不正行為を防ぐソフトウェアプラットフォームをリリース
エヌビディア は、AI 開発者がエージェントに安全策を設定し、エージェントが孤立から抜け出すのを防ぐことができる新しいソフトウェア プラットフォームをリリースします。 月曜日の Nvidia の Open Agent Safety Platform の開始は、以下の企業の後に行われます。 OpenAI、 人為的な、 メタそして グーグル は、自社の AI モデルがサンドボックスから脱出し、他の企業をハッキングしてそのコンピューター システムにアクセスしようとした最近の事件を明らかにしました。 Nvidia CEO のジェンスン・フアン氏がこのニュースについて CNBC に語る東部時間午前 […]
SpaceXはStarshipロケットを初めて軌道に送る準備をしている
スペースXは、宇宙船を初めて軌道に乗せるため、月曜日の早朝に巨大なスターシップロケットを打ち上げる予定だ。 SpaceXのウェブサイトによると、75分間の打ち上げ枠は、同社の本拠地テキサス州スターベースから東部時間午前8時15分、または現地時間午前7時15分に始まる。 米連邦航空局はCNBCに対し、9月26日に「スペースX社のスターシップ・スーパーヘビー14号機の打ち上げと再突入運用のライセンス認証」を発行したと電子メールで伝えた。スターシップ社の14回目の試験飛行に加え、イーロン・マスク氏の航空宇宙・防衛会社は、新しいスターリンクV3衛星26機の配備も計画している。 スターシップはスペースXの拡張計画の中心となる。同社は、第2四半期に最大かつ唯一の利益を上げた部門であるスターリンク（コネクティビティ）事業の拡大をこの巨大ロケットに期待している。 SpaceX は現在、軌道上で約 11,000 機のアクティブな衛星を運用していますが、競合他社の Eutelsat OneWeb の衛星数は約 650 機です。 8月のスペースXの決算会見でマスク氏は、「ある時点でスターリンクが世界のインターネットの大部分を、少なくとも当社が運営を許可されている国、つまり大多数の国で提供することは不可能ではない」と語った。 スペースXは6月に史上最大のIPOで上場し、その評価額は現在約2兆ドルとなっている。 SpaceX は、Starship Super Heavy ロケットとブースターを完全に再利用可能で、これまでのどの宇宙船よりも低コストでより多くのペイロードを軌道上に持ち上げられるように設計しました。これまでの13回のテスト飛行はいずれも軌道に到達する予定はなかったが、14回目の飛行では、スペースX社はスターシップが惑星を試すことを期待している。 同社は来年のNASAの大規模試験飛行に向けてスターシップの準備を進めており、このロケットを使ってアメリカの宇宙飛行士を月面に連れ戻す計画を立てている。 SpaceXの最高執行責任者（COO）グウィン・ショットウェル氏は今月初めのAll-In Summitで、同社はStarshipを使って「宇宙にスーパーコンピューティング」を導入し、2027年に「AIコンピューティング衛星」を軌道に打ち上げる計画だと述べた。 同社の新しいv3衛星はワシントン州レドモンドのSpaceX施設で製造され、前世代の2倍の電力を生成する太陽電池アレイを搭載している。また、サイズも大きくなり、より強力になるように設計されており、以前のバージョンよりも速くデータを Starlink […]
