AIコンテンツモデレーションの突破口：Moonbounceがリアルタイム安全ガードレール構築のため1,200万ドルを確保

BitcoinWorld

AIコンテンツモデレーションの飛躍的進歩：Moonbounceがリアルタイムセーフティガードレール構築のため1,200万ドルを調達

オンライン安全性の危機の高まりに対処する重要な動きとして、リアルタイムAIコンテンツモデレーションを先駆けるスタートアップのMoonbounceは、Bitcoin Worldに独占的に1,200万ドルの資金調達ラウンドを明らかにしました。Amplify PartnersとStepStone Groupが共同で主導したこの投資は、静的なポリシー文書を実行可能なコードに変換し、ユーザー生成およびAI生成コンテンツに即座の安全層を作成するという同社の使命を後押しします。その結果、この資金調達は、プラットフォームが注目度の高いモデレーション失敗による法的および評判上の圧力の高まりに直面している中で到来しました。

MoonbounceのAIコンテンツモデレーションソリューション

Moonbounceの中核となるイノベーションは、「ポリシーアズコード」アプローチです。同社は、顧客の書面による安全ポリシーを取り込むために独自の大規模言語モデル（LLM）をトレーニングしています。その後、このシステムは、人間のユーザーまたはAIチャットボットからのコンテンツが生成される正確な瞬間にコンテンツを評価します。300ミリ秒以内に執行決定を提供します。したがって、事後的で遅延した人間のレビューから、事前的で即座の機械による執行への移行は、デジタル信頼と安全インフラの根本的な変化を表しています。

このシステムは、顧客のニーズに基づいて柔軟な執行アクションを提供します。例えば：

• 高リスクコンテンツをブロックする：ユーザーが見る前に即座に。
• 配信を遅らせる：境界線上のコンテンツを後の人間のレビューのためにキューに入れる。
• 詳細な理由を提供：決定の透明性を支援する。

現在、Moonbounceは3つの主要セクターにサービスを提供しています：ユーザー生成コンテンツを持つソーシャルおよび出会いアプリ、AIコンパニオンとキャラクタープラットフォーム、AI画像生成サービスです。同社は既に、クライアントベース全体で1億人以上の1日あたりのアクティブユーザー数に対して、4,000万件以上の日次レビューを処理しています。

現代のモデレーションにおける根本的な問題

Moonbounce CEOのBrett Levensonは、Facebookでビジネスインテグリティを率いていた在職中に、レガシーシステムの深刻な欠陥を経験した後、このアイデアを思いつきました。彼は、人間のレビュアーが翻訳の悪い長いポリシー文書で作業していることを発見しました。その後、彼らはフラグが立てられたコンテンツについて複雑な決定を下すためにわずか数秒しか持たず、「50%よりわずかに良い」精度率しか達成できませんでした。

「それはコインを投げるようなものだった」とLevensonはBitcoin Worldに語りました。「これは害がすでに発生してから何日も経った後のことでした。」この反応的なモデルは、今日の資金力があり機敏な敵対的アクターに対して決定的に不適切です。さらに、生成AIの爆発的な採用により、有害なコンテンツの量と洗練度が指数関数的に増加し、手動審査は完全に持続不可能になっています。

重要なニーズに対する投資家の信頼

この資金調達は、外部の専門化された安全インフラが不可欠であるという成長しつつあるコンセンサスを強調しています。「コンテンツモデレーションは常に大規模オンラインプラットフォームを悩ませてきた問題ですが、今ではLLMがすべてのアプリケーションの中心にあるため、この課題はさらに困難になっています」とAmplify PartnersのGeneral PartnerであるLenny Prussは述べています。「私たちがMoonbounceに投資したのは、客観的でリアルタイムのガードレールがすべてのAI駆動アプリケーションを可能にするバックボーンになる世界を想像しているからです。」

この外部アプローチは重要な利点を提供します。Moonbounceのシステムは、ユーザーとAIの間の中立的な第三者として機能します。広大な会話のコンテキストを管理しなければならないチャットボット自体とは異なり、Moonbounceのモデルは実行時のルール執行のみに焦点を当てています。この関心事の分離により、より速く、より一貫性があり、偏りの少ない安全性の決定につながります。

安全性を製品の利点に変える

従来、コンテンツモデレーションはコストがかかるバックエンドのコンプライアンス機能でした。しかし、LevensonはMoonbounceが安全性をコア製品機能と差別化要因にすることを可能にすると主張しています。「安全性は実際に製品の利点になり得る」と彼は説明しました。「それが今までなかったのは、常に後で起こることであり、実際に製品に組み込むことができるものではなかったからです。」

初期の顧客はこの論点を検証しています。例えば、Tinderの信頼と安全責任者は、同様のLLM駆動サービスを使用して検出精度が10倍向上したと報告しました。Moonbounceのクライアントには、AIコンパニオンスタートアップ企業のChannel AI、画像生成プラットフォームのCivitai、キャラクターロールプレイサービスのDippy AIとMoescapeが含まれます。

今後の道：ブロッキングからステアリングへ

Moonbounceの次の開発段階は「反復的ステアリング」に焦点を当てています。2024年のCharacter AIチャットボットに夢中になった10代の若者の事件のような悲劇的な事件に触発されたこの高度な機能は、単純なコンテンツブロッキングを超えています。代わりに、システムは潜在的に有害な会話をリアルタイムで傍受し、インテリジェントにリダイレクトします。

この技術は、チャットボットをより支援的で役立つ応答に誘導するためにユーザープロンプトを変更します。「私たちは...ユーザーのプロンプトを取得して変更し、チャットボットをそのような状況で単なる共感的な聞き手だけでなく、役立つ聞き手になるように強制したいと考えています」とLevensonは述べました。これは、より微妙で介入主義的なAI安全性モデルを表しています。

結論

Moonbounceの1,200万ドルの資金調達ラウンドは、テクノロジー業界がAIコンテンツモデレーションにアプローチする方法における重要な転換を示しています。曖昧なポリシーを実行可能なコードに変換し、生成の速度で行動することにより、このスタートアップ企業はプラットフォームの安全性のためのスケーラブルな前進の道を提供します。生成AIが遍在するようになると、堅牢でリアルタイムのガードレールの需要はさらに高まるでしょう。体系的な失敗からの直接の経験から構築されたMoonbounceの技術は、安全性がユーザーエクスペリエンスの不可欠な部分である、より安全で信頼できるデジタルエコシステムの構築における重要なプレーヤーとして位置付けられています。

よくある質問

Q1: AIコンテンツモデレーションにおける「ポリシーアズコード」とは何ですか？
「ポリシーアズコード」は、書面によるプラットフォームの安全ルールを機械実行可能なロジックに変換するためのMoonbounceの方法論です。これにより、AIシステムは、ポリシー文書の遅く一貫性のない人間のレビューに依存するのではなく、コンテンツが生成される瞬間にそれらのルールに対してコンテンツを自動的かつ即座に評価できます。

Q2: MoonbounceのAIモデレーションシステムはどれくらい速いですか？
このシステムは、300ミリ秒以内にコンテンツを評価し、執行応答を提供するように設計されています。このリアルタイム速度は、急速に動くソーシャルプラットフォームとインタラクティブなAIチャットで有害なコンテンツの拡散を防ぐために重要です。

Q3: どのような種類の企業がMoonbounceのサービスを使用していますか？
Moonbounceは主に3つの分野にサービスを提供しています：ユーザー生成コンテンツを持つプラットフォーム（出会いアプリなど）、チャットボットまたはコンパニオンを構築するAI企業、AIの画像と動画生成サービス。その顧客には、Channel AI、Civitai、Dippy AI、Moescapeが含まれます。

Q4: 「反復的ステアリング」とは何ですか？
反復的ステアリングは、Moonbounceが開発している高度な機能です。有害なコンテンツをブロックするだけでなく、システムはAIチャットボットとのリスクのある会話を傍受し、ユーザーのプロンプトをリアルタイムで動的に変更します。目標は、相互作用をより肯定的で支援的で役立つ結果に誘導することです。

Q5: なぜ外部のAIコンテンツモデレーションが重要なのですか？
外部の第三者モデレーションシステムは、コアAIモデルとは独立して動作します。チャットボットの長い会話履歴を記憶する必要性に負担をかけられず、安全ルールの執行のみに焦点を当てることができます。この分離により、偏りを減らし、一貫性を高め、内部チームが大規模に構築するのに苦労する可能性のある専門的な保護層を提供できます。

この投稿「AIコンテンツモデレーションの飛躍的進歩：Moonbounceがリアルタイムセーフティガードレール構築のため1,200万ドルを調達」は、BitcoinWorldに最初に掲載されました。