ElevenLabsは、テキストからの音声生成や音声クローン、動画の音声を別言語に自動で吹き替える「ダビング」機能などを提供しているAI音声プラットフォームです。公式サイトによるとNVIDIA、Disney、Salesforce、Deliveroo、Meeshoといった企業が導入していて、開発者向けのAPIも用意されています。日本語の情報がまだ少ないツールなので、今回はHacker Newsに投稿された実際のユーザーの反応と、公式サイト・Pricingページの情報だけをもとに紹介します。
ElevenLabsとは？何ができるのか
公式サイトでは大きく3つの軸で機能が紹介されています。1つ目は「ElevenCreative」で、Text to Speech（音声生成）、Speech to Text（文字起こし）、Voice Cloning（音声クローン）、Dubbing（動画の吹き替え翻訳）、Music（作曲）、Narrationなどが含まれるクリエイティブ向けの機能群です。2つ目は「ElevenAgents」で、電話・チャット・メール・WhatsAppなど複数チャネルで動く会話エージェントを構築・監視できるとされていて、解決率などの分析機能や、実際の会話をシミュレートするテスト機能、ガードレール設定も紹介されています。3つ目は「ElevenAPI」で、Text to Speech API、Speech to Text API（Eleven Scribeという名前で「98%の精度」を謳っています）、Music APIが公開されています。
音声生成は70以上の言語に対応していると書かれていて、対応言語の一覧には日本語も含まれています。Text to Speech APIについては29以上の言語対応、レイテンシ重視の「Eleven Flash」（75ms）、自然さ重視の「Eleven Multilingual」、表現力重視の「Eleven v3」というモデルが用意されているようです。
料金プラン
Pricingページに載っている月額とクレジット数は以下の通りです。クレジットはText to SpeechやSpeech to Text、Music、Dubbingなど全部の機能で共有するプールになっていて、どれかを使えばその分だけ他で使える分が減る仕組みです。
| プラン | 月額 | クレジット/月 | 主な内容 |
|---|---|---|---|
| Free | $0 | 10,000 | Text to Speech、Speech to Text、Sound Effects、Voice Design、Music、Studio3プロジェクトまで |
| Starter | $6 | 30,000 | 商用ライセンス、Instant Voice Cloning、Studio20プロジェクト、Dubbing Studio |
| Creator（人気プラン） | $22（初月50%オフで$11） | 121,000 | Professional Voice Cloning追加 |
| Pro | $99 | 600,000 | API経由で44.1kHz PCM出力、192kbps品質の音声 |
| Scale | $299 | 1,800,000 | ワークスペース3シート、チームコラボ、Professional Voice Clone3つ |
| Business | $990 | 6,000,000 | 低遅延TTSが最安5セント/分から、Professional Voice Clone10、ワークスペース10シート |
| Enterprise | 要問い合わせ | カスタム | DPA/SLA、HIPAA向けBAA、カスタムSSO、優先サポートなど |
クレジットの消費量も公式FAQに具体的に書かれていて、Text to Speechは1文字＝1クレジット（モデルによっては0.5〜1クレジット）、Speech to Textは1分あたり330クレジット、Musicは1分あたり900クレジット、Sound Effectsは1回200クレジット、Voice ChangerとVoice Isolatorは1分あたり1,000クレジット、Dubbingは透かしありの自動処理で2,000クレジット、透かしなしの自動処理で3,000クレジット、Dubbing Studio（透かしあり）で5,000クレジット、Dubbing Studio（透かしなし）だと10,000クレジットかかるそうです。地味に音声を1分伸ばすだけでもクレジットの減りが結構早いので、料金プランを見るときはこの消費量も一緒に見ておいたほうがいいと思います。ちなみにスタートアップ向けには「Startup Grants Program」というものもあって、12ヶ月間、3,300万文字分を無料で使えるとのことです。
海外での評判
Hacker Newsでは「ElevenLabs Launches Voice Translation Tool to Break Down Language Barriers」というスレッドが129ポイント・51コメントとかなり伸びていて、動画の音声翻訳（ダビング）機能を実際に試した人のコメントがたくさん集まっていました。
ネイティブのフィンランド語話者だという人（bemmuさん）は、Elon Muskのインタビュー動画を英語からフィンランド語に変換して、「最初は少し変だけど、後半になるとまるで最初からフィンランド語で生まれたかのようで、本当にすごい」と書いていました。ただ同じ人が試したPaul Grahamのインタビューを英語から日本語にした結果は「うまくいかなかった。一部は意味不明に聞こえる」とのことでした。
hexage1814さんは「正直微妙なところもあるけど、たまにめちゃくちゃ良い出来になる」とコメントしていて、イントネーションや強調する場所がずれてしまうことが多いものの、ごくまれに人間が吹き替えたのかと思うくらいぴったりハマる瞬間があると書いていました。
el_ismaさんは、システムがテキストの言語を自動判定しようとするけれど、同じ単語が複数の言語で使われている場合に判定を間違えて、違う言語やアクセントで喋ってしまうことがあると指摘していました。「本番用途に使うにはまだ厳しい」とも書いています。
tmikaeldさんは「何を試しても、Audacityで作った新規ファイルですら『Watermark not allowed for audio input』というエラーが出る」と、技術的な不満を書き込んでいました。
matthewbarrasさんは「ElevenLabsはすごくいいけど、ローカルで動かしたい」と書いていて、ローカル環境で動かせるオフライン向けのTTSを別途探している様子でした。
良い評価ばかりでもなくて、gentleman11さんは「昔このサービスの利用規約を見たとき、内容がわかりにくくて不気味に感じた」とだけ書いていたりもします。全体としては「英語からフィンランド語やクロアチア語みたいな似た言語同士だと結構いける」という声がある一方、「言語の組み合わせによって精度の差が大きい」というのが、このスレッドを読んだ印象です。
日本語対応と日本からの使い勝手
公式サイトの対応言語一覧には日本語（Japanese）がしっかり含まれているので、Text to SpeechやSpeech to Text自体は日本語でも使えるはずです。ただ、日本語のUIがあるかどうかについては、公式サイト・Pricingページのどちらにも記載が見当たらず、正直わかりませんでした。
気になるのは、先ほどのHNスレッドで日本語を実際に試した人が2人いて、どちらもあまり良い結果になっていないことです。tkgallyさんは自分の動画を英語から日本語にダビングして試し、「声のトーンやイントネーションはかなり良い」としつつも、「英語の書き起こし自体が一部間違っていたり、翻訳も間違っている部分があって、翻訳だけで内容を追うのは正直厳しい」と書いていました。cypharさんも同じPaul Grahamの動画を試して、「日本語の書き起こしの一部はただの日本語っぽいノイズになっていて、プロソディ（抑揚）もめちゃくちゃだった」とコメントしています。似た言語同士（英語とクロアチア語など）だとうまくいくケースが多い一方、英語と日本語のように文法や音の距離が離れた組み合わせだと、まだ精度にムラがあるようです。
登録して始めるまで
公式サイトには「Sign up」「Build for free」というボタンがあり、Freeプランであれば月10,000クレジットの範囲ですぐに使い始められるようです。有料プランに進みたい場合は、Pricingページから各プランの「Choose」ボタンを選ぶ形になっています。Enterpriseプランだけは料金が非公開で、「Contact us」から個別に問い合わせる仕組みでした。それ以上の登録手順の詳細（入力項目やメール認証の有無など）はソースに記載がなかったので、ここでは触れません。
まとめ：向いてる人・向いてない人
Text to Speechや音声クローンをとにかく色々試したい人にとっては、Freeプランの10,000クレジットや、Starterの月$6という価格は入り口として悪くないと思います。開発者向けにAPIやSDKも用意されているので、自分のアプリに音声機能を組み込みたい人にも向いていそうです。
一方で、動画の自動ダビング機能を日本語がらみで使おうとしている人には、今のところ慎重になったほうがいいというのがHNの反応を読んだ率直な感想です。英語から近い言語への翻訳は評判が良い一方、日本語を含む組み合わせでは書き起こしミスや抑揚の崩れを指摘する声が複数あって、そのまま公開用のコンテンツに使うにはチェックが要りそうです。ローカルで動かしたいという要望も出ていましたが、そうした選択肢は用意されていない様子でした。
