AI音声のイントネーションを自動でチェックする ― 当サイトのボイスの選び方
AIの音声合成はとても自然になりましたが、日本語の「イントネーション」(言葉の高い・低い)を、ときどき間違えます。当サイトでも、案内音声の「測定」が「ソ↘クテイ」と不自然に読まれたことがありました。この記事では、その経験から作った、イントネーションを自動でチェックする仕組みを紹介します。
日本語の「高い・低い」はAIが間違えやすい
日本語には、言葉ごとに決まった音の高い・低いの型(高低アクセント)があります。有名な例が「はし」です。東京の言葉では、「箸」はハ↘シ(前が高い)、「橋」はハシ↘(後ろが高く、次の助詞で下がる)、「端」はハシ(下がらない)と言い分けます。
型を間違えても意味は通じることが多いのですが、聞いた人は「なんだか変」と感じます。素材として使うボイスでは、これが致命的です。当サイトで実際にあった例が、次の図です。
「測定」の正しい型は、「そ」が低く、「くてい」が高く平らに続く「平板型」です。直す前の音声は、「そ」で高く始まって、そのあと下がり続けていました(ソ↘クテイ)。同じ声・同じ文でも、AIが作るたびに、こうした違いが出ます。
自動チェックの4つの手順
人がすべての音声を聞いて確かめるのは、数が多いと現実的ではありません。そこで当サイトでは、次の4つの手順で、自動で採点して選んでいます。
手順1: 1つのセリフを8本ずつ作る
AIの音声合成は、同じ文を読ませても、毎回少しずつ違う読み方をします。そこで、1つのセリフにつき8本の候補を作ります。読み間違えやすい言葉(「油種」「ETC」など)は、漢字・ひらがな・カタカナなど、台本の書き方を変えた候補も作ります。
手順2: 音声認識で「読み」を確かめる
作った音声を、音声認識のAI(Whisper)で文字に起こします。起こした文字と台本を、どちらも読み(カタカナ)に直して比べ、読みが合っているかを点数にします。これで、読み間違いや、最後に余計な声が付いてしまった候補を外せます。実際に、台本に「〜」を使ったときには、最後に「なになに」という意味のない声が付いた候補が出て、この手順で外れました。
手順3: イントネーションを採点する
ここが中心の部分です。3つの道具を組み合わせています。
- アクセント辞書: オープンソースの日本語音声合成エンジン(OpenJTalk)の辞書を使い、セリフを「拍」(かな1文字ぶん程度の単位)に分け、拍ごとに高いか低いかを決めます。
- 音声の位置合わせ: 多言語の音声の位置合わせモデル(MMS)を使い、音声のどの時間に、どの拍を話しているかを割り出します。
- 声の高さの測定: 音声の基本周波数(声の高さ)を測り、拍ごとの高さを出します。
最後に、「上がるべきところで上がり、下がるべきところで下がっているか」「高いまま続くべきところで大きく下がっていないか」を数えて、点数にします。
手順4: 条件を満たす中から選ぶ
読みが合っていること、語尾が途中で切れていないこと、声がそのキャラクターらしいこと(声の特徴が、ほかのキャラクターより本人に近いこと)を満たす候補の中から、イントネーションの点数が一番高いものを選びます。
「山が少し遅れる」ことへの対応
最初の採点方法では、「ドア」「料金」「火事」のように最初の音が高い言葉(頭高型)を、正しく読めている音声まで「おかしい」と判定してしまいました。
調べてみると、人の話し方でもAIの音声でも、声の高さの「山」は、高いはずの拍より少し遅れて、次の拍の頭あたりに来ることが多いとわかりました。そこで、山が1拍ぶん遅れて来ることを許す採点に直しました。直した後も、「測定」の不自然な版はきちんと低い点数になり、自然な版は高い点数のままでした。
結果(日常生活で聞く電子音の案内音声 56セリフ)
候補 448本(1セリフ8本)を採点。選んだ56本の読み間違いは0本。人の耳で確かめたほうがよい「要確認」は、採点を直す前の23本から6本に減りました。
配信者・YouTuber向けボイス(100セリフ、800本以上)でも同じ方法を使いました。たとえば、ゆめの「次の動画で、会いましょう。」は、最初の8本すべてで「動画」がド↘ウガと頭高になっていました。台本の区切り方や書き方を変えた候補を追加で作り、「ド↗ウガ」と正しく読めたものを選んでいます。
この仕組みの限界
自動の採点は便利ですが、完ぺきではありません。
- 辞書と実際の話し方が違うことがある: たとえば「お風呂」は、ふつう「オフ↘ロ」と言いますが、使っている辞書は別の型を正解としていました。このような場合、自然な音声のほうが低い点数になってしまいます。
- 人によって言い方が揺れる言葉がある: 「高評価」のように、言い方が人によって違う言葉は、どれを正解とするかが決めにくくなります。
- 感情や強調までは見ていない: 元気さ、やさしさ、強調の置き方などは、採点の対象にしていません。
そのため、点数が低いものや、判断が難しいものは「要確認」として人の耳で確かめています。最終的に大事なのは、聞いた人が自然だと感じるかどうかです。
当サイトのボイスで、イントネーションがおかしいと感じるものがあれば、お問い合わせから素材の番号を教えていただけるとうれしいです。確認して作り直します。