日本語の文法構造とイントネーションの関係解明 に基づく音声合成理論の研究

言語学（音声学・音韻論）と工学（AI音声合成）を融合させた先端的な研究に取り組んでいる。  言語学の分野では、英語や日本語を題材に、実験と統計分析に基づく自然科学的アプローチにより、イントネーションの生成メカニズムの解明に取り組んでいる。  工学の分野では、こうした言語学的知見を機械学習・AIの音声合成モデルに直接組み込み、文法構造や意図に応じて自然な抑揚を生成できる音声技術の開発を進めている。

従来のAI音声合成とは異なり、統語論や音韻論といった言語学の知見を音声合成モデルに組み込んだ点に独自性を有する。言語学とAI音声合成を融合させることで、従来のモデルでは困難だった「文法に対応した自然なイントネーション」の生成に成功した。例えば、「姉が日記を見た」と「姉の日記を見た」は、人間が自然に発話すれば異なるイントネーションになるが、従来のAI音声ではほぼ同じ抑揚になってしまうことが多かった。これに対して提案手法では、文の構造の違いに応じて、明確に異なるイントネーションを生成できる。 また、一般的な機械学習モデルは、学習データに存在しない音韻パターンを生成することは難しいとされている。しかし提案手法では、「リズミックブースト」という学習データに含まれていない音韻現象の再現にも成功した。

言語学の知見を取り入れたAI音声合成を用いると、話し手の「意図」を伝える音声合成ができる。例えば、図の「赤いネズミのカバン」は、赤いのが“ネズミ”なのか“カバン”なのかで意味が変わり、人間による自然な発話では意図に応じてピッチの上がり方が異なる。従来のAI音声合成ではこの違いを表現できなかったが、提案手法なら文の構造に基づいてピッチを制御でき、意図に沿ったイントネーションを再現できる。