©CAC Corp. Proprietary and Confidential

CEDEC 2025

DeepEmo ワークショップ

Vocal Emotion AI

CAC Corp.

©CAC Corp. Proprietary and Confidential

2

表情からの感情分析

©CAC Corp. Proprietary and Confidential

3

Empathは、声から人間の感情を解析することが可能なEmotion AI。

「喜び」「平常」「怒り」「悲しみ」「元気度」の5指標を汎用的に解析可能。

言葉の意味内容は一切考慮せず、声のスピード、抑揚、トーンなどの物理的な特徴量から、

機械学習をベースに人の感情を推定。言葉の意味内容に依存しないため、日本語以外の言語でも

感情を解析することが可能。

Affective

Signal

Feature

Extraction

Pattern

Recognition

音声感情解析「Empath」

©CAC Corp. Proprietary and Confidential

4

ゲーム開発を取り巻く環境

グローバル化への対応

• 売上の半分以上が海外市場
• 世界同時発売が標準に

品質要求の高度化

• ハードウェア性能の向上
• 要求クオリティの上昇

ニーズ多様化・市場競争の激化

• 多少なニーズに対応する迅速な開発サイクルの要求
• 市場投入期間の短縮

多言語対応による工数増加

開発費の高騰

開発期間の短縮化

• 市場のグローバル化や技術革新により、ゲーム開発ではかつてない規模とスピードが求められています。
• 特にキャラクターアニメーションは、ゲームの世界観や感情表現の要となる重要な要素でありながら、 膨大な制作量が必要となるため、品質と効率性の両立が求められています

1-1 表情アニメーション制作における課題

©CAC Corp. Proprietary and Confidential

5

3D表情アニメーション制作における課題

手作業での制作における課題

DeepEmoを利用すると

• 音声を聞きながら1つ1つ手作業で実施するため、時間がかかる
• 対応する人によって感情の捉え方にバラツキがある

• 音声データから時系列の感情を生成し、制作時間を大幅に短縮
• AIによる一貫した感情解析で、統一された表現を実現

AIによる感情解析結果を活用し、表情アニメーションを自動生成することで、

制作工数を大幅に削減しながら、一貫性のある感情表現を実現します。

1-2 課題に対しての解決

©CAC Corp. Proprietary and Confidential

6

音声感情解析技術のゲーム領域への活用事例

スクウェア・エニックスからリリースされた『FORSPOKEN』でご利用いただいた際は、

表情アニメーターの工数を約95％削減することに成功しました。

https://prtimes.jp/main/html/rd/p/000000063.000030514.html

©CAC Corp. Proprietary and Confidential

7

DeepEmoとは

特徴

• 音声データから0.32秒（320ミリ秒）ごとに感情を自動解析しCSVデータで出力
• 9種類の基本感情を数値化（平常、怒り、恐怖、嫌悪、喜び、悲嘆、信頼、興味、驚き）
• 各感情の強度を0-100の数値で定量的に表現
• 抑揚、スピード、トーン等の特徴から感情を判定し、テキストの意味や言語内容に依存しない

台詞音声データから時系列で感情を解析し、3Dキャラクターの表情アニメーション制作に最適化された感情データを生成します。基本的な感情種類に基づく9つの基本感情をもとに、表情制作の指標となる感情パラメーターを提供します。

2-1 DeepEmoの音声解析技術について

©CAC Corp. Proprietary and Confidential

8

DeepEmoとは

2-1 DeepEmoの音声解析技術について

解析結果のサンプル（CSV）

9

Suggested Output Image

©CAC Corp. Proprietary and Confidential

10

DeepEmoを活用した表情自動生成イメージ

2-1 DeepEmoの音声解析技術について

プリセットの表情：Anger 100%

BlendShape：Anger 70%

DeepEmo CSV

× 0.7

各パラメーター

©CAC Corp. Proprietary and Confidential

11

課題に対するDeepEmoのソリューション

音声から時系列の感情値を解析し、その結果を表情アニメーションの自動生成に活用することで、従来の手作業による制作工数を大幅に削減します。

音声データの感情解析

サンプルビューワー

時系列の感情値を音声データから生成。

アニメーション作成時の指標とすることで、

制作工数を最大95%削減できます。

お客様の既存ツールでの活用に加え、

簡単に表情アニメーションを作成できる

サンプルビューワをご提供します。

2-2 DeepEmo エディタ

©CAC Corp. Proprietary and Confidential

12

タイトルに合わせた専用AIモデルを構築

DeepEmoで台詞音声の感情分析を行うためには、台詞音声ファイルと、

それらの音声にどんな感情が含まれるか明記したcsvファイルの2つが必要です。

①台詞音声ファイル（wav）

②音声に含まれる感情を記載したcsvファイル

解析したい感情種類を網羅した台詞音声ファイル

基本の 6感情 × 各3ファイル ₌ 18ファイル

平常（Neutral）、怒り（Anger）、恐怖（Fear）�嫌悪（Disgust）、喜び（Joy）、悲しみ（Sadness）

①の音声ファイルにどんな感情が含まれているか記載するcsvファイル

例）sample

※ 上記感情＋αで解析したい場合はご相談ください

※ ファイル数が多いほど精度が向上していきますが

　 解析したい感情種類を網羅していれば最低6音声ファイルから感情解析が可能です

2-2 DeepEmo エディタ

©CAC Corp. Proprietary and Confidential

13

DeepEmo解析までの流れ

弊社側

お客様側

1.必要に応じてNDA等諸手続き

2. 学習用正解

ラベル作成

の打合せ

​

4. タイトルに合わせた

AIモデルのチューニング

5. 音声データの

感情解析

6. ご評価

学習ラベル付 音声データ送付

2～3日

評価

1日

チューニング・音声解析

1週間

3. 音声データの送付

音声データ

削除

7. 音声データ

削除

2-2 DeepEmo エディタ

※トライアル時の場合

©CAC Corp. Proprietary and Confidential

14

Unreal Engineサンプルビューワー

©CAC Corp. Proprietary and Confidential

15

ダウンロードリンク

下記notionページよりダウンロード可能です

https://seemly-gondola-372.notion.site/CEDEC-2025-workshop-21d20109a5a480cab31bcaf5ef58d07a

©CAC Corp. Proprietary and Confidential

16

Unreal Engine配布物

配布のフォルダにはプロジェクトとPluginが入っています

• DeepEmoUE_Sample(サンプルプロジェクト)
• Plug-in（C++とblueprintのPlug-inで合計２つ）
• LipSyncCSVTool（WavからリップシンクのタイムラインCSVを作成するツール）
• オープンSourceのrhubarb-lip-syncを利用してます（https://github.com/DanielSWolf/rhubarb-lip-sync）
• リファレンス pdf,html,csv

©CAC Corp. Proprietary and Confidential

17

基本的な仕組み

下記3つの素材をUnrealEngineにインポート

1. 音声（wav）
• DeepEmoUE_Sample\Content\DeepEmo_analysys
2. 感情解析（csv）
• DeepEmoUE_Sample\Content\import_wav
• データテーブル列タイプ：FaceData
3. リップシンク（csv）
• LipSyncTool\LipData_CSV
• データテーブル列タイプ：LipData

©CAC Corp. Proprietary and Confidential

18

感情解析CSVについて

©CAC Corp. Proprietary and Confidential

19

感情解析CSVについて

DeepEmoで感情解析したcsvをインポートする際のデータテーブルタイプは

「FaceData」を選択

©CAC Corp. Proprietary and Confidential

20

DeepEmoを活用した表情自動生成イメージ

2-1 DeepEmoの音声解析技術について

プリセットの表情：Anger 100%

BlendShape：Anger 70%

DeepEmo CSV

× 0.7

各パラメーター

©CAC Corp. Proprietary and Confidential

21

リップシンクについて

リップシンクのcsvをインポートする際のデータテーブルタイプは「LipData」を選択

©CAC Corp. Proprietary and Confidential

22

リップシンクについて

デモ用に英語版の

フリーツールを利用しているため、

英語版の母音を日本語版の母音に

強制的にマッピングする

• 英語音素（A, E, D, O, G, B, C, F, H, X）に対して、日本語の母音・口形を対応させている
• 例）英語の「A」は日本語の「あ」に、「E」は日本語の「え」に対応

©CAC Corp. Proprietary and Confidential

23

音声設定

Voice Soundに再生したい音声を設定

©CAC Corp. Proprietary and Confidential

24

感情とそれに対応するリップシンクのCSV設定

それぞれ対応するcsvデータをセッティング

• Face Data：DeepEmoで解析した感情解析CSV
• Lip Data：任意のリップシンクCSV

©CAC Corp. Proprietary and Confidential

25

各感情に対応するシェイプキーを設定

3Dモデル側に、各感情ごとに設定されたモーフターゲットがあれば

基本的にはどんなモデルでも利用可能

©CAC Corp. Proprietary and Confidential

26

各感情に対応するシェイプキーを設定

各感情に対応する

シェイプキーの名称を

テキストで指定

©CAC Corp. Proprietary and Confidential

27

各感情に対応するシェイプキーを設定（別モデル）

©CAC Corp. Proprietary and Confidential

28

各感情に対応するシェイプキーを設定（別モデル）

各感情に対応する

シェイプキーの名称を

テキストで指定

©CAC Corp. Proprietary and Confidential

29

各リップの動きに合わせたシェイプキーを設定する

英語版の母音の発音に合わせて日本語のシェイプキーを設定する

©CAC Corp. Proprietary and Confidential

30

• Primary：主要感情に対応するシェイプキーのみでアニメーション
• Blend：すべての感情をもとにシェイプキーをブレンドしてアニメーション再生

Blend Mode

©CAC Corp. Proprietary and Confidential

31

アニメーションの速さを変更可能

FaceChangeSpeed

©CAC Corp. Proprietary and Confidential

32

現在研究中の取り組み：ゲーム開発におけるプロトタイピング

台本台詞から生成した合成音声を感情解析し、プロダクション初期の段階でラフなアニメーションを作成。プロトタイピングでご活用頂くことも研究中

例：Gemini speech generation

DeepEmo

©CAC Corp. Proprietary and Confidential

33

現在研究中の取り組み：合成音声×感情×アバター

事前に生成した合成音声を、DeepEmoで解析し、その時系列感情指標を用いて、�アバターを感情豊かに話させることなどが可能になりそう

©CAC Corp. Proprietary and Confidential

34

Appendix

©CAC Corp. Proprietary and Confidential

35

弊社概要

©CAC Corp. Proprietary and Confidential

36

弊社概要

©CAC Corp. Proprietary and Confidential

37

弊社概要

©CAC Corp. Proprietary and Confidential

38

新規事業部隊が分社化して「CAC identity」に

©CAC Corp. Proprietary and Confidential

39

ご利用開始フロー

弊社側

お客様側

1. DeepEmo

お申込み�（担当者にメール）

2. 見積書、注文書、

利用規約の送付

3.注文書返送、

利用規約

への同意

4. 学習用正解

ラベル作成

の打合せ

​

6. AIモデル

チューニング

7. 音声データ

感情解析

8. ご利用開始

学習ラベル作成

方法レクチャー

1週間（1会議）

利用

開始

ご注文

1~3日

チューニング・音声解析

4週間

学習ラベル付

音声データ送付

1週間

5. 学習用ラベルの作成

音声データの送付

5. 申し込みフロー

©CAC Corp. Proprietary and Confidential

40

AIモデルチューニング後フロー

弊社側

お客様側

1. 音声データ送付

音声データ受領

1日

音声解析

1~3日

2. 音声データ

感情解析＆送付

利用開始

3. お客さま環境で

利用開始

5. 申し込みフロー

©CAC Corp. Proprietary and Confidential

41

よくある質問（導入・運用）

1. 基本の納品物は「感情解析結果のCSVデータ（0.32秒ごとの時系列感情値）」です。

また、お客様のご要望に応じて、サンプルエディタ（Unity版またはWindowsアプリケーション版）と

サンプル音声、サンプル3Dキャラクターモデルのお渡しが可能です

Q. 具体的に何が納品されるのでしょうか？

1. ご契約締結後、まず音声データと学習用ラベリングデータをご提供いただき、約1ヶ月でモデルのチューニングを実施いたします。チューニング完了後は、音声データをお預かりしてから1～3営業日で感情解析結果をお届けする運用となります。※ 詳細は後述スライドに記載がございます

Q. DeepEmoの利用開始までの流れを教えてください

Q. 解析結果の修正や再解析は可能でしょうか？

4 よくある質問

1. 解析結果の修正が必要な場合は、個別にご相談ください。大規模なチューニングが必要となる場合は、別途費用が発生する可能性があります。

©CAC Corp. Proprietary and Confidential

42

よくある質問（技術面）

1. 感情値はその感情が音声ウィンドウに存在しているか否かの信頼度を表します。この値は直接的に感情の強さを示すものではありませんが、感情の強さと検出の信頼度の間に正の相関関係があるため、感情が強く表れている場合は検出の信頼度も高くなる傾向があります。

Q. 「emotion value（感情値）」とは具体的に何ですか？

1. 各感情の値が当該音声ウィンドウにどれくらいの確度で存在しているか個別に扱っているためです。

Q. emotion valueの合計が100にならないのはなぜでしょうか

1. 解析をする幅を意味します。分析幅が短いほど、細かい感情の変化を捉えることができますが、どれくらいの幅で解析するのが良いかについては、キャラクターにどんなアニメ―ションを望むかによって異なります

Q. 分析結果におけるスライディングウィンドウ（1.26秒と1.60秒）の違いは何ですか

1. Empathで利用しているニューラルネットワークの限界値です。

Q. 解析期間が320ミリ秒固定のようですが、これの根拠は何ですか？

4 よくある質問

©CAC Corp. Proprietary and Confidential

43

Empathのご利用実績

The cumulative number of users by May 2023

Customers: 4,300

Countries: 50

Seats in CC:1,500

©CAC Corp. Proprietary and Confidential

44

Empath in Pitch Competition (2017-20)

ピッチコンテストでの優勝実績　計10回

©CAC Corp. Proprietary and Confidential

45

Awards

Google Launchpad Accelerator に日本国内初合格

2018年、東京で実施されたGoogle Launchpad Acceleratorに合格。

​

世界最高水準の機械学習技術支援プログラムとビジネス・ディベロップメント支援を受け、自社技術のＲ＆Ｄに還元。

46

Customer