1 of 85

研究紹介

2025/09

名古屋大学 情報学研究科 修士1年

林 俊一郎

1

2 of 85

MCP・RAGを用いたプロシージャル�3D生成LLMエージェント3Difyの提案とスパコンの利用

林 俊一郎† 椋木 大地‡ 大島 聡史‡ § 片桐 孝洋‡ 星野 哲也‡ 

名古屋大学 情報学研究科†

名古屋大学 情報基盤センター‡

九州大学 情報基盤研究開発センター§

2

SWoPP 2025/ 8/ 4 @高松市 HPC-3 LLM の発表資料を基に作成

3 of 85

目次

  • 背景,目的
  • 全体の流れ
  • フレームワーク3Difyの提案
  • 提案システムの評価
  • まとめ

3

4 of 85

目次

  • 背景,目的
  • 全体の流れ
  • フレームワーク3Difyの提案
  • 提案システムの評価
  • まとめ

4

5 of 85

背景 3D生成AI

3Dデータ自体が様々な要素の集合

➡ 3D生成AIは目的もアプローチも多様化

  例:右図のMeshGPT[1]ように3Dポリゴンを言語と

    同様にLLMに学習させる生成手法もある

  ※スクラッチ学習のコストは高い

既存LLMの3Dタスク潜在能力を期待した研究が2023年~増加

再生成には計算コストがかかる

➡プロシージャル手法に注目

5

画像の引用元:[1] MeshGPT: Generating Triangle Meshes with Decoder-Only Transformers (CVPR 2024)

6 of 85

背景 プロシージャルとは

CG業界でプロシージャル手法を用いた3Dモデリングが広まる�

 後から容易に変更できるパラメータを組み込むことで無数の� バリエーションを作成

 対象のパターンを観察し� 生成手順や計算式を考え� 巨大なノードグラフを� 構築するのは困難

� LLMの支援が必要

6

画像の引用元:三浦 嘉大,藤塚 巧,伊藤 智也ほか:地理的要素とユーザー自由度を考慮した日本城 郭都市のプロシージャルモデリング,

研究報告コンピュータグラフィックスとビジュ アル情報学(CG),Vol.177,No.2,pp.1-9(2020).

7 of 85

目的

3Dモデル生成に留まらず,LLMの汎用性を活かし

CG業界標準のDCC(Digital Content Creation)ツールの操作や

コンテンツ制作まで支援する汎用システムの実現を目指す

MCPを用いた3DCG作成ソフトの自動操作

ローカルLLMと従量課金APIのコスト検証

7

8 of 85

目次

  • 背景,目的
  • 全体の流れ
  • フレームワーク3Difyの提案
  • 提案システムの評価
  • まとめ

8

9 of 85

Blender MCP server

Unreal MCP server

Houdini MCP server

Unity MCP server

Maya MCP server

Computer

API

Local inference platform

☑any LLM Models

RAG

☑any DCC

☑any OS

GUI

CLI

Image

Generation

AI

MCP client

as Dify plugin

Planner

LLM

Previz

Workflow

UI-TARS-SDK

LLM Agents

Manager

LLM

10 of 85

LLMを用いた3D生成の先行研究と3Dify(Ours)の分類Computer Using Agent + code-based 3D-CG 生成

Computer Using Agent

via GUI

Code-based 3D-CG 生成

via CLI

・Claude Computer Use

UI-TARS

ShowUI

・Browser-Use

・Operator

・LLMR(Unity)

MCP

Web Only

・3DGPT

・Blender MCP

3Dify

(Ours)

・SceneX

汎用的

特定の3DソフトやTaskに限定

2025

2024

・SceneCraft

11 of 85

目次

  • 背景,目的
  • 全体の流れ
  • フレームワーク3Difyの提案
  • 提案システムの評価
  • まとめ

11

12 of 85

オープンソースのローコードツール

GitHubで☆110K starsを集める

WebのGUI上で右図のようなブロックを繋いで

LLMのワークフローを作成・共有可能

これをハブとして3Difyを考案

12

13 of 85

Difyのユーザは任意のLLMを選択可能

13

14 of 85

Blender MCP server

Unreal MCP server

Houdini MCP server

Unity MCP server

Maya MCP server

Computer

API

Local inference platform

☑any LLM Models

RAG

☑any DCC

☑any OS

GUI

CLI

Image

Generation

AI

MCP client

as Dify plugin

Planner

LLM

Previz

Workflow

UI-TARS-SDK

LLM Agents

Manager

LLM

15 of 85

Blender MCP server

Unreal MCP server

Houdini MCP server

Unity MCP server

Maya MCP server

Computer

☑any DCC

☑any OS

GUI

CLI

MCP client

as Dify plugin

Planner

LLM

MCP

☑1:n

☑Remote

LLM Agents

Manager

LLM

16 of 85

MCPとは

      

Anthropic考案の規格

Model Context Protocol

LLMが外部ツールを

直接呼び出すのに必要な

一式を  SDKで提供

16

画像の引用 https://www.ai-souken.com/article/claude-mcp-overview

17 of 85

MCPクライアント

Claude Desktopの代わりの

MCPクライアントを実装可

      

 プラグインとして実装

17

18 of 85

MCPサーバの雛形一部

SDKで実装

18

from mcp.server.fastmcp import FastMCP

# MCPサーバに名前を付けて起動

mcp = FastMCP(“3Dify-MCP-Server”)

 

# LLMが生成したコマンドを,DCCデフォルトのCLIで実行

@mcp.tool()

def send_cmd_console(cmd: str):

”””Send and execute command on DCC’s default console”””

#各DCCツール依存の実装…

 

LLMからも見える

ツールの説明

19 of 85

🎉MCPで環境依存性を排除

19

既存研究では…

・特定のソフトに限定

・UnityのC#コード内で実装→再利用困難

・有料のアセットやコンパイラに依存

20 of 85

Dify MCPクライアントのプロトタイプ+α�GitHubで公開中 ☆150

20

21 of 85

MCPのみでPCの3Dモデルを生成したデモ

21

22 of 85

Blender MCP server

Unreal MCP server

Houdini MCP server

Unity MCP server

Maya MCP server

Computer

API

Local inference platform

☑any LLM Models

RAG

☑any DCC

☑any OS

GUI

CLI

Image

Generation

AI

MCP client

as Dify plugin

Planner

LLM

Previz

Workflow

UI-TARS-SDK

LLM Agents

Manager

LLM

23 of 85

Blender MCP server

Computer

GUI

CLI

MCP client

as Dify plugin

LLM Agents

Manager

LLM

• Windows 11

• Blender 4.2 (LTS)

• Dify v1.3

• MCP Client: Our custom Dify plugin v0.0.415

• MCP Server: ahujasid/blender-mcp16 2025/5/21時点の最新版

24 of 85

24

25 of 85

前ページのMCPのみの構成でのデモ

Claude 3.7 SonnetにMCP経由でBlenderという3DCGソフトを�操作させ3DのデスクトップPCを生成した

【動画前半】

https://drive.google.com/file/d/1KlrA2aiJHVSv-DkwUrdxFFsPyvLjZqvj/view?usp=sharing

ここまでは順調だったが…

追加で様々な指示を与えるとPCパーツがバラバラに�

【動画後半】

https://drive.google.com/file/d/1bBB2LqruMjjq14fNtLk3VAp0YW7cOouO/view?usp=sharing

GUIレベルの情報(スクリーンショット等)をLLMに与える必要が明確になった

25

26 of 85

26

27 of 85

視覚情報を与えていない→段々パーツがバラバラに

27

28 of 85

Blender MCP server

Computer

GUI

CLI

MCP client

as Dify plugin

LLM Agents

Manager

LLM

UI-TARS-SDK

29 of 85

Computer Using Agent

GUI操作に特化したマルチモーダルLLMの研究領域

【典型的な使用法】

   入力        出力

画面 + 指示 → 次のアクション

29

30 of 85

Computer Using Agent の UI-TARS[2]

30

画像の引用元:[2] UI-TARS: Pioneering Automated GUI Interaction with Native Agents (arXiv 2025)

31 of 85

UI-TARSは自動操作APIをwrapした�オープンソースのdesktopアプリを開発

https://github.com/bytedance/UI-TARS-desktop

SDKが提供されている

前述のGitHubコードに組み込んだ

31

32 of 85

Previous LLM Work and 3Dify(Ours) classificationComputer Using Agent + Codebase 3D Generation

Computer Using Agent

via GUI

Code-based 3D-CG Generation

on DCC via CLI

・Claude Computer Use

UI-TARS

ShowUI

・Browser-Use

・Operator

・LLMR(Unity)

MCP

Web Only

・3DGPT

・Blender MCP

3Dify

(Ours)

・SceneX

General Usage

Specific DCC and Task

2025

2024

・SceneCraft

33 of 85

Computer

GUI

CLI

LLM Agents

Manager

LLM

UI-TARS-SDK

画面に見える情報だけ用いるComputer Using Agent

手法ではハイコスト ($4/h) ※操作の失敗率も高い

入力:スクリーンショット(数千トークン)

出力:GUI操作のみ

34 of 85

MCPサーバの軽量化

バックアップ

・汎用GUI 操作エージェント(UI-TARS)

・ユーザへの操作依頼

MCPサーバは最小限の実装で済む

34

35 of 85

Blender MCP server

Unreal MCP server

Houdini MCP server

Unity MCP server

Maya MCP server

Computer

API

Local inference platform

☑any LLM

RAG

☑any DCC

☑any OS

GUI

CLI

MCP client

as Dify plugin

Planner

LLM

Visualizer

LLM

UI-TARS-SDK

Image

Generation

AI

LLM Agents

Manager

LLM

36 of 85

マルチエージェント詳細

36

37 of 85

Computer

RAG

GUI

CLI

Image

Generation

AI

MCP client

as Dify plugin

Planner

LLM

Previz

Workflow

UI-TARS-SDK

LLM Agents

Manager

LLM

38 of 85

Computer

Using

Agent

Planner

LLM

Image Generation

Workflow

Manager LLM

command

via MCP

images

prompts

procedure

DCC tools

RAG

Instruction

Chat

Feedback Loop

GUI operation

Life-time

39 of 85

Blender MCP server

Unreal MCP server

Houdini MCP server

Unity MCP server

Maya MCP server

Computer

API

Local inference platform

☑any LLM Models

RAG

☑any DCC

☑any OS

GUI

CLI

MCP client

as Dify plugin

Planner

LLM

Previz

Workflow

MCP

☑1:n

☑Remote

UI-TARS-SDK

Image

Generation

AI

LLM Agents

Manager

LLM

40 of 85

Computer

Using

Agent

Planner

LLM

Image Generation

Workflow

Manager LLM

command

via MCP

images

prompts

procedure

DCC tools

RAG

Instruction

Chat

Feedback Loop

GUI operation

Life-time

41 of 85

Chat

Computer

Using

Agent

Planner

LLM

Manager LLM

DCC tools

RAG

Instruction

Feedback Loop

GUI operation

Life-time

Provide

Example Prompt

command

via MCP

Release as

Dify Plugin

Image Generation

Workflow

images

prompts

Share as

Dify Workflows

procedure

42 of 85

Computer

Using

Agent

Planner

LLM

Image Generation

Workflow

Manager LLM

command

via MCP

images

prompts

procedure

DCC tools

RAG

Instruction

Chat

Feedback Loop

GUI operation

Life-time

43 of 85

画像生成AIで完成イメージ作成�ワークフロー

43

ローカル生成AI

プラットフォーム

comfyUIと連携した例

44 of 85

Computer

Using

Agent

Planner

LLM

Image Generation

Workflow

Manager LLM

command

via MCP

images

prompts

procedure

DCC tools

RAG

Instruction

Chat

Feedback Loop

GUI operation

Life-time

45 of 85

Plannerのプロンプト一部

入力:複数画像と,生成したい物の概要テキスト�最終出力:プロシージャルモデリングの具体的な手順(DCCの具体的なレベルに依存しないレベル)以下はシステムプロンプトです�

あなたはユーザが選んだ複数の画像とメモから求められる可変性を推測し プロシージャルな3Dモデルを作成する戦略を立てるエージェントです

Spline to Mesh等,細かな3Dジオメトリ操作の組み合わせ実装は別のエージェントで行います。 各DCCツールごとに用意するような関数に依存しないレベルで抽象化された設計を行います。

しかし,ユーザがゲームエンジンを用いる場合,アニメーション制作だけでなく,ゲーム制作やシミュレーションへの応用を期待している可能性があるので,3Dモデルの見た目だけを追求せず,

適切に機能を選択する必要があるかもしれません。 例えば,リアル調の炎はメッシュで作成するより,パーティクルシステムを採用した方が性能面で良いかもしれません。このあたりの機能の選択も重要です。

最新機能の知識を補うため,インターネット等で各DCCツールの公式ドキュメント を参照できる環境なら,積極的に検索しましょう。 *** 本文 アルゴリズムはDivide-and-conquer methodに基づきます

以下に詳細を示します ** 【手順1】 分解できるパーツを考える その後,各パーツごとに以下のどちらかを行う必要があるので ・先に小さなモジュールのプロシージャルモデルを作成する ・既存のモデル,

アセットを取得できるか調査する より細かいパーツに求められるバリエーションを,各パーツごとにユーザに問う必要がある 必ずしも,このフォーマットに従って思考する必要はありませんが,

プロシージャルモデリングは綿密なパラメータ間の依存関係 などの罠に陥ります 例えば,デスクトップPCのプロシージャル3Dモデルを生成したい場合

――― 例 ――― デスクトップPCのパーツで 最低限必要なパーツは以下 ・CPU ・メモリ ・ストレージ ・マザーボード ・電源 ・冷却装置 必須ではないが,

大抵あるパーツ ・GPU ・PCケース ・その他配線 … 周辺機器には以下のようなものがありますが ・モニター ・マウス ・キーボード ユーザとの会話ログの要約を見たところ

今回求められているのは,PC本体のみの3Dモデルのようです **

【手順2】 以下の手順でパーツやモジュール間の依存関係(配置等の制約)を考える ・一般的な組み立て手順(必ずしも従う必要はないが,ヒントになる)

・既存の規格で寸法が定められているか ・配置上の制約を考える ――― 例 ――― 一般的な組み立て手順 ・マザーボードにメモリやCPU等を配置する

・マザーボードをPCケースに取り付ける ・ファンの固定を完了 ・拡張スロットを開け,GPUを取り付ける

・配線作業 ※各パーツが見えるように側面は開けたままパーツを配置し,最後に閉じる 既存の規格 マザーボード - ATX 305 x 244mm - Micro-ATX 244 x 244mm - Mini-ITX 170 x 170mm メモリースロットx2:1つ,

PCIE 16x ポート:1つ、1 つの M.2 スロット、少数の USB と SATA ポート ... 基本的な制約 制約1:外部接続のケーブルを除き,すべてのPCケースに収める 制約2:全てのパーツを適切な箇所に固定し,

電源を供給するケーブルを接続する。当然宙に浮いていてはならない

制約3:PCケースは冷却性能を考慮した設計になっている(防音性を重視したものもある) したがって,排気(上部or側面)および吸気(下部or側面)できる箇所を,

それぞれ最低1か所用意する ** 【手順3】 可変性として組み込むべきパラメータを網羅的に挙げる. それらの依存関係に注意しながら プロシージャルな手順を考える ..

.個別パーツの「独立性が強い」または「staticな要素が多い(絶対的な寸法が定まっている等)」場合,別のChatスレッドに誘導しても良い

(その際は別のスレッドに引き継げるよう要約を行うこと※ただしこのSYSTEMプロンプトは不要.あなたの思考の形跡を整理し,迷いが無いように) ** まだ各パーツが出揃っていない場合

――― 例 ――― ASSISTANT: PCの各パーツのサイズは規格により定められています. これを利用し,各パーツごとに3Dモデルを作成し,後から配置します. 配線は特にマザーボードに依存し,

寸法も規格があるため 最初にマザーボードの3Dモデルをはじめに作成します ※Divide-and-conquer methodに基づく いくつか質問があります Q1. 消費トークン数の増加を防ぐため,

別のチャットに移動しますか? ->その場合,思考を継承するための要約を提供します Q2. 画像は自分で用意しますか? ->必要なら,previz chatを開き 1または2nd Phaseに戻ってください

USER: A1. はい A2. はい,別の画像生成サービスを利用します 別スレッドにて ――マザーボード例―― 【手順1-child】 マザーボードの部品構成は…

【手順2-child】 各パーツの配置には配線の2次元的制約があります こだわる場合は専用のアルゴリズムやソルバーを使用すべきかもしれません -> ユーザに質問 ...

【手順3-child】 マザーボードのボード自体はPlane,コンデンサー等は円柱で メモリスロットやPCI-Eの個数は ユーザが提供した画像群を見る限り以下のような構成が一般的です.

CPUソケットは中央上部にあり,その右に2列または4列のRAMスロットが縦向きに配置されています … ** 各パーツが出揃った場合 ――― 例 ――― 全てのパーツが出揃ったので 組み立て

(プロシージャルな配置)に入ります まず,マザーボードにCPUとメモリを設置します … 以上が具体的な手順です 上記の手順を MCP・GUI等を駆使して実装するエージェントにプロンプトとして渡してください.

そちらで疑問点や困り事が発生した場合は,再度このスレッドにお知らせください 設計を見直し等を行えます。

45

46 of 85

Computer

Using

Agent

Planner

LLM

Image Generation

Workflow

Manager LLM

command

via MCP

images

prompts

procedure

DCC tools

RAG

Instruction

Chat

Feedback Loop

GUI operation

Life-time

47 of 85

RAGの利用

47

Retrieval-Augmented Generation) とは

LLM が外部の知識ベースから関連情報を検索

その情報を基に回答を生成する技術

引用元 https://atmarkit.itmedia.co.jp/ait/articles/2403/13/news035.html

48 of 85

RAGのデータベースに含めるもの①

各3Dソフトの自動操作APIの公式ドキュメント

☑ ハルシネーション軽減

☑ version間の差に対応

48

49 of 85

RAGのデータベースに含めるもの②

3D生成Infinigen[4]モジュールをRAGのデータベースに

➡Blender非依存のプロシージャル生成の知識を共有

49

従来法

3Dify

知識を共有し

DCC上で直接生成

3Dシーンは以下を用いて生成

[4] Infinigen Indoors: Photorealistic Indoor Scenes using Procedural Generation(CVPR 2024)

50 of 85

InfinigenのPythonコード(データセット)�約2.5万行は個別のプロシージャル生成用

苺が数学的に生成される過程

50

strawberry_surface

seed_lib

surfaces(表面) lib

shape(輪郭) lib

quadratic(2次曲線)

stem(軸) lib

calyx_stem(へた)

FruitFactoryStrawberryクラス

実数値を代入しインスタンス化

FruitFactoryGeneralFruitクラス

libの候補を絞ってimport

AssetFactoryクラス(/core/placement/factory.py)

import

cross section(断面) lib

circle_cross_section

Numpy

Blender

Python

(bpy)

import

モジュール

51 of 85

検索させたい

ドキュメントの

📁をアップロード

51

DifyのRAG�手順①

52 of 85

DifyのRAG�手順②

以下を指定��☑ 区切り文字

☑ チャンクサイズ

☑ Embedding Model

☑ 親子検索

52

53 of 85

Computer

Using

Agent

Planner

LLM

Image Generation

Workflow

Manager LLM

command

via MCP

images

prompts

procedure

DCC tools

RAG

Instruction

Chat

Feedback Loop

GUI operation

Life-time

54 of 85

Computer

Using

Agent

Planner

LLM

Visualizer

LLM

Manager LLM

command

via MCP

images

prompts

procedure

DCC tools

RAG

Instruction

Chat

Feedback Loop

GUI operation

Life-time

55 of 85

Blender MCP server

Unreal MCP server

Houdini MCP server

Unity MCP server

Maya MCP server

Computer

API

Local inference platform

☑any LLM

RAG

☑any DCC

☑any OS

GUI

CLI

Image

Generation

AI

MCP client

as Dify plugin

Planner

LLM

Previz

Workflow

UI-TARS-SDK

LLM Agents

Manager

LLM

56 of 85

目次

  • 背景,目的
  • 既存研究の課題
  • フレームワーク3Difyの提案
  • ローカルLLMのコスト評価
  • まとめ

56

57 of 85

既存研究の課題

API 呼び出しコスト増

マルチエージェント

何度もLLMを呼ぶ

実行時間費用が増加

57

58 of 85

実験の目的

課題「API呼び出しのコスト増」に対し

ローカルLLMを用いたコスト削減の検証

    はバッチ推論の同時処理中のリクエスト数が

増えるほどスループット向上

�本環境でのリクエスト数に対するスケール性を調査

58

59 of 85

LLM×3Dの既存研究:LLMR[3]

59

画像の引用 : [3] Fernanda, D., Cathy, F., Han, H., et al.: LLMR:Real-time Prompting of Interactive Worlds using Large Language Models, Proc. CHI'24, pp.1-22, ACM (2024).

・GPTに異なる役割を与えたマルチLLMエージェント

・自然言語の指示でUnityの3Dシーンを操作するC#コードを出力する� フレームワーク

従量課金のGPTを

何度も呼ぶ

特にループがコスト大

60 of 85

実験概要

60

  • LLMR[3]の実験と同じ150ユーザプロンプトを同時リクエスト
  • LLMRワークフロー(C#)をPythonに変換
    • 200行のPythonコード
    • 集計処理とグラフ化に300行

  • ローカル推論プラットフォーム    で�Llama3.3-70B をバッチ推論

(vLLM v0.6.4.post1コンテナをsingularityに変換して使用)

画像の引用 : [3] Fernanda, D., Cathy, F., Han, H., et al.: LLMR:Real-time Prompting of Interactive Worlds using Large Language Models, Proc. CHI'24, pp.1-22, ACM (2024).

61 of 85

Computer

Using

Agent

Planner

LLM

Image Generation

Workflow

Manager LLM

command

via MCP

images

prompts

procedure

DCC tools

RAG

Instruction

Chat

Feedback Loop

GUI operation

Life-time

62 of 85

実験環境

名古屋大学情報基盤センターのスーパーコンピュータ�「不老」Type II サブシステム

NVIDIA V100(VRAM32GB)

4基×4ノード=16 GPUで�LLMのモデルの重みを分散

62

画像の引用 : 名古屋大学情報連携推進本部 – スーパーコンピュータシステム, https://www.icts.nagoya-u.ac.jp/ja/sc/overview.html

 のオプション

63 of 85

不老の性能評価

TypeⅡ(16GPU)を用い 45 分で 150 ユーザプロンプトに対し LLMR を完遂

465.2 円で$1=150 円換算では $3.10

モデルのロードとCUDA Graph計算に約8分

    サーバを再起動せず,一括処理した方がコスパ◎

63

64 of 85

実験結果

64

同時処理リクエスト数

60を下回ると

スループット

低下傾向

経過時間(秒)

65 of 85

実験結果

LLMエージェントの割合推移

のBuilder(コード生成)が処理時間の7割を占める

65

66 of 85

APIとの費用比較表 何倍

66

モデル

GPT

Claude

Llama

バージョン

4o

3.5 Sonnet

3.3-70B-Instruct

API Option

Batch API

Prompt Cache

vLLMバッチ推論

※不老TypeⅡ

Cache Write

 

3.75 $ / M tokens

 

Cache Read

 

0.3 $ / M tokens

 

Input

1.25 $ /M tokens

3.0 $ / M tokens

 

Output

5 $ /M tokens

15 $ / M tokens

 

Real-time

×

総額

$5.01

$6.95

$3.10

67 of 85

プロンプトキャッシュによるコスト削減

67

      でSYSTEMプロンプトを一度だけキャッシュに書き込むと

$13.0 ➡ $6.95 (54%未満にコスト減)

Input[$ / M tokens]×2.694[M tokens] + Output[$ / M tokens]×0.3293[M tokens] = 3.0×2.694 + 15×0.3293 [$]

= $8.08 + $4.94

プロンプトキャッシュ使用時

$2.01 + $4.94に削減

68 of 85

目次

  • 背景,目的
  • 既存研究の課題
  • フレームワーク3Difyの提案
  • 提案システムの評価
  • まとめ

68

69 of 85

まとめ

背景:3D再生成が不要なプロシージャル手法への期待と

   LLMを通した対話的な3D生成の既存研究の課題から

課題1. 環境依存性��☑ MCPにより排除

課題2. コスト増��コスト削減を検証

☑ APIではプロンプトキャッシュ

☑ ローカルでのバッチ推論

☑ 60リクエスト以下だと効率が低下すると判明

69

70 of 85

今後の課題

▢ GUIレベルでの自動操作機能の検証

▢ データベースなどのRAGの効果検証

▢ 3Difyのマルチエージェント全体の評価

70

71 of 85

補足資料

71

72 of 85

補足:前処理も加味したスループットへの変換

    の仕様

前処理生成フェーズは排他的

・新規リクエストの前処理を優先

72

生成スループット[tokens/s]

推移だけ見ると乱高下

 

前処理: Avg(P)

1229.5[tokens/s]

生成: Avg(G)

150.3[tokens/s]

前処理のスループットと

重みづけで加算&正規化

73 of 85

キャッシュプロンプト算出詳細

73

プロ ンプトを キャッシュWrite できる最低トークン数 1024 を超えている

74 of 85

    のオプション詳細

74

75 of 85

LLM×3Dの既存研究2:3DGPT

75

画像の引用 : [2] 3D-GPT: Procedural 3D Modeling with Large Language Models, GitHub (online), available from <https://github.com/Chuny1/3DGPT> (accessed 2025-03-08).

・Blenderでテキストから3Dシーンを生成,編集

・プロシージャル生成Pythonモジュールのラッパー

≒Skill Library

GPT

≒Builder�GPT

既存研究LLMRと�同等のGPTを含む

76 of 85

既存研究と3Difyメインワークフロー対応表

76

Planner

画像生成Workflow + Planner

Planner

Manager

Manager

77 of 85

Difyを不老のsingularityで動かすことに苦戦�Docker Composeとネットワーク権限の問題

77

78 of 85

Nginxというプロキシサーバの権限が足りずWEBコンテナに直接アクセスするしかない

・暗号化(TLS)や困難

・プラグインが動作しない

78

79 of 85

79

ソースコードに特化したRAGの考案

RAGでヒットしたPythonファイルをクエリとして再帰入力する�関連するコードを全て抽出する

基本的なRAG

コードの特徴を

利用したRAG

クエリ

クエリ

80 of 85

2025年6月頃からRAGの情勢が変化

Claude Codeの登場

CLI上で動作する

エージェント型コーディングツール

CLIのBashコマンド等を駆使してファイル一覧を把握し

必要に応じて、文字列で検索をかけて

数十行だけREADしたり

親子検索等の従来のRAGより柔軟

80

81 of 85

VibeCodeHPCへの注力

81

82 of 85

82

83 of 85

VibeCodeHPCのマルチエージェント

v1 Claude Code単体(既に作成済み)

v2 tmux 集約並列マルチエージェント(作成中)

v3 A2A 分散並列マルチエージェント(構想段階)

※3Difyは VibeCodeHPC を用いて再構築予定

メインを Dify→Claude Code等のCLI型 に変更

83

84 of 85

84

85 of 85

GitHubでマルチエージェントを開発中

85