コンテンツにスキップ

モジュール構成

本プラグインは、以下の5つのモジュールで構成されています。

Module Description
Audio Input Spectrum Analysis オーディオキャプチャとスペクトル解析のためのモジュールです。このモジュールは、マイクの入力波形をMel-Logスペクトログラムに変換し、ニュートラルネットワークに供給します。
Byte level BPE Tokenizer 文字列と「トークン」の変換を行うモジュールです。「トークン」は、ニューラルネットワークの入出力に使われるint型配列です。
Customized Onnx Runtime ニューラルネットワークを実行するためのモジュールです。UE5のNeural Network InferenceプラグインではDirectMLアクセラレーションによるOnnx Runtimeモジュール(ただしUE5.1時点でExperimental)がある中で、このモジュールが存在する理由はCUDAアクセラレーションによる最新バージョンのOnnx Runtimeを提供することです。
Customized Onnx Runtime Editor ONNXモデルのUAssetを定義するためのモジュールです。
Whisper Onnx Model 音声からテキストへの変換機能の主要な実装を担うモジュールです。