内容

ONNX Runtimeを扱うためのライブラリを、onnxruntime-rsからortにします。

#427 の方は、ちゃんと使えるようになるのに何年待たなくてはならないかわからないのでortの方がよいと思いました。

Pros 良くなる点

• ちゃんとメンテされるライブラリに乗っかることができる
  • dlopen/LoadLibrary, 静的リンク
  • DirectMLを含むEP対応
  • WASM対応
  • etc.

Cons 悪くなる点

onnxruntime-rsと比べると無いはず。 microsoft/onnxruntime本家のRustバインディングが動きだしたら別かとは思いますが、今動きだしたとして半年は待つ必要はありそうな感じなので…

実現方法

1. ortをVOICEVOX下にフォークする
   • 今までVOICEVOX/onnxruntime-rsに加えた変更のうち、必要なものを入れる (ortは結構先を進んでいるので、多分そんなに必要無いはず)
   • ortのAdd an option to use the input model bytes (ORT format only) directly without copy at session creation microsoft/onnxruntime#8502対応を、onnxruntime-rs本来の「コピー」する挙動に戻す
     • Discordで以前話した件です
2. onnxruntime-rsをortに置き換える

VOICEVOXのバージョン

N/A

OSの種類/ディストリ/バージョン

• Windows
• macOS
• Linux

その他