Skip to content

README_ja.md

Latest commit

 

History

History
168 lines (122 loc) · 12 KB

README_ja.md

File metadata and controls

168 lines (122 loc) · 12 KB
Raw

(English|简体中文|日本語|한국어)

FunASR

オフライン、ストリーミング、エッジ展開に対応する産業グレードの音声認識ツールキット。
ASR · VAD · 句読点 · 話者パイプライン · 感情/音声イベントモデル · OpenAI互換配信

PyPI Stars Downloads Docs

modelscope%2FFunASR | Trendshift

クイックスタート · Colab · モデル選択 · ベンチマーク · Migration guide · Use cases · Deployment matrix · モデル一覧 · Agent連携 · ドキュメント

クイックスタート

pip install funasr
from funasr import AutoModel

model = AutoModel(model="iic/SenseVoiceSmall", vad_model="fsmn-vad", spk_model="cam++", device="cuda")
result = model.generate(input="meeting.wav")

出力 — 話者ラベル・タイムスタンプ・句読点付きの構造化テキスト：

[00:00.4 → 00:03.8] 話者0: Q3の計画について話し合いましょう。
[00:04.2 → 00:07.1] 話者1: いいですね。3つのポイントがあります。
[00:07.5 → 00:12.3] 話者0: どうぞ。あと30分あります。

これは1回の AutoModel パイプライン呼び出しですが、SenseVoiceSmall、 FSMN-VAD、CAM++という独立したモデルを組み合わせています。話者分離は SenseVoiceSmall自体ではなく、CAM++によって提供されます。

初めて使う場合は Colab クイックスタート から試せます。どのモデルを選ぶか迷う場合は モデル選択ガイド を参照してください。

APIサーバーとしてデプロイ： funasr-server --device cuda → localhost:8000でOpenAI互換エンドポイント

AIエージェント連携： MCPサーバー Claude/Cursor対応 · OpenAI API LangChain/Dify/AutoGen対応

なぜFunASRを選ぶのか？

Whisper は単一モデルですが、FunASR はツールキットです——用途に応じて Fun-ASR-Nano（中・英・日と中国語方言・地域アクセント、GPU）、 Fun-ASR-MLT-Nano（31言語）、SenseVoiceSmall（5言語ASRと感情・ 音声イベント）、Paraformer（低遅延ストリーミング）を選べます。 下の表はツールキット全体の機能と、それを提供するモデルまたはパイプラインを示します：

FunASR（ツールキット） Whisper クラウドAPI
最高速度 340倍リアルタイム（Fun-ASR-Nano + vLLM） 13倍リアルタイム 〜1倍リアルタイム
話者認識 ✅ VAD + CAM++パイプライン ❌ pyannoteが必要 ✅ 追加料金
感情認識 ✅ SenseVoice による ❌ ❌
言語数 チェックポイントごとに異なる（例：Qwen3-ASR 52、MLT-Nano 31、Nano 中/英/日） 57 サービスにより異なる
ストリーミング ✅ WebSocket（Paraformer） ❌ ✅
CPU対応 ✅ 17倍リアルタイム（SenseVoice） ❌ 遅すぎる 該当なし
セルフホスト ✅ 対応（ツールキット: MIT、モデルごとに異なる） ✅ MITライセンス ❌ クラウドのみ
コスト 無料 無料 $0.006/分〜

ベンチマーク

184件の長時間音声（計192分）。詳細レポート →

モデル 中国語 CER ↓ GPU速度 CPU速度 Whisper-large-v3比
Fun-ASR-Nano（vLLM） 8.20% 340倍リアルタイム — 🚀 26倍高速
SenseVoice-Small 7.81% 170倍リアルタイム 17倍リアルタイム 🚀 13倍高速
Paraformer-Large 10.18% 120倍リアルタイム 15倍リアルタイム 🚀 9倍高速
Whisper-large-v3-turbo 21.71% 46倍リアルタイム ❌ 3.4倍高速
Whisper-large-v3 20.02% 13倍リアルタイム ❌ ベースライン

ポイント： FunASRのCPU速度は、WhisperのGPU速度より速い。

最新情報

  • 2026/07/24：v1.3.28 hotfix が PyPI に公開 — VAD で確定した realtime WebSocket の最終結果が短い接頭辞、反復 hallucination、または decode 例外へ退化した場合、現在の音声区間を連続して完全に覆う clean partial を保持します。短い STOP tail、VAD finalize、話者処理も同じ信頼できる完了経路に統一しました。SenseVoice 字幕は rich tag、句読点、word/BPE timestamp を正しく整列し、中国語を一つの cue に潰さず、英語表記も保持します。インストール：python -m pip install -U "funasr==1.3.28"。Release →
  • 2026/07/24：v1.3.27 が PyPI に公開 — OpenAI 互換サーバーが verbose_json で SenseVoice の検出言語を返し、vLLM fallback 後はキャッシュ済み Fun-ASR-Nano AutoModel を再利用します。vLLM/VAD 初期化と fallback の両方が失敗した場合は、半初期化状態を残さず、後続リクエストで再試行できます。インストール：python -m pip install -U "funasr==1.3.27"。Release →
  • 2026/07/23：v1.3.26 が PyPI に公開 — funasr-server --model fun-asr-nano --hub ms は ModelScope hub 指定を vLLM 経路と AutoModel fallback の両方で尊重します。インストール：python -m pip install -U "funasr==1.3.26"。Release →
  • 2026/07/23：llama.cpp runtime v0.1.9 — Windows Vulkan 向け funasr-llamacpp-windows-x64-vulkan.zip を追加。現在の AMD、Intel、NVIDIA Vulkan ドライバーで SenseVoiceSmall を単独実行できます。Linux Vulkan、Windows CUDA、CPU/AVX2、Linux arm64、macOS arm64 も引き続き提供します。Release →
  • 2026/07/22：llama.cpp runtime v0.1.8 — Linux Vulkan tarball と Windows CUDA zip を含む CPU/エッジ向け GGUF ランタイム。ダウンロードと手順：funasr.com/llama-cpp · Release →
  • 2026/05/24：v1.3.3 — funasr-server CLI、OpenAI互換API、MCPサーバー。pip install --upgrade funasr
  • 2026/05/20：Qwen3-ASR (0.6B/1.7B) 追加 — 52言語対応。
  • 2026/05/20：GLM-ASR-Nano (1.5B) 追加 — 17言語、方言対応。
  • 2026/05/19：Fun-ASR-NanoとSenseVoiceは、VADおよびCAM++と組み合わせて話者分離パイプラインを構成できます。
  • 2025/12/15：Fun-ASR-Nano-2512 — 中・英・日と中国語方言に対応。

インストール

pip install funasr

要件：Python ≥ 3.8、PyTorch ≥ 1.13、torchaudio

モデル一覧

モデル タスク 言語 パラメータ リンク
Fun-ASR-Nano 認識 中/英/日 + 中国語方言 800M ⭐ 🤗 GGUF
Fun-ASR-MLT-Nano 認識 31言語 800M ⭐ 🤗
SenseVoiceSmall 認識 + 感情 + イベント 中/英/日/韓/粤 234M ⭐ 🤗 GGUF
Paraformer-zh 認識 + タイムスタンプ 中/英 220M ⭐ 🤗
Qwen3-ASR 認識、52言語 多言語 1.7B 使用法
GLM-ASR-Nano 認識、17言語 多言語 1.5B 使用法
Whisper-large-v3-turbo 認識 + 翻訳 多言語 809M 使用法

デプロイ

# OpenAI互換API（推奨）
pip install funasr fastapi uvicorn python-multipart
funasr-server --device cuda

# Dockerストリーミングサービス
docker pull registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-online-cpu-0.1.12

CPU/エッジで Python なしのオフライン ASR が必要な場合は、llama.cpp / GGUF ランタイムを使えます：funasr.com/llama-cpp · Fun-ASR-Nano-GGUF · SenseVoiceSmall-GGUF。

Colab quickstart → · OpenAI API example → · Client recipes → · Workflow recipes → · Postman collection → · OpenAPI spec → · Security guide → · Deployment matrix → · デプロイドキュメント → · Agent連携 →

コミュニティ
📖 ドキュメント 🐛 Issues
💬 Discussions 🤗 HuggingFace

ライセンス

  • このリポジトリの FunASR ツールキットのソースコード: MIT License。
  • 事前学習済みモデルの重みは個別にライセンスされます。各モデルカードに記載されたライセンスを確認してください。モデルカードがこのリポジトリの FunASR Model Open Source License Agreement を参照している場合、その条件が適用されます。