paraformer-zh 的热词功能

[leslie2046]

Feature request / 功能建议

1. 是否可以支持请求识别时，传入hotword参数
   
2. 这四种是否可以都添加一下
   Paraformer语音识别-中文-通用-16k-离线-large-长音频版
   iic/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch
   Paraformer分角色语音识别-中文-通用
   iic/speech_paraformer-large-vad-punc-spk_asr_nat-zh-cn
   Paraformer语音识别-中文-通用-16k-离线-large-pytorch
   iic/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch
   Paraformer语音识别-中文-通用-16k-离线-large-热词版
   iic/speech_paraformer-large-contextual_asr_nat-zh-cn-16k-common-vocab8404

Motivation / 动机

这样就可以灵活的设置热词

Your contribution / 您的贡献

https://github.com/modelscope/FunASR

[leslie2046]

before:

now:

curl -X 'POST' 'http://192.168.1.33:9997/v1/audio/transcriptions'
-H 'accept: application/json'
-H "Content-Type: multipart/form-data"
-F file="@./asr_example.wav"
-F model="paraformer-zh-hotword"
-F 'kwargs={"hotword":"小艾 魔搭"}'

[leslie2046]

#3536

[jinec]

@leslie2046 您好，您知道 这个 Paraformer 模型是靠什么部署框架来启动的吗？怎么保证并发呢

[qinxuye]

并发可以靠 Xinference 多副本。

[leslie2046]

不知道funasr何时能发新版本，解决热词版本模型延迟比较大的问题，你能催催他们吗
modelscope/FunASR#2520
@qinxuye

[jinec]

@qinxuye 这一块，您说的：并发可以靠 Xinference 多副本。 指的是 多进程的方式吗？这个怎么设置那些参数啊？

[qinxuye]

@qinxuye 这一块，您说的：并发可以靠 Xinference 多副本。 指的是 多进程的方式吗？这个怎么设置那些参数啊？

可以指定 replica > 1，不过目前不能在一个卡上分配多个 replica，因此需要多张卡。

[Royhuiy]

before:

now: curl -X 'POST' 'http://192.168.1.33:9997/v1/audio/transcriptions' -H 'accept: application/json' -H "Content-Type: multipart/form-data" -F file="@./asr_example.wav" -F model="paraformer-zh-hotword" -F 'kwargs={"hotword":"小艾 魔搭"}'

多个热词，是用空格分隔吗？

[leslie2046]

@Royhuiy 是的

[qinxuye]

是不是可以加个文档说明 paraformer 模型的用法。

加载如下文档：https://github.com/xorbitsai/inference/blob/main/doc/source/models/model_abilities/audio.rst#sensevoicesmall-offline-usage

@leslie2046

[Royhuiy]

before:

now: curl -X 'POST' 'http://192.168.1.33:9997/v1/audio/transcriptions' -H 'accept: application/json' -H "Content-Type: multipart/form-data" -F file="@./asr_example.wav" -F model="paraformer-zh-hotword" -F 'kwargs={"hotword":"小艾 魔搭"}'

请问你知道用xinference api的api方式，是怎样添加热词的呢？