Releases: shell-nlp/gpt_server
Releases · shell-nlp/gpt_server
gpt_server v0.6.1
gpt_server v0.6.0
gpt_server v0.6.0
What's Changed
- 初步支持了 embedding 的 vllm 加速
- 修复一些 bug
- config.yaml 文件做了一些改动,请查看 https://github.com/shell-nlp/gpt_server/blob/main/gpt_server/script/config_example.yaml
- 升级 lmdeploy==0.9.1 sglang[all]==0.4.10