-
Notifications
You must be signed in to change notification settings - Fork 130
Open
Description
近期打包了下[lawyer-llama-13b-v2]的q4量化并上传到了ollama,提示词采用的qwen提示词,性能相较案例有所下降,不过基本满足问题需求。ollama测试可用版本为0.1.32,0.1.48以上版本不可用GPU模式。
推荐使用ollama镜像方式部署,不妨碍其他版本ollama使用。镜像要求同样为0.1.32
ollama 库地址为 xiaoshuai111/lawyer-llama-13b-v2
使用方法:ollama run xiaoshuai111/lawyer-llama-13b-v2
Metadata
Metadata
Assignees
Labels
No labels