Skip to content

ollama 实现分享 #66

@yangxiaoshuai2333

Description

@yangxiaoshuai2333

近期打包了下[lawyer-llama-13b-v2]的q4量化并上传到了ollama,提示词采用的qwen提示词,性能相较案例有所下降,不过基本满足问题需求。ollama测试可用版本为0.1.32,0.1.48以上版本不可用GPU模式。

推荐使用ollama镜像方式部署,不妨碍其他版本ollama使用。镜像要求同样为0.1.32
ollama 库地址为 xiaoshuai111/lawyer-llama-13b-v2
使用方法:ollama run xiaoshuai111/lawyer-llama-13b-v2

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions