苏洋博客
网站首页
工作生活
编程记录
知识地图
文章存档
关于苏洋
关于本站
GitHub
折腾笔记
联系作者
文章列表
Tag: # GGML
构建能够使用 CPU 运行的 MetaAI LLaMA2 中文大模型
2023年07月23日
GGML
,
llama.cpp
,
LLaMA2
,
LLaMA
,
Python
,
Docker
,
Linux
基于GGML机器学习张量库,介绍将Meta LLaMA2中文大模型转换为可在CPU运行的量化格式的完整流程。内容涵盖使用Docker工具镜像完成模型格式转换、GGML量化压缩(将26GB模型精简至3.
阅读全文