Tag: # LLaMA2

基于GGML机器学习张量库，介绍将Meta LLaMA2中文大模型转换为可在CPU运行的量化格式的完整流程。内容涵盖使用Docker工具镜像完成模型格式转换、GGML量化压缩（将26GB模型精简至3. 阅读全文

介绍基于 HuggingFace Transformers 对 Meta AI LLaMA2 中文版大模型进行 4BIT 量化的完整方案，使模型显存占用从 13-14GB 降至约 5GB。核心方法是通过 Transformers 内置的 B 阅读全文

介绍如何通过 Docker 容器快速部署中文版 LLaMA2 开源大模型，该模型由 LinkSoul-AI 团队开发，是国内首个真正开源、可运行下载、支持私有部署及商业使用的中文 LLaMA2 模型。 阅读全文

介绍基于 Docker 容器部署 Meta AI 官方版 LLaMA2 开源大模型的完整流程，涵盖模型下载许可申请、HuggingFace 平台获取 SafeTensors 格式文件、本地目录结构调整，以及通过开源项目 soulteary/ 阅读全文