Tag: # LLaMA

围绕 Ollama 官方未直接支持的模型及新版 llama.cpp 转换后的模型运行需求，详细阐述了基于 Docker 环境完成 Llama 3.1 模型服务的完整链路。内容涵盖通过 ModelScope 获取模型文件、拉取指定版本 Oll 阅读全文

基于GGML机器学习张量库，介绍将Meta LLaMA2中文大模型转换为可在CPU运行的量化格式的完整流程。内容涵盖使用Docker工具镜像完成模型格式转换、GGML量化压缩（将26GB模型精简至3. 阅读全文

介绍基于 HuggingFace Transformers 对 Meta AI LLaMA2 中文版大模型进行 4BIT 量化的完整方案，使模型显存占用从 13-14GB 降至约 5GB。核心方法是通过 Transformers 内置的 B 阅读全文

介绍如何通过 Docker 容器快速部署中文版 LLaMA2 开源大模型，该模型由 LinkSoul-AI 团队开发，是国内首个真正开源、可运行下载、支持私有部署及商业使用的中文 LLaMA2 模型。 阅读全文

介绍基于 Docker 容器部署 Meta AI 官方版 LLaMA2 开源大模型的完整流程，涵盖模型下载许可申请、HuggingFace 平台获取 SafeTensors 格式文件、本地目录结构调整，以及通过开源项目 soulteary/ 阅读全文

介绍基于 Docker 与 Alpaca LoRA 技术对 LLaMA 大模型进行微调的方法，涵盖 7B 与 65B 两种参数规模。核心方案借助 LoRA 低秩适配与 8-bit 量化技术，将 7B 模型微调所需算力从 4 张 A100 显 阅读全文

针对低显存设备运行 LLaMA 模型的需求，验证发现 PyLLaMA 方案虽能节省显存但 8GB 显卡仍无法直接运行。经测试，tloen/llama-int8 项目通过 INT8 量化可实现 7B 模型在 8GB 显存、13B 模型在 16 阅读全文

介绍基于 Docker 低成本快速部署 Meta 开源大模型 LLaMA 的实践方案，涵盖模型文件下载与校验、NVIDIA PyTorch 容器环境构建、原版与社区优化版双镜像选择策略，以及显存资源消耗实测对比。 阅读全文