Tag: # llama.cpp

围绕 Ollama 官方未直接支持的模型及新版 llama.cpp 转换后的模型运行需求，详细阐述了基于 Docker 环境完成 Llama 3.1 模型服务的完整链路。内容涵盖通过 ModelScope 获取模型文件、拉取指定版本 Oll 阅读全文

基于 llama.cpp 框架介绍非常见整数位量化方案，涵盖 2、3、5、6 位等非标准位数量化技术。详细说明 GGUF 格式转换流程，包括使用 convert.py 将 PyTorch/Safetensors 模型转为 F16 中间格式， 阅读全文

基于实践测试，对零一万物官方 Yi-34B 及 Yi-34B-200K 模型的本地部署与基础使用进行客观记录。涵盖 Docker 与裸机两种环境配置、模型文件获取方式、硬件资源需求分析，重点验证模型在默认参数下的文本生成表现，包括指令遵循能 阅读全文

零一万物34B大模型本地部署方案详解，针对该模型量化后约24GB显存占用易触发内存溢出的问题，提出基于llama.cpp的CPU与GPU混合推理方案。通过Docker构建NVIDIA PyTorch运行环境，利用gguf格式模型与GPU层卸 阅读全文

基于GGML机器学习张量库，介绍将Meta LLaMA2中文大模型转换为可在CPU运行的量化格式的完整流程。内容涵盖使用Docker工具镜像完成模型格式转换、GGML量化压缩（将26GB模型精简至3. 阅读全文