Tag: # Docker

介绍基于 Docker 容器部署 Meta AI 官方版 LLaMA2 开源大模型的完整流程，涵盖模型下载许可申请、HuggingFace 平台获取 SafeTensors 格式文件、本地目录结构调整，以及通过开源项目 soulteary/ 阅读全文

基于 Docker 容器部署 Traefik v3.0 的完整基础配置指南，涵盖最简容器启动、服务域名绑定与路由规则设置、端口暴露优化、命令行参数结构化写法、健康检查与自动重启机制等核心实践，提供可直接复用的 docker-compose. 阅读全文

基于 Golang 与 Docker 技术栈，将 Python 软件包封装为高性能网络服务的实践方案。通过调用 Python C API 在 Go 程序中嵌入 Python 运行时，以 python-nameparser 为例演示完整流程： 阅读全文

介绍一种通过 Golang 调用 Python 代码的技术方案，以复用现有 Python 软件包并减少重复开发。方案基于 go-python/cpy3 项目实现 Go 与 CPython-3 API 的绑定，分析了 Python 3. 阅读全文

基于 Docker 与约八十行 Python 代码，实现开源版 Midjourney Describe 功能，支持图片解析生成 Prompt 与文本续写生成作图描述。项目提供 CPU 与 GPU 双版本，整合 CLIP/BLIP 图像理解、 阅读全文

ChatRWKV 是一款拥有 140 亿参数的开源 RNN 架构语言模型，其突出特性在于极低的显存占用与灵活的部署方式。借助 Docker 容器化方案，用户可在配备 24GB 显存的 RTX 4090 显卡上实现高速推理，亦可通过量化等技术 阅读全文

介绍基于 Docker 与 Alpaca LoRA 技术对 LLaMA 大模型进行微调的方法，涵盖 7B 与 65B 两种参数规模。核心方案借助 LoRA 低秩适配与 8-bit 量化技术，将 7B 模型微调所需算力从 4 张 A100 显 阅读全文

基于 Docker 的深度学习环境搭建指南，涵盖从 Ubuntu 系统安装到容器化环境配置的完整流程。内容包括关闭 Secure Boot 加速安装、配置 SSH 远程访问、升级系统补丁、安装 Nvidia 显卡驱动等基础步骤，并介绍如何通 阅读全文

针对低显存设备运行 LLaMA 模型的需求，验证发现 PyLLaMA 方案虽能节省显存但 8GB 显卡仍无法直接运行。经测试，tloen/llama-int8 项目通过 INT8 量化可实现 7B 模型在 8GB 显存、13B 模型在 16 阅读全文