文章列表

OpenAI Code Interpreter 的开源实现:GPT Code UI

GPT Code UI 是 OpenAI Code Interpreter 的开源替代方案之一,目前处于早期开发阶段。该项目支持通过 Docker 容器快速部署,镜像大小约 200MB,内置常见 Python 依赖库。 阅读全文

构建能够使用 CPU 运行的 MetaAI LLaMA2 中文大模型

, , , , , ,
基于GGML机器学习张量库,介绍将Meta LLaMA2中文大模型转换为可在CPU运行的量化格式的完整流程。内容涵盖使用Docker工具镜像完成模型格式转换、GGML量化压缩(将26GB模型精简至3. 阅读全文

使用 Transformers 量化 Meta AI LLaMA2 中文版大模型

介绍基于 HuggingFace Transformers 对 Meta AI LLaMA2 中文版大模型进行 4BIT 量化的完整方案,使模型显存占用从 13-14GB 降至约 5GB。核心方法是通过 Transformers 内置的 B 阅读全文

使用 Docker 快速上手中文版 LLaMA2 开源大模型

, , , , ,
介绍如何通过 Docker 容器快速部署中文版 LLaMA2 开源大模型,该模型由 LinkSoul-AI 团队开发,是国内首个真正开源、可运行下载、支持私有部署及商业使用的中文 LLaMA2 模型。 阅读全文

使用 Docker 快速上手官方版 LLaMA2 开源大模型

, , , , ,
介绍基于 Docker 容器部署 Meta AI 官方版 LLaMA2 开源大模型的完整流程,涵盖模型下载许可申请、HuggingFace 平台获取 SafeTensors 格式文件、本地目录结构调整,以及通过开源项目 soulteary/ 阅读全文

使用 Golang 和 Docker 实现 Python 计算服务

, , , ,
基于 Golang 与 Docker 技术栈,将 Python 软件包封装为高性能网络服务的实践方案。通过调用 Python C API 在 Go 程序中嵌入 Python 运行时,以 python-nameparser 为例演示完整流程: 阅读全文

使用 Golang 和 Docker 运行 Python 代码

, , , ,
介绍一种通过 Golang 调用 Python 代码的技术方案,以复用现有 Python 软件包并减少重复开发。方案基于 go-python/cpy3 项目实现 Go 与 CPython-3 API 的绑定,分析了 Python 3. 阅读全文

八十行代码实现开源的 Midjourney、Stable Diffusion “咒语”作图工具

基于 Docker 与约八十行 Python 代码,实现开源版 Midjourney Describe 功能,支持图片解析生成 Prompt 与文本续写生成作图描述。项目提供 CPU 与 GPU 双版本,整合 CLIP/BLIP 图像理解、 阅读全文

模型杂谈:1.5G 显存就能运行的 RNN 14B 的开源模型(ChatRWKV)

, , ,
ChatRWKV 是一款拥有 140 亿参数的开源 RNN 架构语言模型,其突出特性在于极低的显存占用与灵活的部署方式。借助 Docker 容器化方案,用户可在配备 24GB 显存的 RTX 4090 显卡上实现高速推理,亦可通过量化等技术 阅读全文

使用 Docker 和 Alpaca LoRA 对 LLaMA 65B 大模型进行 Fine-Tune

, , , ,
介绍基于 Docker 与 Alpaca LoRA 技术对 LLaMA 大模型进行微调的方法,涵盖 7B 与 65B 两种参数规模。核心方案借助 LoRA 低秩适配与 8-bit 量化技术,将 7B 模型微调所需算力从 4 张 A100 显 阅读全文