苏洋博客
网站首页
工作生活
编程记录
知识地图
文章存档
关于苏洋
关于本站
GitHub
折腾笔记
联系作者
文章列表
Tag: # Python
OpenAI Code Interpreter 的开源实现:GPT Code UI
2023年07月25日
Code Interpreter
,
GPT Code UI
,
Python
,
Docker
GPT Code UI 是 OpenAI Code Interpreter 的开源替代方案之一,目前处于早期开发阶段。该项目支持通过 Docker 容器快速部署,镜像大小约 200MB,内置常见 Python 依赖库。
阅读全文
构建能够使用 CPU 运行的 MetaAI LLaMA2 中文大模型
2023年07月23日
GGML
,
llama.cpp
,
LLaMA2
,
LLaMA
,
Python
,
Docker
,
Linux
基于GGML机器学习张量库,介绍将Meta LLaMA2中文大模型转换为可在CPU运行的量化格式的完整流程。内容涵盖使用Docker工具镜像完成模型格式转换、GGML量化压缩(将26GB模型精简至3.
阅读全文
使用 Transformers 量化 Meta AI LLaMA2 中文版大模型
2023年07月22日
LLaMA2
,
LLaMA
,
Transformers
,
HuggingFace
,
Python
,
Docker
,
Linux
介绍基于 HuggingFace Transformers 对 Meta AI LLaMA2 中文版大模型进行 4BIT 量化的完整方案,使模型显存占用从 13-14GB 降至约 5GB。核心方法是通过 Transformers 内置的 B
阅读全文
使用 Docker 快速上手中文版 LLaMA2 开源大模型
2023年07月21日
LLaMA2
,
LLaMA
,
HuggingFace
,
Python
,
Docker
,
Linux
介绍如何通过 Docker 容器快速部署中文版 LLaMA2 开源大模型,该模型由 LinkSoul-AI 团队开发,是国内首个真正开源、可运行下载、支持私有部署及商业使用的中文 LLaMA2 模型。
阅读全文
使用 Docker 快速上手官方版 LLaMA2 开源大模型
2023年07月21日
LLaMA2
,
LLaMA
,
HuggingFace
,
Python
,
Docker
,
Linux
介绍基于 Docker 容器部署 Meta AI 官方版 LLaMA2 开源大模型的完整流程,涵盖模型下载许可申请、HuggingFace 平台获取 SafeTensors 格式文件、本地目录结构调整,以及通过开源项目 soulteary/
阅读全文
使用 Golang 和 Docker 实现 Python 计算服务
2023年05月22日
Golang
,
Python
,
Docker
,
GRPC
,
Linux
基于 Golang 与 Docker 技术栈,将 Python 软件包封装为高性能网络服务的实践方案。通过调用 Python C API 在 Go 程序中嵌入 Python 运行时,以 python-nameparser 为例演示完整流程:
阅读全文
使用 Golang 和 Docker 运行 Python 代码
2023年05月21日
Golang
,
Python
,
Docker
,
Alpine
,
Linux
介绍一种通过 Golang 调用 Python 代码的技术方案,以复用现有 Python 软件包并减少重复开发。方案基于 go-python/cpy3 项目实现 Go 与 CPython-3 API 的绑定,分析了 Python 3.
阅读全文
八十行代码实现开源的 Midjourney、Stable Diffusion “咒语”作图工具
2023年04月05日
Midjourney
,
Stable Diffusion
,
CLIP
,
BLIP
,
GPT
,
OPUS
,
Python
,
Docker
,
Linux
基于 Docker 与约八十行 Python 代码,实现开源版 Midjourney Describe 功能,支持图片解析生成 Prompt 与文本续写生成作图描述。项目提供 CPU 与 GPU 双版本,整合 CLIP/BLIP 图像理解、
阅读全文
模型杂谈:1.5G 显存就能运行的 RNN 14B 的开源模型(ChatRWKV)
2023年03月25日
ChatRWKV
,
Python
,
Docker
,
Linux
ChatRWKV 是一款拥有 140 亿参数的开源 RNN 架构语言模型,其突出特性在于极低的显存占用与灵活的部署方式。借助 Docker 容器化方案,用户可在配备 24GB 显存的 RTX 4090 显卡上实现高速推理,亦可通过量化等技术
阅读全文
使用 Docker 和 Alpaca LoRA 对 LLaMA 65B 大模型进行 Fine-Tune
2023年03月25日
Alpaca LoRA
,
LLaMA
,
Python
,
Docker
,
Linux
介绍基于 Docker 与 Alpaca LoRA 技术对 LLaMA 大模型进行微调的方法,涵盖 7B 与 65B 两种参数规模。核心方案借助 LoRA 低秩适配与 8-bit 量化技术,将 7B 模型微调所需算力从 4 张 A100 显
阅读全文
««
«
1
2
3
4
5
»
»»