苏洋博客
网站首页
工作生活
编程记录
知识地图
文章存档
关于苏洋
关于本站
GitHub
折腾笔记
联系作者
醉里不知天在水,满船清梦压星河。
文章列表
构建能够使用 CPU 运行的 MetaAI LLaMA2 中文大模型
2023年07月23日
GGML
,
llama.cpp
,
LLaMA2
,
LLaMA
,
Python
,
Docker
,
Linux
基于GGML机器学习张量库,介绍将Meta LLaMA2中文大模型转换为可在CPU运行的量化格式的完整流程。内容涵盖使用Docker工具镜像完成模型格式转换、GGML量化压缩(将26GB模型精简至3.
阅读全文
使用 Transformers 量化 Meta AI LLaMA2 中文版大模型
2023年07月22日
LLaMA2
,
LLaMA
,
Transformers
,
HuggingFace
,
Python
,
Docker
,
Linux
介绍基于 HuggingFace Transformers 对 Meta AI LLaMA2 中文版大模型进行 4BIT 量化的完整方案,使模型显存占用从 13-14GB 降至约 5GB。核心方法是通过 Transformers 内置的 B
阅读全文
使用 Docker 快速上手中文版 LLaMA2 开源大模型
2023年07月21日
LLaMA2
,
LLaMA
,
HuggingFace
,
Python
,
Docker
,
Linux
介绍如何通过 Docker 容器快速部署中文版 LLaMA2 开源大模型,该模型由 LinkSoul-AI 团队开发,是国内首个真正开源、可运行下载、支持私有部署及商业使用的中文 LLaMA2 模型。
阅读全文
使用 Docker 快速上手官方版 LLaMA2 开源大模型
2023年07月21日
LLaMA2
,
LLaMA
,
HuggingFace
,
Python
,
Docker
,
Linux
介绍基于 Docker 容器部署 Meta AI 官方版 LLaMA2 开源大模型的完整流程,涵盖模型下载许可申请、HuggingFace 平台获取 SafeTensors 格式文件、本地目录结构调整,以及通过开源项目 soulteary/
阅读全文
Traefik v3.0 Docker 全面使用指南:基础篇
2023年07月18日
Traefik
,
Docker
,
Linux
基于 Docker 容器部署 Traefik v3.0 的完整基础配置指南,涵盖最简容器启动、服务域名绑定与路由规则设置、端口暴露优化、命令行参数结构化写法、健康检查与自动重启机制等核心实践,提供可直接复用的 docker-compose.
阅读全文
2023 年中总结
2023年07月04日
年度总结
2023年上半年在技术、写作与事业发展方面均有实质性进展。
阅读全文
只聊感情,不聊技术(一)
2023年06月02日
思考
,
观点
探讨了基于邓巴数理论的社交管理实践,提出将时间优先投入于双向喜爱的关系而非平均分配。
阅读全文
使用 Golang 和 Docker 实现 Python 计算服务
2023年05月22日
Golang
,
Python
,
Docker
,
GRPC
,
Linux
基于 Golang 与 Docker 技术栈,将 Python 软件包封装为高性能网络服务的实践方案。通过调用 Python C API 在 Go 程序中嵌入 Python 运行时,以 python-nameparser 为例演示完整流程:
阅读全文
使用 Golang 和 Docker 运行 Python 代码
2023年05月21日
Golang
,
Python
,
Docker
,
Alpine
,
Linux
介绍一种通过 Golang 调用 Python 代码的技术方案,以复用现有 Python 软件包并减少重复开发。方案基于 go-python/cpy3 项目实现 Go 与 CPython-3 API 的绑定,分析了 Python 3.
阅读全文
AI 加持的代码编写实战:快速实现 Nginx 配置格式化工具
2023年05月20日
ChatGPT
,
Copilot
,
Tabnine
,
Midjourney
,
Golang
,
Linux
文章介绍了一种借助 GPT 快速开发开源工具的方法,以解决 Nginx 配置文件格式化这一实际问题。针对现有工具存在缩进混乱、语法损坏、维护停滞等缺陷,经过社区方案调研与 AutoGPT 交叉验证后,选择基于字符串特征处理的 Golang
阅读全文
««
«
7
8
9
10
11
12
13
14
15
16
»
»»