文章列表

构建能够使用 CPU 运行的 MetaAI LLaMA2 中文大模型

, , , , , ,
基于GGML机器学习张量库,介绍将Meta LLaMA2中文大模型转换为可在CPU运行的量化格式的完整流程。内容涵盖使用Docker工具镜像完成模型格式转换、GGML量化压缩(将26GB模型精简至3. 阅读全文

使用 Transformers 量化 Meta AI LLaMA2 中文版大模型

介绍基于 HuggingFace Transformers 对 Meta AI LLaMA2 中文版大模型进行 4BIT 量化的完整方案,使模型显存占用从 13-14GB 降至约 5GB。核心方法是通过 Transformers 内置的 B 阅读全文

使用 Docker 快速上手中文版 LLaMA2 开源大模型

, , , , ,
介绍如何通过 Docker 容器快速部署中文版 LLaMA2 开源大模型,该模型由 LinkSoul-AI 团队开发,是国内首个真正开源、可运行下载、支持私有部署及商业使用的中文 LLaMA2 模型。 阅读全文

使用 Docker 快速上手官方版 LLaMA2 开源大模型

, , , , ,
介绍基于 Docker 容器部署 Meta AI 官方版 LLaMA2 开源大模型的完整流程,涵盖模型下载许可申请、HuggingFace 平台获取 SafeTensors 格式文件、本地目录结构调整,以及通过开源项目 soulteary/ 阅读全文

Traefik v3.0 Docker 全面使用指南:基础篇

, ,
基于 Docker 容器部署 Traefik v3.0 的完整基础配置指南,涵盖最简容器启动、服务域名绑定与路由规则设置、端口暴露优化、命令行参数结构化写法、健康检查与自动重启机制等核心实践,提供可直接复用的 docker-compose. 阅读全文

2023 年中总结

2023年上半年在技术、写作与事业发展方面均有实质性进展。 阅读全文

只聊感情,不聊技术(一)

,
探讨了基于邓巴数理论的社交管理实践,提出将时间优先投入于双向喜爱的关系而非平均分配。 阅读全文

使用 Golang 和 Docker 实现 Python 计算服务

, , , ,
基于 Golang 与 Docker 技术栈,将 Python 软件包封装为高性能网络服务的实践方案。通过调用 Python C API 在 Go 程序中嵌入 Python 运行时,以 python-nameparser 为例演示完整流程: 阅读全文

使用 Golang 和 Docker 运行 Python 代码

, , , ,
介绍一种通过 Golang 调用 Python 代码的技术方案,以复用现有 Python 软件包并减少重复开发。方案基于 go-python/cpy3 项目实现 Go 与 CPython-3 API 的绑定,分析了 Python 3. 阅读全文

AI 加持的代码编写实战:快速实现 Nginx 配置格式化工具

文章介绍了一种借助 GPT 快速开发开源工具的方法,以解决 Nginx 配置文件格式化这一实际问题。针对现有工具存在缩进混乱、语法损坏、维护停滞等缺陷,经过社区方案调研与 AutoGPT 交叉验证后,选择基于字符串特征处理的 Golang 阅读全文