文章列表

使用 Docker 快速上手中文版 LLaMA2 开源大模型

, , , , ,
本篇文章,我们聊聊如何使用 Docker 容器快速上手朋友团队出品的中文版 LLaMA2 开源大模型,国内第一个真正开源,可以运行、下载、私有部署,并且支持商业使用。 阅读全文

使用 Docker 快速上手官方版 LLaMA2 开源大模型

, , , , ,
本篇文章,我们聊聊如何使用 Docker 容器快速上手 Meta AI 出品的 LLaMA2 开源大模型。 阅读全文

Traefik v3.0 Docker 全面使用指南:基础篇

, ,
本篇文章聊聊如何通过 Docker 容器使用 Traefik,进行稳定的 Traefik 服务的部署。 阅读全文

使用 Golang 和 Docker 实现 Python 计算服务

, , , ,
本篇文章,我们继续前一篇的话题[《使用 Golang 和 Docker 运行 Python 代码》],聊聊如何使用 Golang 和 Docker 将普通的 Python 软件包封装为高性能的服务。 阅读全文

使用 Golang 和 Docker 运行 Python 代码

, , , ,
本篇文章聊聊如何使用 Golang 来运行 Python 代码,用 Python 现成软件包来偷个懒儿,来少写一些代码。 阅读全文

八十行代码实现开源的 Midjourney、Stable Diffusion “咒语”作图工具

本篇文章聊聊如何通过 Docker 和八十行左右的 Python 代码,实现一款类似 Midjourney 官方图片解析功能 Describe 的 Prompt 工具。让你在玩 Midjourney、Stable Diffusion 这类模型时,不再为生成 Prompt 描述挠头。 阅读全文

模型杂谈:1.5G 显存就能运行的 RNN 14B 的开源模型(ChatRWKV)

, , ,
这篇文章中,我们来聊聊如何快速上手一众模型里,具有 14B 参数,但是比较特别的 RNN 模型:ChatRWKV。本文将介绍如何快手上手,包含使用一张 24 显存的 4090 高速推理生成内容,以及如何只使用 1.5G 显存就能运行这个模型。 阅读全文

使用 Docker 和 Alpaca LoRA 对 LLaMA 65B 大模型进行 Fine-Tune

, , , ,
这篇文章中,我们来聊聊如何使用两张显卡来进行 LLaMA 65B 大模型的微调工作,以及如何在一张普通的 4090 家用显卡上,只花几个小时,就能够完成 7B 模型的微调。 阅读全文

基于 Docker 的深度学习环境:入门篇

, , , ,
这篇文章聊聊如何从零到一安装、配置一个基于 Docker 容器的深度学习环境。 阅读全文

模型杂谈:使用 IN8 量化推理运行 Meta “开源泄露”的大模型(LLaMA)

, , ,
接着之前文章[《模型杂谈:快速上手元宇宙大厂 Meta “开源泄露”的大模型(LLaMA)》]一文中的话题,继续聊聊如何使用 INT8 量化的方式来让低显存的设备能够将模型运行起来。 阅读全文