文章列表

让 OpenAI 更 Open,在 ChatGPT 里自由接入数据源

, , ,
介绍一种在本地部署类 ChatGPT 客户端并自由接入多种数据源的技术方案。通过将前端封装为 Docker 容器并重构兼容的后端服务,用户可对接 OpenAI API、HuggingFace、国内大模型、搜索引擎、数据库、RSS 及任意 A 阅读全文

使用 Urch 让 Ubuntu 原生远程控制功能稳定可靠

开源工具 Urch(Ubuntu Remote Control Helper)可解决 Ubuntu 原生远程桌面在无人值守场景下的稳定性问题。该工具基于 Golang 开发,通过自动修正远程控制配置、固定连接密码、防止服务误关闭等机制,使 阅读全文

八十行代码实现开源的 Midjourney、Stable Diffusion “咒语”作图工具

基于 Docker 与约八十行 Python 代码,实现开源版 Midjourney Describe 功能,支持图片解析生成 Prompt 与文本续写生成作图描述。项目提供 CPU 与 GPU 双版本,整合 CLIP/BLIP 图像理解、 阅读全文

模型杂谈:1.5G 显存就能运行的 RNN 14B 的开源模型(ChatRWKV)

, , ,
ChatRWKV 是一款拥有 140 亿参数的开源 RNN 架构语言模型,其突出特性在于极低的显存占用与灵活的部署方式。借助 Docker 容器化方案,用户可在配备 24GB 显存的 RTX 4090 显卡上实现高速推理,亦可通过量化等技术 阅读全文

使用 Docker 和 Alpaca LoRA 对 LLaMA 65B 大模型进行 Fine-Tune

, , , ,
介绍基于 Docker 与 Alpaca LoRA 技术对 LLaMA 大模型进行微调的方法,涵盖 7B 与 65B 两种参数规模。核心方案借助 LoRA 低秩适配与 8-bit 量化技术,将 7B 模型微调所需算力从 4 张 A100 显 阅读全文

基于 Docker 的深度学习环境:入门篇

, , , ,
基于 Docker 的深度学习环境搭建指南,涵盖从 Ubuntu 系统安装到容器化环境配置的完整流程。内容包括关闭 Secure Boot 加速安装、配置 SSH 远程访问、升级系统补丁、安装 Nvidia 显卡驱动等基础步骤,并介绍如何通 阅读全文

模型杂谈:使用 IN8 量化推理运行 Meta “开源泄露”的大模型(LLaMA)

, , ,
针对低显存设备运行 LLaMA 模型的需求,验证发现 PyLLaMA 方案虽能节省显存但 8GB 显卡仍无法直接运行。经测试,tloen/llama-int8 项目通过 INT8 量化可实现 7B 模型在 8GB 显存、13B 模型在 16 阅读全文

使用 Docker、Nginx 和 ttyd 提供稳定的 Web 终端服务

介绍一种基于 Docker、Nginx 和 ttyd 构建稳定 Web 终端服务的方案,旨在让初学者通过浏览器直接访问服务器终端,无需掌握 SSH 登录等复杂操作。核心组件包括:ttyd 将本地终端会话通过 WebSocket 同步至浏览器 阅读全文

模型杂谈:快速上手元宇宙大厂 Meta “开源泄露”的大模型(LLaMA)

, , ,
介绍基于 Docker 低成本快速部署 Meta 开源大模型 LLaMA 的实践方案,涵盖模型文件下载与校验、NVIDIA PyTorch 容器环境构建、原版与社区优化版双镜像选择策略,以及显存资源消耗实测对比。 阅读全文

模型杂谈:遭遇“下架风波”的首个国产语言大模型元语(ChatYuan)

, , ,
元语(ChatYuan)作为首个引发广泛关注的国产语言大模型,上线后因宣传口径与实际能力落差陷入"下架风波"。 阅读全文