苏洋博客
网站首页
工作生活
编程记录
知识地图
文章存档
关于苏洋
关于本站
GitHub
折腾笔记
联系作者
醉里不知天在水,满船清梦压星河。
文章列表
使用 Docker 和 Alpaca LoRA 对 LLaMA 65B 大模型进行 Fine-Tune
2023年03月25日
Alpaca LoRA
,
LLaMA
,
Python
,
Docker
,
Linux
介绍基于 Docker 与 Alpaca LoRA 技术对 LLaMA 大模型进行微调的方法,涵盖 7B 与 65B 两种参数规模。核心方案借助 LoRA 低秩适配与 8-bit 量化技术,将 7B 模型微调所需算力从 4 张 A100 显
阅读全文
基于 Docker 的深度学习环境:入门篇
2023年03月22日
Deep Learning
,
Ubuntu
,
Docker
,
HomeLab
,
Linux
基于 Docker 的深度学习环境搭建指南,涵盖从 Ubuntu 系统安装到容器化环境配置的完整流程。内容包括关闭 Secure Boot 加速安装、配置 SSH 远程访问、升级系统补丁、安装 Nvidia 显卡驱动等基础步骤,并介绍如何通
阅读全文
模型杂谈:使用 IN8 量化推理运行 Meta “开源泄露”的大模型(LLaMA)
2023年03月13日
LLaMA
,
Python
,
Docker
,
Linux
针对低显存设备运行 LLaMA 模型的需求,验证发现 PyLLaMA 方案虽能节省显存但 8GB 显卡仍无法直接运行。经测试,tloen/llama-int8 项目通过 INT8 量化可实现 7B 模型在 8GB 显存、13B 模型在 16
阅读全文
使用 Docker、Nginx 和 ttyd 提供稳定的 Web 终端服务
2023年03月12日
ttyd
,
Web Terminal
,
Supervisor
,
Nginx
,
Docker
,
Linux
介绍一种基于 Docker、Nginx 和 ttyd 构建稳定 Web 终端服务的方案,旨在让初学者通过浏览器直接访问服务器终端,无需掌握 SSH 登录等复杂操作。核心组件包括:ttyd 将本地终端会话通过 WebSocket 同步至浏览器
阅读全文
模型杂谈:快速上手元宇宙大厂 Meta “开源泄露”的大模型(LLaMA)
2023年03月09日
LLaMA
,
Python
,
Docker
,
Linux
介绍基于 Docker 低成本快速部署 Meta 开源大模型 LLaMA 的实践方案,涵盖模型文件下载与校验、NVIDIA PyTorch 容器环境构建、原版与社区优化版双镜像选择策略,以及显存资源消耗实测对比。
阅读全文
模型杂谈:遭遇“下架风波”的首个国产语言大模型元语(ChatYuan)
2023年03月05日
Chat Yuan
,
Python
,
Docker
,
Linux
元语(ChatYuan)作为首个引发广泛关注的国产语言大模型,上线后因宣传口径与实际能力落差陷入"下架风波"。
阅读全文
探索开源:获取完整的 GitHub 社区数据集
2023年02月23日
数据集
,
GitHub
,
Bash
,
Linux
介绍通过 GHArchive 获取 2011 至 2022 年完整 GitHub 社区数据集的技术流程,涵盖使用 Node.js 批量生成超 10 万条小时级数据下载链接、采用 aria2 多线程高速下载、通过 diff 比对补全缺失文件、
阅读全文
廉价的家庭工作站设备改造记录:苹果垃圾桶(Mac Pro 2013)
2023年02月04日
HomeLab
,
macOS
,
Mac Pro
,
硬件经验
记录以约5400元总成本购置并升级Mac Pro 2013的过程,将其改造为家庭数据工作站。设备升级至12核24线程E5-2697v2处理器、128GB RECC内存及2TB PCIe 3.0固态硬盘,满足大容量内存、多核心并行计算与ECC
阅读全文
快速构建和安装干净的 ESXi 8 镜像指南
2023年01月29日
ESXi 8
,
ESXi
,
Linux
,
Docker
,
硬件经验
介绍基于 Docker 容器快速构建自定义 ESXi 8 安装镜像的方法,无需在本地配置复杂的 PowerCLI 环境。通过拉取预制的构建工具镜像,挂载 ESXi 离线安装包与社区驱动程序,执行 PowerCLI 命令完成镜像克隆、驱动添加
阅读全文
低成本搭建一台 Unraid 家庭存储服务器:中篇
2023年01月21日
Unraid
,
HomeLab
,
Linux
,
EliteDesk
,
硬件经验
基于非ECC内存设备的硬件条件,选择Unraid而非TrueNAS作为家庭存储系统,因其采用XFS/Btrfs文件系统降低了对ECC内存的依赖。安装需制作USB引导盘,通过WebUI完成初始化后,规划磁盘用途:SSD作缓存盘与系统盘,机械硬
阅读全文
««
«
8
9
10
11
12
13
14
15
16
17
»
»»