文章列表

模型杂谈:使用 IN8 量化推理运行 Meta “开源泄露”的大模型(LLaMA)

, , ,
针对低显存设备运行 LLaMA 模型的需求,验证发现 PyLLaMA 方案虽能节省显存但 8GB 显卡仍无法直接运行。经测试,tloen/llama-int8 项目通过 INT8 量化可实现 7B 模型在 8GB 显存、13B 模型在 16 阅读全文

使用 Docker、Nginx 和 ttyd 提供稳定的 Web 终端服务

介绍一种基于 Docker、Nginx 和 ttyd 构建稳定 Web 终端服务的方案,旨在让初学者通过浏览器直接访问服务器终端,无需掌握 SSH 登录等复杂操作。核心组件包括:ttyd 将本地终端会话通过 WebSocket 同步至浏览器 阅读全文

模型杂谈:快速上手元宇宙大厂 Meta “开源泄露”的大模型(LLaMA)

, , ,
介绍基于 Docker 低成本快速部署 Meta 开源大模型 LLaMA 的实践方案,涵盖模型文件下载与校验、NVIDIA PyTorch 容器环境构建、原版与社区优化版双镜像选择策略,以及显存资源消耗实测对比。 阅读全文

模型杂谈:遭遇“下架风波”的首个国产语言大模型元语(ChatYuan)

, , ,
元语(ChatYuan)作为首个引发广泛关注的国产语言大模型,上线后因宣传口径与实际能力落差陷入"下架风波"。 阅读全文

探索开源:获取完整的 GitHub 社区数据集

, , ,
介绍通过 GHArchive 获取 2011 至 2022 年完整 GitHub 社区数据集的技术流程,涵盖使用 Node.js 批量生成超 10 万条小时级数据下载链接、采用 aria2 多线程高速下载、通过 diff 比对补全缺失文件、 阅读全文

快速构建和安装干净的 ESXi 8 镜像指南

, , , ,
介绍基于 Docker 容器快速构建自定义 ESXi 8 安装镜像的方法,无需在本地配置复杂的 PowerCLI 环境。通过拉取预制的构建工具镜像,挂载 ESXi 离线安装包与社区驱动程序,执行 PowerCLI 命令完成镜像克隆、驱动添加 阅读全文

低成本搭建一台 Unraid 家庭存储服务器:中篇

基于非ECC内存设备的硬件条件,选择Unraid而非TrueNAS作为家庭存储系统,因其采用XFS/Btrfs文件系统降低了对ECC内存的依赖。安装需制作USB引导盘,通过WebUI完成初始化后,规划磁盘用途:SSD作缓存盘与系统盘,机械硬 阅读全文

低成本搭建一台家庭存储服务器:前篇

, , ,
记录搭建家庭备份服务器的完整过程,核心需求为支持 macOS 时间机器、数据可靠性及低维护成本。对比群晖、黑苹果、Windows、硬盘盒等方案后,选用二手 HP EliteDesk 800G6 SFF 准系统配合 Ubuntu 系统,整机不 阅读全文

MacBook 与其他设备的低成本高性能数据传输方案(二)

补充测试了多台不同芯片(M1、M2、x86)MacBook 通过雷电数据线传输数据的表现,并针对不支持雷电传输的设备,采用免驱 2.5G 网卡进行直连方案验证。经 iperf3 实测,2.5G 网卡在 macOS 与 Ubuntu 环境下均 阅读全文

MacBook 与其他设备的低成本高性能数据传输方案(一)

在不依赖路由器的前提下,通过雷电数据线或网线实现MacBook与其他设备直连组网,可获得远高于无线传输的稳定性与速率。雷电方案仅需数十元数据线即可建立雷电网桥,实测传输速率可达16Gbps(约2000MB/s);针对非雷电设备,采用2. 阅读全文