苏洋博客
网站首页
工作生活
编程记录
知识地图
文章存档
关于苏洋
关于本站
GitHub
折腾笔记
联系作者
醉里不知天在水,满船清梦压星河。
文章列表
CPU 混合推理,非常见大模型量化方案:“二三五六” 位量化
2023年12月12日
GGUF
,
Yi-Model
,
llama.cpp
,
Python
,
Docker
,
Linux
基于 llama.cpp 框架介绍非常见整数位量化方案,涵盖 2、3、5、6 位等非标准位数量化技术。详细说明 GGUF 格式转换流程,包括使用 convert.py 将 PyTorch/Safetensors 模型转为 F16 中间格式,
阅读全文
零一万物模型折腾笔记:官方 Yi-34B 模型基础使用
2023年12月10日
GGUF
,
Yi-Model
,
llama.cpp
,
Python
,
Docker
,
Linux
基于实践测试,对零一万物官方 Yi-34B 及 Yi-34B-200K 模型的本地部署与基础使用进行客观记录。涵盖 Docker 与裸机两种环境配置、模型文件获取方式、硬件资源需求分析,重点验证模型在默认参数下的文本生成表现,包括指令遵循能
阅读全文
把 Windows 11 装进移动硬盘:Windows 11 To Go
2023年12月05日
HomeLab
,
SSD
,
WinToGo
,
Windows
,
硬件经验
Windows To Go 是微软在 Windows 10 时代推出的功能,允许将操作系统安装至 U 盘或移动硬盘,虽在 2004 版本后官方移除,但仍可在 Windows 11 上实现。制作需准备 Windows 11 镜像、第三方工具及
阅读全文
本地运行“李开复”的零一万物 34B 大模型
2023年11月26日
GGUF
,
Yi-Model
,
llama.cpp
,
Python
,
Docker
,
Linux
零一万物34B大模型本地部署方案详解,针对该模型量化后约24GB显存占用易触发内存溢出的问题,提出基于llama.cpp的CPU与GPU混合推理方案。通过Docker构建NVIDIA PyTorch运行环境,利用gguf格式模型与GPU层卸
阅读全文
硅谷的开源创业公司 Drone CI 的终章:上篇
2023年11月20日
Drone
,
Drone CI
,
CI/CD
,
技术闲聊
Drone CI 是一款自 2012 年创建的开源持续交付软件,曾为 DockerHub 上超 1 亿下载量、5 万活跃用户的容器原生 CI 先驱。2020 年 8 月,Harness 宣布收购 Drone,此后开启资本扩张路径:2021
阅读全文
使用 Redis 构建轻量的向量数据库应用:图片搜索引擎(二)
2023年11月16日
图片搜索引擎
,
向量数据库
,
Redis
,
Docker
,
Clip
,
Python
,
Ubuntu
,
Linux
,
OpenAI
文章延续前篇,继续介绍基于 Redis 构建轻量级向量数据库的图片搜索引擎实现方案。重点阐述如何利用 OpenAI Clip 模型的文本-图像关联能力,通过两种文本交互方式扩展搜索功能:一是借助分类检测能力进行内容安全风控,通过关键词列表与
阅读全文
使用 Redis 构建轻量的向量数据库应用:图片搜索引擎(一)
2023年11月15日
图片搜索引擎
,
向量数据库
,
Redis
,
Docker
,
Clip
,
Python
,
Ubuntu
,
Linux
,
OpenAI
探讨基于 Redis 构建轻量级本地图片搜索引擎的技术实践,采用 Docker 容器化部署方案,结合 OpenAI CLIP 模型实现图片特征提取与向量化存储。针对万级图片数据集,使用稠密向量检索方式完成搜索,总耗时低于十分之一秒。
阅读全文
开源软件 FFmpeg 生成模型使用图片数据集
2023年11月14日
数据集
,
FFmpeg
,
GitHub
,
Linux
开源软件FFmpeg可将视频文件高效转换为高质量图片数据集,适用于构建机器学习训练数据或壁纸集合。通过调整帧率参数控制输出密度,配合图片压缩与缩放策略,能在保证画面代表性的同时显著降低存储占用。以电影《流浪地球2》为例,按每秒提取一帧可生成
阅读全文
NAS 扩容简明指南:使用各种外设给 NAS 们扩容
2023年11月11日
HomeLab
,
SSD
,
NAS
,
Sysnology
,
硬件经验
NAS扩容可通过多种外设方案实现,以较低成本获取更大容量与更稳妥的数据存储体验。方案包括购置更高规格磁盘或NAS的硬件升级、使用USB硬盘盒或阵列硬盘盒直连扩容,以及通过网络设备聚合存储空间。其中外置阵列硬盘盒支持RAID镜像模式,可提升数
阅读全文
家用工作站方案:ThinkBook 14 2023 版
2023年11月09日
HomeLab
,
ThinkBook
,
硬件经验
文章围绕五千元价位的无独显笔记本 ThinkBook 14 2023 展开,详细阐述了将其作为家用工作站的选型逻辑与实践方案。作者基于多年使用笔记本充当服务器的经验,对比分析了前代 ThinkBook 15 在散热结构、内存可靠性、能耗及便
阅读全文
««
«
5
6
7
8
9
10
11
12
13
14
»
»»