使用 Dify 和 AI 大模型理解视频内容：Qwen 2 VL 72B

import cv2
import numpy as np
from sklearn.cluster import KMeans
import os

def preprocess_video(video_path):
    """
    预处理视频,提取所有帧
    """
    cap = cv2.VideoCapture(video_path)
    frames = []
    while cap.isOpened():
        ret, frame = cap.read()
        if not ret:
            break
        frames.append(frame)  # 保存原始彩色帧
    cap.release()
    return frames

def detect_shot_boundaries(frames, threshold=30):
    """
    使用帧差法检测镜头边界
    """
    shot_boundaries = []
    for i in range(1, len(frames)):
        prev_frame = cv2.cvtColor(frames[i-1], cv2.COLOR_BGR2GRAY)
        curr_frame = cv2.cvtColor(frames[i], cv2.COLOR_BGR2GRAY)
        diff = np.mean(np.abs(curr_frame.astype(int) - prev_frame.astype(int)))
        if diff > threshold:
            shot_boundaries.append(i)
    return shot_boundaries

def extract_keyframes(frames, shot_boundaries):
    """
    从每个镜头中提取关键帧
    """
    keyframes = []
    for i in range(len(shot_boundaries)):
        start = shot_boundaries[i-1] if i > 0 else 0
        end = shot_boundaries[i]
        shot_frames = frames[start:end]
        
        # 使用 K-means 聚类选择关键帧
        frame_features = np.array([cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY).flatten() for frame in shot_frames])
        kmeans = KMeans(n_clusters=1, random_state=0).fit(frame_features)
        center_idx = np.argmin(np.sum((frame_features - kmeans.cluster_centers_[0])**2, axis=1))
        
        keyframes.append(shot_frames[center_idx])
    
    return keyframes

def save_keyframes(keyframes, output_dir):
    """
    保存关键帧到指定目录
    """
    if not os.path.exists(output_dir):
        os.makedirs(output_dir)
    
    for i, keyframe in enumerate(keyframes):
        output_path = os.path.join(output_dir, f'keyframe_{i:04d}.jpg')
        cv2.imwrite(output_path, keyframe)
    
    print(f"已保存 {len(keyframes)} 个关键帧到 {output_dir}")

def main(video_path, output_dir):
    frames = preprocess_video(video_path)
    shot_boundaries = detect_shot_boundaries(frames)
    keyframes = extract_keyframes(frames, shot_boundaries)
    save_keyframes(keyframes, output_dir)

if __name__ == "__main__":
    video_path = "video.mp4"
    output_dir = "keyframes_output"
    main(video_path, output_dir)

# M1/M2/M3 macOS
wget https://repo.anaconda.com/archive/Anaconda3-2024.06-1-MacOSX-arm64.sh
# Intel macOS
wget https://repo.anaconda.com/archive/Anaconda3-2024.02-1-MacOSX-x86_64.sh

# Windows
wget https://repo.anaconda.com/archive/Anaconda3-2024.06-1-Windows-x86_64.exe

# Linux
wget https://repo.anaconda.com/archive/Anaconda3-2024.06-1-Linux-x86_64.sh

# 先进行 conda 的安装
Anaconda3-2024.06-1-（你的安装文件名称）.sh 

channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  - defaults
show_channel_urls: true

# 创建一个名为 video-kf 的 Python 3.10 环境
conda create -n video-kf python=3.10 -y
# 激活这个新环境
conda activate video-kf
# 创建一个工作目录
mkdir video-keyframes
# 切换工作目录
cd video-keyframes

pip install opencv-python scikit-learn

python index.py

ffmpeg -i video.mp4 -vf "scale=320:-1" mini.mp4

# ffmpeg -i video.mp4 -vf "scale=320:-1" mini.mp4                    
ffmpeg version 7.0.2 Copyright (c) 2000-2024 the FFmpeg developers
  built with Apple clang version 15.0.0 (clang-1500.3.9.4)
  configuration: --prefix=/opt/homebrew/Cellar/ffmpeg/7.0.2 --enable-shared --enable-pthreads --enable-version3 --cc=clang --host-cflags= --host-ldflags='-Wl,-ld_classic' --enable-ffplay --enable-gnutls --enable-gpl --enable-libaom --enable-libaribb24 --enable-libbluray --enable-libdav1d --enable-libharfbuzz --enable-libjxl --enable-libmp3lame --enable-libopus --enable-librav1e --enable-librist --enable-librubberband --enable-libsnappy --enable-libsrt --enable-libssh --enable-libsvtav1 --enable-libtesseract --enable-libtheora --enable-libvidstab --enable-libvmaf --enable-libvorbis --enable-libvpx --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libxvid --enable-lzma --enable-libfontconfig --enable-libfreetype --enable-frei0r --enable-libass --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenjpeg --enable-libspeex --enable-libsoxr --enable-libzmq --enable-libzimg --disable-libjack --disable-indev=jack --enable-videotoolbox --enable-audiotoolbox --enable-neon
  libavutil      59.  8.100 / 59.  8.100
  libavcodec     61.  3.100 / 61.  3.100
  libavformat    61.  1.100 / 61.  1.100
  libavdevice    61.  1.100 / 61.  1.100
  libavfilter    10.  1.100 / 10.  1.100
  libswscale      8.  1.100 /  8.  1.100
  libswresample   5.  1.100 /  5.  1.100
  libpostproc    58.  1.100 / 58.  1.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'video.mp4':
  Metadata:
    major_brand     : isom
    minor_version   : 512
    compatible_brands: isomiso2avc1mp41
    encoder         : Lavf59.30.100
    description     : Packed by Bilibili XCoder v2.0.2
  Duration: 00:32:40.49, start: 0.000000, bitrate: 472 kb/s
  Stream #0:0[0x1](und): Video: h264 (High) (avc1 / 0x31637661), yuv420p(tv, bt709, progressive), 852x480, 328 kb/s, 25 fps, 25 tbr, 16k tbn (default)
      Metadata:
        handler_name    : Bento4 Video Handler
        vendor_id       : [0][0][0][0]
  Stream #0:1[0x2](und): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, stereo, fltp, 138 kb/s (default)
      Metadata:
        handler_name    : Bento4 Sound Handler
        vendor_id       : [0][0][0][0]
Stream mapping:
  Stream #0:0 -> #0:0 (h264 (native) -> h264 (libx264))
  Stream #0:1 -> #0:1 (aac (native) -> aac (native))
...
[aac @ 0x13e658560] Qavg: 755.252

du -hs *.mp4       
 62M	mini.mp4
110M	video.mp4

if __name__ == "__main__":
    import time
    start_time = time.time()
    video_path = "mini.mp4"
    output_dir = "keyframes_output"
    main(video_path, output_dir)
    end_time = time.time()
    execution_time = end_time - start_time
    print(f"代码执行时间: {execution_time:.4f} 秒")

# python index.py
已保存 819 个关键帧到 keyframes_output
代码执行时间: 27.2882 秒

import cv2
import numpy as np
from sklearn.cluster import KMeans
import os

def preprocess_video(video_path):
    """
    预处理视频,提取所有帧
    """
    cap = cv2.VideoCapture(video_path)
    frames = []
    while cap.isOpened():
        ret, frame = cap.read()
        if not ret:
            break
        frames.append(frame)
    cap.release()
    return frames

def detect_shot_boundaries(frames, threshold=30):
    """
    使用帧差法检测镜头边界
    """
    shot_boundaries = []
    for i in range(1, len(frames)):
        prev_frame = cv2.cvtColor(frames[i-1], cv2.COLOR_BGR2GRAY)
        curr_frame = cv2.cvtColor(frames[i], cv2.COLOR_BGR2GRAY)
        diff = np.mean(np.abs(curr_frame.astype(int) - prev_frame.astype(int)))
        if diff > threshold:
            shot_boundaries.append(i)
    return shot_boundaries

def extract_keyframes(frames, shot_boundaries):
    """
    从每个镜头中提取关键帧，返回关键帧及其对应的原始帧序号
    """
    keyframes = []
    keyframe_indices = []
    for i in range(len(shot_boundaries)):
        start = shot_boundaries[i-1] if i > 0 else 0
        end = shot_boundaries[i]
        shot_frames = frames[start:end]
        
        # 使用 K-means 聚类选择关键帧
        frame_features = np.array([cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY).flatten() for frame in shot_frames])
        kmeans = KMeans(n_clusters=1, random_state=0).fit(frame_features)
        center_idx = np.argmin(np.sum((frame_features - kmeans.cluster_centers_[0])**2, axis=1))
        
        keyframes.append(shot_frames[center_idx])
        keyframe_indices.append(start + center_idx)  # 原始帧序号
    
    return keyframes, keyframe_indices

def save_keyframes(keyframes, keyframe_indices, output_dir):
    """
    保存关键帧到指定目录，使用原始帧序号命名
    """
    if not os.path.exists(output_dir):
        os.makedirs(output_dir)
    
    for keyframe, index in zip(keyframes, keyframe_indices):
        output_path = os.path.join(output_dir, f'keyframe_{index:06d}.jpg')
        cv2.imwrite(output_path, keyframe)
    
    print(f"已保存 {len(keyframes)} 个关键帧到 {output_dir}")

def main(video_path, output_dir):
    frames = preprocess_video(video_path)
    shot_boundaries = detect_shot_boundaries(frames)
    keyframes, keyframe_indices = extract_keyframes(frames, shot_boundaries)
    save_keyframes(keyframes, keyframe_indices, output_dir)

if __name__ == "__main__":
    video_path = "path_to_your_video.mp4"
    output_dir = "keyframes_output"
    main(video_path, output_dir)

import cv2
import os
import re

def extract_numbers(folder_path):
    # 获取文件夹中所有 jpg 文件
    files = os.listdir(folder_path)
    jpg_files = [f for f in files if f.endswith('.jpg')]
    numbers = []
    for file in jpg_files:
        match = re.search(r'(\d+)\.jpg$', file)
        if match:
            number = int(match.group(1))
            numbers.append(number)
    return sorted(numbers)

def extract_frames(video_path, frame_numbers, output_folder):
    # 创建输出文件夹（如果不存在）
    if not os.path.exists(output_folder):
        os.makedirs(output_folder)
    
    # 打开视频文件
    video = cv2.VideoCapture(video_path)
    
    # 获取视频的总帧数和帧率
    total_frames = int(video.get(cv2.CAP_PROP_FRAME_COUNT))
    fps = int(video.get(cv2.CAP_PROP_FPS))
    
    print(f"视频总帧数: {total_frames}")
    print(f"视频帧率: {fps}")
    
    for frame_number in frame_numbers:
        # 设置视频读取位置
        video.set(cv2.CAP_PROP_POS_FRAMES, frame_number)
        
        # 读取帧
        ret, frame = video.read()
        
        if ret:
            # 保存帧为图像文件
            output_path = os.path.join(output_folder, f"extracted_frame_{frame_number}.jpg")
            cv2.imwrite(output_path, frame)
            print(f"已提取并保存帧 {frame_number}")
        else:
            print(f"无法读取帧 {frame_number}")
    
    # 释放视频对象
    video.release()

# 使用示例
video_path = 'video.mp4'  # 替换为实际的视频文件路径
keyframes_folder = 'keyframes_output'  # 替换为之前保存关键帧的文件夹路径
output_folder = 'extracted_frames'  # 指定输出文件夹

# 获取需要提取的帧号
frame_numbers = extract_numbers(keyframes_folder)

# 提取指定帧
extract_frames(video_path, frame_numbers, output_folder)

print("帧提取完成！")

视频总帧数: 49008
视频帧率: 25
...
已提取并保存帧 46969
已提取并保存帧 46995
已提取并保存帧 47128
已提取并保存帧 47199
已提取并保存帧 47278
已提取并保存帧 47342
已提取并保存帧 47446
帧提取完成！

你是资深新闻记者，擅长分析视频画面信息，给出客观的评价信息。

这个视频画面的背景是“新华社采访国产游戏《黑神话：悟空》制作人”的采访内容。忽略画面中的“新华社 Bilibili” 水印信息。

# Dify 可访问到的图片完整地址
https://minio.lab.io/wukong/extracted_frame_15921.jpg

import asyncio
import aiohttp
import os
import re
import ssl
ssl_context = ssl.create_default_context()
ssl_context.check_hostname = False
ssl_context.verify_mode = ssl.CERT_NONE

output_folder="data"
api_key="app-KBux9ydPPVouHGLssndoinqg" # dify api key

async def request_image(session, api_key, frame_number):
    url = 'https://dify.lab.io/v1/chat-messages'
    headers = {
        'Authorization': f"Bearer {api_key}",
        'Content-Type': 'application/json',
    }

    # Dify 能够直接访问到的地址
    image_url = f"http://minio.lab.io/wukong/extracted_frame_{frame_number}.jpg"
    
    payload = {
        "inputs": {},
        "query": "你是资深新闻记者，擅长分析视频画面信息，给出客观的评价信息。\n\n这个视频画面的背景是“新华社采访国产游戏《黑神话：悟空》制作人”的采访内容。忽略画面中的“新华社 Bilibili” 水印信息。",
        "response_mode": "blocking",
        "user": "qwen2-vl",
        "files": [
            {
                "type": "image",
                "transfer_method": "remote_url",
                "url": image_url
            }
        ]
    }
    
    async with session.post(url, headers=headers, json=payload, ssl=ssl_context) as response:
        if response.status == 200:
            response_data = await response.json()
            content = response_data.get('answer', '')
            
            with open(f"{output_folder}/{frame_number}.txt", "w") as f:
                f.write(content)
            
            print(f"Content saved to {frame_number}.txt")
        else:
            print(f"Error for frame {frame_number}: {response.status}, {response.reason}")
            print(await response.text())

def extract_numbers(folder_path):
    # 获取文件夹中所有 jpg 文件
    files = os.listdir(folder_path)
    jpg_files = [f for f in files if f.endswith('.jpg')]
    numbers = []
    for file in jpg_files:
        match = re.search(r'(\d+)\.jpg$', file)
        if match:
            number = int(match.group(1))
            numbers.append(number)
    return sorted(numbers)


async def main():
    frame_numbers = extract_numbers('extracted_frames')
    print(frame_numbers)


    async with aiohttp.ClientSession() as session:
        semaphore = asyncio.Semaphore(2)  # 设置为合适的并发
        tasks = []

        async def bounded_request(frame_number):
            async with semaphore:
                await request_image(session, api_key, frame_number)

        for frame_number in frame_numbers:
            task = asyncio.create_task(bounded_request(frame_number))
            tasks.append(task)

        await asyncio.gather(*tasks)

if __name__ == "__main__":
    asyncio.run(main())

pip install aiohttp

你是资深新闻记者，擅长分析采访镜头内容，给出客观的评价信息。下面视频的背景是“新华社采访国产游戏《黑神话：悟空》制作人”的采访内容。结合下面的视频分析信息，进行完整的视频报告编写分析，风格要既活泼又热血。

《黑神话：悟空》制作团队独家采访大揭秘!

各位游戏迷们,独家大采访来啦!这次我们深入《黑神话：悟空》的制作腹地,为大家带来了一场精彩绝伦的幕后探秘之旅!

画面一开始,我们就看到了制作人团队忙碌的身影。他们或是埋首电脑前敲敲打打,或是围在一起热烈讨论,整个工作室洋溢着紧张而又充满创意的氛围。这哪里是普通的工作室,简直就是一个孕育着中国游戏未来的梦想工厂!

镜头一转,我们看到了制作人冯骥正在接受采访。他穿着一件深色的Polo衫,戴着眼镜,神情专注而又平和。当被问及游戏制作的历程时,冯骥侃侃而谈,眼中闪烁着热情的光芒。"完成比完美重要",这句话道出了团队的核心理念,也让我们看到了他们对于游戏品质的执着追求。

采访中,我们还看到了许多令人惊叹的游戏画面。无论是气势磅礴的战斗场景,还是细腻入微的人物表情,都彰显着《黑神话：悟空》团队超凡的技术实力。特别是那个13分钟的实机演示视频,竟然在网上获得了惊人的5549.9万观看量!这不仅仅是一个数字,更是广大玩家对国产游戏的热切期待和信心!

整个采访过程中,我们能感受到制作团队对游戏的热爱和执着。他们不仅在技术上精益求精,更在文化传承上下足了功夫。从孙悟空的形象设计,到中国传统文化元素的融入,每一处细节都彰显着他们的用心。

最让人振奋的是,制作团队对中国游戏市场充满信心。"中国的单机市场一定会存在",这句话不仅是对现状的判断,更是对未来的美好期许。

伙伴们,通过这次采访,我们看到的不仅仅是一款游戏的诞生过程,更是中国游戏产业崛起的缩影。《黑神话：悟空》的每一帧画面,每一个细节,都凝聚着制作团队的心血和中国游戏人的梦想。

让我们一起期待《黑神话：悟空》的正式发布吧!相信这款游戏不仅会成为国产游戏的里程碑,更会让全世界看到中国游戏制作者的实力!中国游戏,正在崛起!我们,正在见证历史!

视频中，制作人的金句有哪些？将原话一一列举并分析为什么说的好，尽量结合画面场景信息一并解读。

当然,让我们一起来回顾制作人冯骥在采访中的一些金句,这些话不仅振奋人心,更是充满了智慧和洞见。

1. "完成比完美重要"

这句话道出了游戏开发的一个核心真理。在追求完美的过程中,很容易陷入无休止的修改和优化,导致项目无法如期完成。冯骥的这句话体现了他作为项目负责人的务实态度和清晰思路。它告诉我们,有时候勇于交付成果,然后在实践中不断改进,比一味追求理论上的完美更有价值。这种思维方式不仅适用于游戏开发,也适用于其他许多领域。

2. "中国的单机市场一定会存在"

这句话展现了冯骥对中国游戏市场的信心和远见。在移动游戏和网络游戏盛行的当下,坚持做高质量的单机游戏需要极大的勇气和毅力。冯骥的这个判断不仅是对现状的分析,更是对未来的展望。它激励着更多的中国开发者投身于优质单机游戏的创作,为中国玩家提供更多优秀的游戏体验。

3. "我们会看到中国制作精良的电影"

虽然这句话是在谈论电影,但它体现了冯骥对中国文化创意产业整体发展的乐观态度。他将游戏与电影等其他文化产品联系在一起,显示出他对整个行业的宏观思考。这种跨界的思维方式,有助于推动游戏与其他文化形式的融合与创新。

4. "是在相对合适的时机"

这句话体现了冯骥对时机把握的精准判断。在游戏开发中,选择合适的时机发布消息或作品至关重要。它不仅能最大化市场反响,也能为团队赢得宝贵的开发时间。冯骥的这个观点显示出他作为项目负责人的战略眼光和决策能力。

5. "正在悄然发生变化"

冯骥用这句话描述了中国游戏市场的动态。它体现了他对行业趋势的敏锐洞察。认识到变化并适应变化,是保持竞争力的关键。这种洞察力不仅有助于《黑神话：悟空》的开发,也为整个中国游戏行业指明了方向。

这些金句不仅展现了冯骥作为游戏制作人的专业素养,也体现了他对行业、对文化、对未来的深度思考。他的每一句话都蕴含着丰富的内涵,为我们理解《黑神话：悟空》的开发理念以及中国游戏产业的未来发展提供了宝贵的洞见。这样的制作人,不仅是一个优秀的项目管理者,更是推动中国游戏产业前进的思想者和践行者。

视频中，制作人的金句有哪些？将原话一一列举并分析为什么说的好，尽量结合画面场景信息一并解读。

在这段精彩的采访中，《黑神话：悟空》制作人确实说出了许多令人印象深刻的金句。让我们一起来回顾和解读这些振奋人心的话语：

1. "完成比完美重要"

这句话是在一个轻松自然的室内环境中说出的。制作人穿着休闲，坐在沙发上，表情自然而坚定。这句话体现了团队的务实态度和高效理念。在游戏开发这样复杂的项目中，追求绝对的完美可能会导致项目无限期延迟。相反，先完成一个高质量的成品，然后不断迭代优化，才是更明智的选择。这种思路不仅能确保游戏按时推出，也为后续改进留下了空间。

2. "我们会看到中国制作精良的电影"

这句话是在一个明亮的室内环境中说出的，背景有绿色植物，给人一种充满希望的感觉。虽然制作人在谈论电影，但这其实是在用类比的方式讨论游戏行业。他暗示了中国游戏产业的未来，表达了对国产精品游戏崛起的信心。这种跨行业的思考展现了制作人宏观的视野和对文化产业整体发展的洞察。

3. "中国的单机市场一定会存在"

制作人说这句话时，坐姿放松但眼神坚定，背景是一个舒适的办公环境。这句话显示了他对中国游戏市场的深刻理解和坚定信心。在手游盛行的中国市场，坚持做高品质单机游戏需要极大的勇气和远见。这句话不仅是对《黑神话：悟空》项目的信心，更是对整个中国游戏产业发展方向的预测。

4. "正在悄然发生变化"

这句话配合着制作人的手势说出，给人一种变革正在进行的动感。它暗示了中国游戏产业正在经历质的飞跃，从模仿到创新，从数量到质量。这种变化可能并不轰轰烈烈，但却是实实在在的进步。

5. "既懂技术又懂美术的专家"

这句话是在介绍团队成员时说的，背景是繁忙的办公环境。它强调了游戏开发是一个需要多学科知识融合的领域。在《黑神话：悟空》的开发过程中，技术和艺术的完美结合是实现高品质的关键。这句话也体现了团队的专业性和全面性。

这些金句不仅展现了制作团队的专业素养和远见卓识，更传达出了他们对游戏事业的热爱和执着。通过这些话语，我们仿佛能看到《黑神话：悟空》的诞生过程，也能感受到中国游戏产业蓬勃发展的活力。这不仅是一次采访，更是一次对中国游戏未来的美好展望！