C++ OpenCV 视频处理

作者likuolei

我将为你详细介绍在 C++ 中使用 OpenCV 进行视频处理的相关内容，涵盖视频读取、写入、帧处理、实时分析等关键技术。内容基于 OpenCV 4.x，假设你已配置好开发环境。以下将提供核心概念、代码示例和优化建议，适合从基础到高级的应用。

1. 视频处理概述

OpenCV 的 video 和 highgui 模块提供了强大的视频处理功能，适用于视频文件、摄像头流或网络流。常见任务包括：

  • 视频读取与显示
  • 视频帧处理（如滤波、边缘检测）
  • 视频保存
  • 运动分析（如光流、背景建模）
  • 实时处理优化

2. 基本视频操作

2.1 读取和显示视频

使用 VideoCapture 读取视频文件或摄像头流，imshow 显示帧。

示例代码

从视频文件或摄像头读取并显示视频：

include

include

using namespace cv;
using namespace std;

int main() {
// 打开视频文件或摄像头（0 表示默认摄像头）
VideoCapture cap(“video.mp4”); // 替换为你的视频路径，或用 0 打开摄像头
if (!cap.isOpened()) {
cout << “无法打开视频！” << endl;
return -1;
}

// 获取视频属性
double fps = cap.get(CAP_PROP_FPS);
int width = static_cast<int>(cap.get(CAP_PROP_FRAME_WIDTH));
int height = static_cast<int>(cap.get(CAP_PROP_FRAME_HEIGHT));
cout << "帧率: " << fps << ", 分辨率: " << width << "x" << height << endl;

Mat frame;
while (true) {
    // 读取一帧
    cap >> frame; // 等价于 cap.read(frame)
    if (frame.empty()) {
        cout << "视频结束或读取失败！" << endl;
        break;
    }

    // 显示帧
    imshow("Video", frame);

    // 等待按键（按 ESC 退出）
    if (waitKey(1000 / fps) == 27) { // 按帧率控制等待时间
        break;
    }
}

// 释放资源
cap.release();
destroyAllWindows();
return 0;

}

说明
  • VideoCapture：支持视频文件（MP4、AVI 等）或摄像头（索引 0 表示默认摄像头）。
  • 帧率控制：waitKey(1000 / fps) 确保显示速度与视频帧率一致。
  • 属性获取：CAP_PROP_FPS、CAP_PROP_FRAME_WIDTH 等获取视频信息。

2.2 保存视频

使用 VideoWriter 将处理后的帧保存为视频文件。

示例代码

读取视频，应用灰度转换并保存：

include

include

using namespace cv;
using namespace std;

int main() {
VideoCapture cap(“video.mp4”);
if (!cap.isOpened()) {
cout << “无法打开视频！” << endl;
return -1;
}

// 获取视频属性
int width = static_cast<int>(cap.get(CAP_PROP_FRAME_WIDTH));
int height = static_cast<int>(cap.get(CAP_PROP_FRAME_HEIGHT));
double fps = cap.get(CAP_PROP_FPS);

// 初始化 VideoWriter
VideoWriter writer("output.mp4", VideoWriter::fourcc('M', 'P', '4', 'V'), fps, Size(width, height));
if (!writer.isOpened()) {
    cout << "无法创建视频文件！" << endl;
    return -1;
}

Mat frame, gray;
while (true) {
    cap >> frame;
    if (frame.empty()) break;

    // 转换为灰度
    cvtColor(frame, gray, COLOR_BGR2GRAY);
    cvtColor(gray, gray, COLOR_GRAY2BGR); // 转换为 BGR 以保存

    // 写入帧
    writer.write(gray);

    // 显示
    imshow("Gray Video", gray);
    if (waitKey(1000 / fps) == 27) break;
}

cap.release();
writer.release();
destroyAllWindows();
return 0;

}

说明
  • FourCC 编码：VideoWriter::fourcc 指定视频编码格式（如 MP4V、XVID）。
  • 尺寸匹配：保存视频的尺寸需与输入一致。
  • 格式兼容：确保系统支持指定编码器（如安装 FFmpeg）。

3. 高级视频处理

3.1 背景建模与前景分割

背景建模用于分离运动对象，常用于监控或跟踪。OpenCV 提供 BackgroundSubtractor 类（如 MOG2、KNN）。

示例代码

使用 MOG2 分割前景：

include

include

include

using namespace cv;
using namespace std;

int main() {
VideoCapture cap(0); // 使用摄像头
if (!cap.isOpened()) {
cout << “无法打开摄像头！” << endl;
return -1;
}

// 初始化 MOG2 背景建模
Ptr<BackgroundSubtractor> bgSubtractor = createBackgroundSubtractorMOG2();

Mat frame, fgMask;
while (true) {
    cap >> frame;
    if (frame.empty()) break;

    // 更新背景模型并获取前景掩码
    bgSubtractor->apply(frame, fgMask);

    // 形态学操作优化掩码
    Mat kernel = getStructuringElement(MORPH_ELLIPSE, Size(5, 5));
    morphologyEx(fgMask, fgMask, MORPH_OPEN, kernel);

    // 显示前景
    imshow("Foreground", fgMask);
    imshow("Original", frame);

    if (waitKey(30) == 27) break; // 按 ESC 退出
}

cap.release();
destroyAllWindows();
return 0;

}

说明
  • MOG2：基于高斯混合模型，适合动态背景。
  • 形态学处理：morphologyEx 去除噪声，提高掩码质量。
  • 用途：运动检测、监控。

3.2 光流跟踪

光流用于分析帧间像素运动，常用 Lucas-Kanade 方法。

示例代码

使用稠密光流（Farneback 方法）可视化运动：

include

include

include

using namespace cv;
using namespace std;

// 光流可视化函数
Mat flowToColor(const Mat& flow) {
Mat hsv(flow.size(), CV_8UC3), bgr;
vector flowPlanes;
split(flow, flowPlanes);
Mat magnitude, angle;
cartToPolar(flowPlanes[0], flowPlanes[1], magnitude, angle);
hsv.setTo(Scalar(0, 255, 255));
hsv[:, :, 0] = angle * 180 / CV_PI / 2;
normalize(magnitude, magnitude, 0, 255, NORM_MINMAX);
hsv[:, :, 2] = magnitude;
cvtColor(hsv, bgr, COLOR_HSV2BGR);
return bgr;
}

int main() {
VideoCapture cap(0);
if (!cap.isOpened()) {
cout << “无法打开摄像头！” << endl;
return -1;
}

Mat prevFrame, prevGray, currFrame, currGray, flow;
cap >> prevFrame;
cvtColor(prevFrame, prevGray, COLOR_BGR2GRAY);

while (true) {
    cap >> currFrame;
    if (currFrame.empty()) break;
    cvtColor(currFrame, currGray, COLOR_BGR2GRAY);

    // 计算稠密光流
    calcOpticalFlowFarneback(prevGray, currGray, flow, 0.5, 3, 15, 3, 5, 1.2, 0);

    // 可视化光流
    Mat flowVis = flowToColor(flow);

    // 显示
    imshow("Original", currFrame);
    imshow("Optical Flow", flowVis);

    // 更新帧
    prevGray = currGray.clone();

    if (waitKey(30) == 27) break;
}

cap.release();
destroyAllWindows();
return 0;

}

说明
  • Farneback 光流：计算稠密光流，适合全局运动分析。
  • 可视化：将光流向量转换为 HSV 颜色空间，方向用色调表示，幅度用亮度表示。
  • 用途：运动跟踪、行为分析。

4. 优化技巧

  • 性能优化：
  • 降低分辨率：在实时处理前缩放帧（如 resize）。
  • 并行处理：使用 OpenCV 的 parallel_for_ 或多线程。
  • 跳帧：处理每隔几帧以减少计算量。
  • 内存管理：
  • 显式释放 Mat 和 VideoCapture/VideoWriter。
  • 避免在循环中创建大型临时对象。
  • 参数调优：
  • 调整 waitKey 时间以匹配帧率。
  • 优化背景建模参数（如 MOG2 的学习率）。
  • 硬件加速：使用 OpenCV 的 CUDA 或 OpenCL 模块（需编译支持）。

5. 注意事项

  • 视频格式：确保系统支持视频编码器（如 FFmpeg 或 GStreamer）。
  • 实时性：摄像头处理需注意延迟，降低分辨率或简化算法。
  • 错误处理：检查 VideoCapture 和 VideoWriter 是否成功打开。
  • 平台兼容性：不同操作系统可能需要特定编码器支持。

6. 进阶学习建议

  • 目标跟踪：使用 OpenCV 的跟踪器（如 TrackerKCF、TrackerCSRT）。
  • 深度学习：结合 dnn 模块进行视频中的对象检测（如 YOLO）。
  • 多摄像头：使用多个 VideoCapture 实例处理多路视频。
  • 参考文档：查阅 https://docs.opencv.org/4.x/d8/dfe/classcv_1_1VideoCapture.html 和 https://docs.opencv.org/4.x/d7/d9e/classcv_1_1VideoWriter.html。

如果你需要针对特定任务（如目标跟踪、视频稳定化）或更复杂的实现（如深度学习视频分析），请告诉我，我可以提供更详细的代码和指导！

类似文章

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注