OpenCV 全景解析

一、什么是 OpenCV

OpenCV（Open Source Computer Vision Library）是一个开源、跨平台的计算机视觉与机器学习库。它由 Intel 于 1999 年发起，如今由非营利组织 OpenCV.org 维护，已经成为全球使用最广泛的视觉库——从学术研究到工业产线、从无人机到自动驾驶，几乎一切"让机器看见"的场景都有它的身影。

OpenCV 的设计哲学可以用三个词概括：

• 免费——BSD 开源协议，商用无需付费
• 快速——核心算法用 C/C++ 编写，底层大量 SIMD（SSE/AVX/NEON）和 GPU 加速
• 全面——2500+ 算法，从图像读写到深度学习推理一应俱全

二、OpenCV 能力矩阵

OpenCV 的能力覆盖了从底层像素操作到高层语义理解的完整链路，可归纳为六大能力域：

三、核心原理：图像即矩阵

OpenCV 的所有处理都建立在一个基本事实之上：一张图像就是一个数值矩阵。灰度图是二维矩阵，彩色图是三维矩阵（H × W × C）。

cv::Mat 是 OpenCV 的核心数据结构，它有几个关键属性：

• rows / cols：矩阵的行数和列数（即图像的高和宽）
• type：数据类型+通道数，如 CV_8UC1（8 位无符号单通道灰度）、CV_8UC3（8 位无符号三通道 BGR）
• data：指向像素数据的裸指针，按行优先存储
• 引用计数：Mat 之间赋值是浅拷贝（共享数据），写时才 copy

四、色彩空间与转换

不同色彩空间适合不同的任务。cv::cvtColor 是色彩空间转换的万能函数。

// 色彩空间转换示例
cv::Mat bgr = cv::imread("photo.jpg");      // 默认 BGR 三通道
cv::Mat gray, hsv, lab;
cv::cvtColor(bgr, gray, cv::COLOR_BGR2GRAY);    // BGR → 灰度
cv::cvtColor(bgr, hsv,  cv::COLOR_BGR2HSV);     // BGR → HSV
cv::cvtColor(bgr, lab,  cv::COLOR_BGR2Lab);     // BGR → CIE-LAB

五、图像滤波与卷积

卷积是图像处理最核心的操作：用一个小的卷积核（Kernel）在图像上滑动，每到一个位置，就把核覆盖区域与核做"逐元素乘法再求和"，得到输出像素值。

OpenCV 提供了多种现成滤波器，无需手动构造核：

六、边缘检测

边缘是图像中亮度变化最剧烈的地方，是物体轮廓的直接描述。Canny 边缘检测是最经典的边缘提取算法，它分四步完成：

七、形态学操作

形态学操作作用于二值图像（黑白图），用一个小结构元素（通常 3×3）在图像上扫描，对前景像素做膨胀或收缩。

八、特征检测与匹配

特征（Feature）是图像中"独特"的点——如果你在两张不同角度拍摄的同一场景照片中找对应关系，这些点最能被匹配上。

九、相机标定

真实相机镜头有制造误差，拍出的图像存在畸变（桶形/枕形）。标定就是通过拍棋盘格，算出相机内参矩阵和畸变系数，从而"把弯曲拉直"。

十、深度学习模块 DNN

OpenCV 从 3.3 版开始内置 dnn 模块，它不是训练框架，而是一个推理引擎——加载 PyTorch / TensorFlow / Caffe / ONNX 导出的模型，在 CPU / CUDA / OpenVINO 上高效推理。

十一、核心特性

十二、应用场景全景

十三、最简示例

13.1 C++ 版：读图 → 灰度化 → Canny → 显示

// main.cpp — 编译: g++ main.cpp -o main $(pkg-config --cflags --libs opencv4)
#include <opencv2/opencv.hpp>

int main() {
    // 1. 读取图像（默认 BGR 三通道）
    cv::Mat img = cv::imread("test.jpg");
    if (img.empty()) return -1;

    // 2. 转灰度
    cv::Mat gray;
    cv::cvtColor(img, gray, cv::COLOR_BGR2GRAY);

    // 3. 高斯模糊去噪
    cv::Mat blurred;
    cv::GaussianBlur(gray, blurred, cv::Size(5, 5), 1.5);

    // 4. Canny 边缘检测
    cv::Mat edges;
    cv::Canny(blurred, edges, 100, 200);

    // 5. 显示结果
    cv::imshow("原始", img);
    cv::imshow("边缘", edges);
    cv::waitKey(0);  // 按任意键关闭
    return 0;
}

13.2 Python 版：等价五行代码

# main.py — 运行: python main.py
import cv2 as cv

img   = cv.imread("test.jpg")          # 1. 读图
gray  = cv.cvtColor(img, cv.COLOR_BGR2GRAY)  # 2. 灰度
blur  = cv.GaussianBlur(gray, (5,5), 1.5)     # 3. 模糊
edges = cv.Canny(blur, 100, 200)          # 4. 边缘
cv.imshow("edge", edges); cv.waitKey(0)   # 5. 显示

13.3 进阶：YOLOv5 目标检测推理（DNN 模块）

import cv2 as cv
import numpy as np

# 1. 加载 ONNX 模型
net = cv.dnn.readNetFromONNX("yolov5s.onnx")
net.setPreferableBackend(cv.dnn.DNN_BACKEND_CUDA)
net.setPreferableTarget(cv.dnn.DNN_TARGET_CUDA)

# 2. 图像预处理 → blob（resize + 归一化 + 通道交换）
img = cv.imread("street.jpg")
blob = cv.dnn.blobFromImage(img, 1/255.0, (640,640), swapRB=True)

# 3. 前向推理
net.setInput(blob)
detections = net.forward()

# 4. 后处理（NMS + 画框，此处省略）
# detections → [x, y, w, h, conf, class_id] → 过滤 → 画框
cv.imshow("det", img); cv.waitKey(0)

十四、总结

— 全文完 —