毕设日志（一） RV1106的RK_MPI视频流与AI推理链路分析

路径名称	数据流向	核心功能
推流路径	VI Chn0 → VENC → RTSP	负责视频采集、硬件 H.264 编码及网络传输
推理路径	VI Chn1 → CPU/NPU → RGN	负责获取原始帧、图像预处理、AI 推理及结果绘制

2. VI 模块初始化与格式选择#

程序初始化了两个 VI 通道，分别进行推流与AI推理。

1
  // vi init
2
  vi_dev_init();
3
  vi_chn_init(0, width, height);
4
  vi_chn_init(1, width, height);

2.1 通道分配#

通道 0：负责推流，直接绑定至编码器。
通道 1：负责 AI 推理，供用户态程序主动获取帧数据。

2.2 像素格式与配置#

两个通道均设置为 RK_FMT_YUV420SP（即 NV12 格式）。采用 VI_V4L2_MEMORY_TYPE_DMABUF 以减少内存拷贝开销。

1
int vi_chn_init(int channelId, int width, int height) {
2
  int ret;
3
  int buf_cnt = 4;
4
  // VI init
5
  VI_CHN_ATTR_S vi_chn_attr;
6
  memset(&vi_chn_attr, 0, sizeof(vi_chn_attr));
7
  vi_chn_attr.stIspOpt.u32BufCount = buf_cnt;
8
  vi_chn_attr.stIspOpt.enMemoryType = VI_V4L2_MEMORY_TYPE_DMABUF;
9
  vi_chn_attr.stSize.u32Width = width;
10
  vi_chn_attr.stSize.u32Height = height;
11
  vi_chn_attr.enPixelFormat = RK_FMT_YUV420SP;
12
  vi_chn_attr.enCompressMode = COMPRESS_MODE_NONE;
13
  vi_chn_attr.u32Depth = 2;
14
  ret = RK_MPI_VI_SetChnAttr(0, channelId, &vi_chn_attr);
15
  ret |= RK_MPI_VI_EnableChn(0, channelId);
16
  if (ret) {
17
    printf("ERROR: create VI error! ret=%d\n", ret);
18
    return ret;
19
  }
20
  return ret;
21
}

3. 推流通路 (VI Chn0 → VENC → RTSP)#

推流路径实现了纯硬件链路，数据在底层驱动中通过 SYS_Bind 自动流转。

3.1 硬件绑定逻辑#

通过 RK_MPI_SYS_Bind 将 VI 模块与 VENC 模块在内核层关联，避免了将原始 YUV 数据频繁拷贝到用户空间。

1
// bind vi to venc
2
stSrcChn.enModId = RK_ID_VI;
3
stSrcChn.s32DevId = 0;
4
stSrcChn.s32ChnId = 0;
5

6
stvencChn.enModId = RK_ID_VENC;
7
stvencChn.s32DevId = 0;
8
stvencChn.s32ChnId = 0;
9

10
s32Ret = RK_MPI_SYS_Bind(&stSrcChn, &stvencChn);

3.2 编码与传输#

硬件编码：VENC 接收到 NV12 数据，根据 RK_VIDEO_ID_AVC 配置进行 H.264 硬件压缩。
流获取：GetMediaBuffer 线程通过 RK_MPI_VENC_GetStream(0, &stFrame, -1) 阻塞式获取码流。
推流：调用 rtsp_tx_video 将 H.264 数据包发送至客户端。

4. AI 推理路径 (VI Chn1 → NPU)#

推理路径涉及用户态的图像处理与 NPU 调度。

4.1 图像获取与预处理#

获取数据：RetinaProcessBuffer 线程通过 RK_MPI_VI_GetChnFrame 从通道 1 获取 NV12 帧。
格式转换：利用 opencv-mobile 将 NV12 转换为 BGR。
尺寸缩放：调用 cv::resize 将图像适配模型输入的 $640 \times 640$ 尺寸。

4.2 NPU 任务调度#

inference_retinaface_model 函数执行同步推理：CPU 调用后进入等待状态，直到 NPU 硬件完成计算并返回 od_results 结果。

5. OSD 叠加机制#

OSD（On-Screen Display）并未修改原始图像内存，而是通过 RGN（Region）模块 实现。

原理：AI 推理得到的坐标结果被转化为 RGN 画布操作。
硬件合成：RGN 模块将线框作为叠加层，在进入 VENC 编码前由硬件自动合入视频帧。这保证了 RTSP 流中自带检测框。

6. 模块同步机制#

监控对象	实现机制	关键函数/参数
VENC 编码完成	阻塞等待 (Blocking)	`RK_MPI_VENC_GetStream` 的 `s32MilliSec` 参数设为 `-1`
NPU 推理完成	同步调用 (Synchronous)	`inference_retinaface_model` 直至计算结束才返回
VI 数据就绪	循环轮询/阻塞	在推理线程中主动请求帧数据 `RK_MPI_VI_GetChnFrame`