知识共享许可协议本作品采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可。本文仅作为个人学习记录使用，欢迎在许可协议范围内转载或使用，请尊重版权并且保留原文链接，谢谢您的理解合作。如果您觉得本站对您能有帮助，您可以使用RSS方式订阅本站，这样您将能在第一时间获取本站信息。

内存拷贝渲染视频

这里说的视频渲染是指通过 CVPixelBufferRef 获取 CGImageRef 对象在 UI 上进行渲染的过程。

大家都知道视频渲染是一个非常麻烦的过程，一般来说我们会通过将 CVPixelBufferRef 转换为 CIImage 再将 CIImage 对象转换为 CGImageRef 来完成视频的渲染，其中 CIImage 渲染到 CGImageRef 的过程将会需要到 CIContext 的 - render:toBitmap:rowBytes:bounds:format:colorSpace: 方法来实现，但是在实际使用过程中发现，在 iOS 9.0 系统上，使用这个方法渲染视频时会出现内存泄漏的问题（长时间调试发现似乎是系统的问题）于是花了很多时间来找寻如何绕过 CIContext 来进行视频渲染，最终找到了直接内存拷贝进行视频渲染的方法，也是最为快速的方法。

代码解析

下面我们来直接看代码吧

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
+ (CGImageRef)createImageWithPixelBuffer:(CVPixelBufferRef)pixelBuffer {
    CGImageRef image = NULL;
    size_t width = CVPixelBufferGetWidth(pixelBuffer);
    size_t height = CVPixelBufferGetHeight(pixelBuffer);
    size_t bytePerRow = CVPixelBufferGetBytesPerRow(pixelBuffer);
    size_t bitPerCompoment = 8;
    size_t bitPerPixel = 4 * bitPerCompoment;
    size_t length = CVPixelBufferGetDataSize(pixelBuffer);
    CGBitmapInfo bitmapInfo = kCGBitmapByteOrderDefault;
    CVPixelBufferLockBaseAddress(pixelBuffer, 0);
    void *baseAddress = CVPixelBufferGetBaseAddress(pixelBuffer);
    unsigned char *imageData = (unsigned char *)malloc(length);
    memcpy(imageData, baseAddress, length);
    CVPixelBufferUnlockBaseAddress(pixelBuffer, 0);
    [self.class convertBGRAtoRGBA:imageData withSize:length];
    CFDataRef data = CFDataCreate(NULL, imageData, length);
    free(imageData);
    CGDataProviderRef provider = CGDataProviderCreateWithCFData(data);
    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
    image = CGImageCreate(width, height, bitPerCompoment, bitPerPixel, bytePerRow, colorSpace, bitmapInfo, provider, NULL, NULL, kCGRenderingIntentDefault);
    CFRelease(data);
    CGColorSpaceRelease(colorSpace);
    CGDataProviderRelease(provider);
    return image;
}

不管是视频还是图片，每一帧的画面都是通过一个 RGBA 或是 BGRA 的位图来存储的，所以，实现 CVPixelBufferRef 到 CGImageRef 的转换，也就是需要把他们所对应的内存里面保存的位图数据进行拷贝，来实现图像的渲染。

上面代码分为下面部分：

  • 根据 PixelBuffer 中的信息，以及一些我们已知的信息，获取创建 CGImageRef 对象的必要参数
1
2
3
4
5
6
7
size_t width = CVPixelBufferGetWidth(pixelBuffer);
size_t height = CVPixelBufferGetHeight(pixelBuffer);
size_t bytePerRow = CVPixelBufferGetBytesPerRow(pixelBuffer);
size_t bitPerCompoment = 8;
size_t bitPerPixel = 4 * bitPerCompoment;
size_t length = CVPixelBufferGetDataSize(pixelBuffer);
CGBitmapInfo bitmapInfo = kCGBitmapByteOrderDefault;
  • 从 PixelBuffer 中拷贝位图数据，并将位图数据拷贝到一个 CFDataRef 对象中

注意：[self.class convertBGRAtoRGBA:imageData withSize:length]; 这个方法的目的只是将位图中的第一位和第三位进行位置交换，因为 PixelBuffer 中的图像是 BGRA 的，而 CGImage 中的图像是 RGBA 的。

1
2
3
4
5
6
7
CVPixelBufferLockBaseAddress(pixelBuffer, 0);
void *baseAddress = CVPixelBufferGetBaseAddress(pixelBuffer);
unsigned char *imageData = (unsigned char *)malloc(length);
memcpy(imageData, baseAddress, length);
CVPixelBufferUnlockBaseAddress(pixelBuffer, 0);
[self.class convertBGRAtoRGBA:imageData withSize:length];
CFDataRef data = CFDataCreate(NULL, imageData, length);
  • 通过 CFDataRef 创建 CGImageRef
1
2
3
4
5
6
7
CGDataProviderRef provider = CGDataProviderCreateWithCFData(data);
CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
image = CGImageCreate(width, height, bitPerCompoment, bitPerPixel, bytePerRow, colorSpace, bitmapInfo, provider, NULL, NULL, kCGRenderingIntentDefault);
CFRelease(data);
CGColorSpaceRelease(colorSpace);
CGDataProviderRelease(provider);
return image;

这样就实现了视频的渲染，获取到视频的图像就可以直接渲染到 UI 上了。

最后欢迎大家订阅我的微信公众号 Little Code

公众号

  • 公众号主要发一些开发相关的技术文章
  • 谈谈自己对技术的理解，经验
  • 也许会谈谈人生的感悟
  • 本人不是很高产，但是力求保证质量和原创