需求
利用 FFmepg 解析并解码音频流数据, 然后将解码后的音频数据送给 Audio Queue 以实现播放.
实现原理
利用 FFMPEG 解析音频数据流, 利用 FFMPEG 解码音频数据为 PCM 格式. 利用 Audio Queue Player 实现音频数据播放.
阅读前提
音视频基础
iOS FFMPEG 环境搭建 https://juejin.im/post/5ceff73df265da1bb13f16f4
FFMPEG 解析音视频数据 https://juejin.im/post/5cffac756fb9a07f08708d20
传输音频数据队列实现 https://juejin.im/post/5a91315c6fb9a063395c8944
Audio Queue 播放音频流 https://juejin.im/post/5d177338f265da1bc07e4efd
代码地址 : Audio Decoder
掘金地址 : Audio Decoder https://juejin.im/post/5d187cb5f265da1ba25274ce
简书地址 : Audio Decoder https://www.jianshu.com/p/452ee7c6559e
博客地址 :Audio Decoder
总体架构
本例以一个苹果原生相机录制的. MOV 文件为例, 将该文件使用 FFMPEG 解析并解码, 将解码后的数据放入传输队列中, 然后开启 audio queue player, 播放器在回调函数中轮循取出队列中的数据实现播放.
简易流程
FFMPEG parse 流程
- avformat_alloc_context
- avformat_open_input
- avformat_find_stream_info
- formatContext->streams[i]->codecpar->codec_type == (isVideoStream ? AVMEDIA_TYPE_VIDEO : AVMEDIA_TYPE_AUDIO)
- m_formatContext->streams[m_audioStreamIndex]
- av_read_frame
FFMPEG 解码流程
从 parse 中的 AVFormatContext 获取音频流对象 AVStream .
m_formatContext->streams[m_audioStreamIndex];
获取解码器上下文:
formatContext->streams[audioStreamIndex]->codec
获取解码器实例:
avcodec_find_decoder(codecContext->codec_id)
打开解码器: avcodec_open2
初始化音频帧:
AVFrame *av_frame_alloc(void);
将数据发给解码器:
int avcodec_send_packet(AVCodecContext *avctx, const AVPacket *avpkt)
获取解码后的数据:
int avcodec_receive_frame(AVCodecContext *avctx, AVFrame *frame);
创建转码器:
struct SwrContext *swr_alloc(void);
设置转码器参数: swr_alloc_set_opts
初始化转码器上下文:
int swr_init(struct SwrContext *s)
开始转码:
int swr_convert(struct SwrContext *s, uint8_t **out, int out_count,const uint8_t **in , int in_count);
获取转码后的 data 与 size.
文件结构
快速使用
设置音频格式 ASBD
- AudioStreamBasicDescription audioFormat = {
- .mSampleRate = 48000,
- .mFormatID = kAudioFormatLinearPCM,
- .mChannelsPerFrame = 2,
- .mFormatFlags = kLinearPCMFormatFlagIsSignedInteger | kLinearPCMFormatFlagIsPacked,
- .mBitsPerChannel = 16,
- .mBytesPerPacket = 4,
- .mBytesPerFrame = 4,
- .mFramesPerPacket = 1,
- };
配置播放器
[[XDXAudioQueuePlayer getInstance] configureAudioPlayerWithAudioFormat:&audioFormat bufferSize:kXDXBufferSize];
Parse 并解码音频文件数据
- - (void)startDecode {
- NSString *path = [[NSBundle mainBundle] pathForResource:@"test" ofType:@"MOV"];
- XDXAVParseHandler *parseHandler = [[XDXAVParseHandler alloc] initWithPath:path];
- XDXFFmpegAudioDecoder *decoder = [[XDXFFmpegAudioDecoder alloc] initWithFormatContext:[parseHandler getFormatContext] audioStreamIndex:[parseHandler getAudioStreamIndex]];
- decoder.delegate = self;
- [parseHandler startParseGetAVPackeWithCompletionHandler:^(BOOL isVideoFrame, BOOL isFinish, AVPacket packet) {
- if (isFinish) {
- [decoder stopDecoder];
- return;
- }
- if (!isVideoFrame) {
- [decoder startDecodeAudioDataWithAVPacket:packet];
- }
- }];
- }
获取解码后数据并播放
为了每次能够重新播放, 这里需要标记当前是否为解码的第一帧数据, 以重新启动播放器. 另一点是使用 NSTimer 等待音频数据放入队列再开始播放, 因为 audio queue 是驱动播放模式, 所以必须等音频数据放入传输队列再开始播放.
- #pragma mark - Decode Callback
- - (void)getDecodeAudioDataByFFmpeg:(void *)data size:(int)size isFirstFrame:(BOOL)isFirstFrame {
- if (isFirstFrame) {
- dispatch_async(dispatch_get_main_queue(), ^{
- // First put 3 frame audio data to work queue then start audio queue to read it to play.
- [NSTimer scheduledTimerWithTimeInterval:0.01 repeats:YES block:^(NSTimer * _Nonnull timer) {
- XDXCustomQueueProcess *audioBufferQueue = [XDXAudioQueuePlayer getInstance]->_audioBufferQueue;
- int size = audioBufferQueue->GetQueueSize(audioBufferQueue->m_work_queue);
- if (size> 3) {
- dispatch_async(dispatch_get_main_queue(), ^{
- [[XDXAudioQueuePlayer getInstance] startAudioPlayer];
- });
- [timer invalidate];
- }
- }];
- });
- }
- // Put audio data from audio file into audio data queue
- [self addBufferToWorkQueueWithAudioData:data size:size];
- // control rate
- usleep(16*1000);
- }
具体实现
1. 初始化解码器
从 Parse 模块中可以获取当前文件对应 FFmepg 的上下文对象 AVFormatContext . 因此音频流解码器信息可以直接获取.
获取音频流对象
AVStream *audioStream = m_formatContext->streams[m_audioStreamIndex];
获取解码器上下文对象
- - (AVCodecContext *)createAudioEncderWithFormatContext:(AVFormatContext *)formatContext stream:(AVStream *)stream audioStreamIndex:(int)audioStreamIndex {
- AVCodecContext *codecContext = formatContext->streams[audioStreamIndex]->codec;
- AVCodec *codec = avcodec_find_decoder(codecContext->codec_id);
- if (!codec) {
- log4cplus_error(kModuleName, "%s: Not find audio codec",__func__);
- return NULL;
- }
- if (avcodec_open2(codecContext, codec, NULL) <0) {
- log4cplus_error(kModuleName, "%s: Can't open audio codec",__func__);
- return NULL;
- }
- return codecContext;
- }
初始化音频帧
AVFrame 作为解码后原始的音视频数据的容器. AVFrame 通常被分配一次然后多次重复 (例如, 单个 AVFrame 以保持从解码器接收的帧). 在这种情况下, av_frame_unref() 将释放框架所持有的任何引用, 并在再次重用之前将其重置为其原始的清理状态.
- // Get audio frame
- m_audioFrame = av_frame_alloc();
- if (!m_audioFrame) {
- log4cplus_error(kModuleName, "%s: alloc audio frame failed",__func__);
- avcodec_close(m_audioCodecContext);
- }
2. 将原始数据发给解码器
调用 avcodec_send_packet 将压缩数据发送给解码器. 最后利用循环接收 avcodec_receive_frame 解码后的音视频数据.
- int result = avcodec_send_packet(audioCodecContext, &packet);
- if (result < 0) {
- log4cplus_error(kModuleName, "%s: Send audio data to decoder failed.",__func__);
- }
3. 接收解码后的数据.
result = avcodec_receive_frame(audioCodecContext, audioFrame);
4. 将解码后的数据转码为 iOS 设备可播放的类型
- result = avcodec_receive_frame(audioCodecContext, audioFrame);
- while (0 == result) {
- struct SwrContext *au_convert_ctx = swr_alloc();
- au_convert_ctx = swr_alloc_set_opts(au_convert_ctx,
- AV_CH_LAYOUT_STEREO,
- AV_SAMPLE_FMT_S16,
- 48000,
- audioCodecContext->channel_layout,
- audioCodecContext->sample_fmt,
- audioCodecContext->sample_rate,
- 0,
- NULL);
- swr_init(au_convert_ctx);
- int out_linesize;
- int out_buffer_size = av_samples_get_buffer_size(&out_linesize,
- audioCodecContext->channels,
- audioCodecContext->frame_size,
- audioCodecContext->sample_fmt,
- 1);
- uint8_t *out_buffer = (uint8_t *)av_malloc(out_buffer_size);
- // 解码
- swr_convert(au_convert_ctx, &out_buffer, out_linesize, (const uint8_t **)audioFrame->data , audioFrame->nb_samples);
- swr_free(&au_convert_ctx);
- au_convert_ctx = NULL;
- if ([self.delegate respondsToSelector:@selector(getDecodeAudioDataByFFmpeg:size:isFirstFrame:)]) {
- [self.delegate getDecodeAudioDataByFFmpeg:out_buffer size:out_linesize isFirstFrame:m_isFirstFrame];
- m_isFirstFrame=NO;
- }
- av_free(out_buffer);
- }
- if (result != 0) {
- log4cplus_error(kModuleName, "%s: Decode finish.",__func__);
- }
- `
来源: http://www.tuicool.com/articles/uAvq6bn