Android中如何提取和生成mp4文件
随着Android 4.4及以上版本的逐渐普及,Android 4.1引入的MediaExtractor类,以及Android 4.3引入的MediaMuxer类,终于可以开始正式地“发光发热”了。
成都创新互联主要从事网站设计、成都网站制作、网页设计、企业做网站、公司建网站等业务。立足成都服务永和,十余年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:13518219792
MediaMuxer类主要用于将音频和视频数据进行混合生成多媒体文件(如:mp4文件),而MediaExtractor则刚好相反,主要用于多媒体文件的音视频数据的分离。
本文将介绍如何利用Android SDK提供的MediaExtractor和MediaMuxer类来完成mp4文件的提取和生成,指出开发过程中会遇到的坑,并给出简单的Demo示例代码。
Demo的目标:提取input.mp4文件中的视频数据,生成除去音频数据之后的纯视频output.mp4文件。代码可以在本博文最后的附件中下载,也可以到我的Github中下载:
https://github.com/Jhuster/Android/tree/master/MediaDemo
由于Android SDK关于这两个类的介绍真是少之又少,因此,在给出demo之前,我们先简单地了解一下这两个类吧。
1. MediaExtractor
该类主要用于音视频混合数据的分离,接口比较简单,首先要通过setDataSource(String path)函数设置数据源,数据源可以是本地文件地址,也可以使用HTTP协议的网络码流地址。
然后,可以通过下面的代码块,来获取码流的详细信息,如:MimeType,分辨率、编码格式、码率、帧率等等。
int videoTrackIndex = -1; int audioTrackIndex = -1; for(int i = 0; i < mMediaExtractor.getTrackCount(); i++) { //获取码流的详细格式/配置信息 MediaFormat format = mMediaExtractor.getTrackFormat(i); String mime = format.getString(MediaFormat.KEY_MIME); if(mime.startsWith("video/")) { videoTrackIndex = i; } else if(mime.startsWith("audio/")) { audioTrackIndex = i; } .... }
获取到媒体文件的详细信息之后,就可以选择指定的通道,并分离和读取数据了:
mMediaExtractor.selectTrack(videoTrackIndex); //选择读取视频数据 while(true) { int sampleSize = mMediaExtractor.readSampleData(buffer, 0); //读取一帧数据 if(sampleSize < 0) { break; } mMediaExtractor.advance(); //移动到下一帧 } mMediaExtractor.release(); //读取结束后,要记得释放资源
2. MediaMuxer
该类主要用于将音频和视频进行混合生成多媒体文件,创建该类对象,需要传入输出的文件位置以及格式,构造函数如下:
public MediaMuxer(String path, int format);
创建对象之后,一个比较重要的操作就是addTrack(),添加数据通道,该函数需要传入MediaFormat对象,MediaFormat即媒体格式类,用于描述媒体的格式参数,如视频帧率、音频采样率等。
在本示例中,可以直接使用MediaExtractor.getTrackFormat()解析得到的MediaFormat对象,如果你希望自己来创建这个MediaFormat对象的话,可以使用该类的如下静态方法创建:
MediaFormat format = MediaFormat.createVideoFormat("video/avc",320,240);
注意,这里有一个比较大的坑,就是,如果手动创建MediaFormat对象的话,一定要记得设置"csd-0"和"csd-1"这两个参数:
byte[] csd0 = {x,x,x,x,x,x,x...} byte[] csd1 = {x,x,x,x,x,x,x...} format.setByteBuffer("csd-0",ByteBuffer.wrap(csd0)); format.setByteBuffer("csd-1",ByteBuffer.wrap(csd1));
至于"csd-0"和"csd-1"是什么,对于H264视频的话,它对应的是sps和pps,对于AAC音频的话,对应的是ADTS,做音视频开发的人应该都知道,它一般存在于编码器生成的IDR帧之中。
通过 addTrack() 添加了数据通道之后,记录下函数返回的 trackIndex,然后就可以调用 MediaMuxer.writeSampleData() 愉快地向mp4文件中写入数据了。
这里会产生第二个坑,就是writeSampleData函数的最后一个参数是一个BufferInfo对象,你必须认真地填入“正确”的值:
BufferInfo info = new BufferInfo(); info.offset = 0; info.size = sampleSize; info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME; info.presentationTimeUs = timestamp;
其中,
info.size 必须填入数据的大小
info.flags 需要给出是否为同步帧/关键帧
info.presentationTimeUs 必须给出正确的时间戳,注意单位是 us,例如,对于帧率为 x f/s 的视频而言,时间戳的间隔就是 1000/x ms
跳过了这些坑,你就可以顺利地完成mp4文件的写入了,同样,完成后记得关闭以及释放资源:
mMediaMuxer.stop(); mMediaMuxer.release();
3. 小结
有了上面的简单介绍和铺垫,demo代码就不难看懂了。运行demo代码的注意事项:
(1)Android 4.3以及以上系统的手机
(2)把 input.mp4文件拷贝到sdcard
代码最核心的部分如下所示:
protected boolean process() throws IOException { mMediaExtractor = new MediaExtractor(); mMediaExtractor.setDataSource(SDCARD_PATH+"/input.mp4"); int mVideoTrackIndex = -1; int framerate = 0; for(int i = 0; i < mMediaExtractor.getTrackCount(); i++) { MediaFormat format = mMediaExtractor.getTrackFormat(i); String mime = format.getString(MediaFormat.KEY_MIME); if(!mime.startsWith("video/")) { continue; } framerate = format.getInteger(MediaFormat.KEY_FRAME_RATE); mMediaExtractor.selectTrack(i); mMediaMuxer = new MediaMuxer(SDCARD_PATH+"/ouput.mp4", OutputFormat.MUXER_OUTPUT_MPEG_4); mVideoTrackIndex = mMediaMuxer.addTrack(format); mMediaMuxer.start(); } if(mMediaMuxer == null) { return false; } BufferInfo info = new BufferInfo(); info.presentationTimeUs = 0; ByteBuffer buffer = ByteBuffer.allocate(500*1024); while(true) { int sampleSize = mMediaExtractor.readSampleData(buffer, 0); if(sampleSize < 0) { break; } mMediaExtractor.advance(); info.offset = 0; info.size = sampleSize; info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME; info.presentationTimeUs += 1000*1000/framerate; mMediaMuxer.writeSampleData(mVideoTrackIndex,buffer,info); } mMediaExtractor.release(); mMediaMuxer.stop(); mMediaMuxer.release(); return true; }
4. 小结
关于Android中如何提取和生成mp4文件就总结到这里了,有任何疑问或者建议欢迎留言或者来信lujun.hust@gmail.com交流,或者关注我的新浪微博 @卢_俊 获取最新的文章和资讯。
名称栏目:Android中如何提取和生成mp4文件
转载注明:http://pwwzsj.com/article/jsgijs.html