码字辛苦!转载请注明出处!
0.前言
MediaCodec是安卓自带的视频编解码工具,由于使用的是硬解码,其效率相对FFMPEG高出来不少。
但是,国内目前的资料非常凌乱,几乎可以说没有文章把它讲的透彻,这可让现在不得不着手于解码研发的博主伤透了脑筋。
硬着头皮大干了3天,可算是成功完成了解码工作。
首先不得不说,MediaCodec的使用相对于其他解码工具要繁琐不少,如果你只是需要播放一个本地或服务器上的视频文件,那么请不要犹豫出门右转MediaPlayer,图为MediaPlayer支持的网络格式。
MediaCodec的使用场景是:当你的项目需要用加密的协议来传输视频流,或者需要和视频裸流打交道的时候。
因为MediaPlayer需要解流,需要先把数据写入本地,再读取出来,这样会造成至少200ms的视频延时。这对于需要实时性极高的场景就非常牙疼了。
那么,阅读了上面这些啰嗦话,仍然决定要使用MediaCodec的话,就继续读下去吧
1.创建解码器
和JAVA大多数类的使用方式一样,MediaCodec也是从创建对象开始的,不不不,不是new一个MediaCodec,而是使用它自带的方法:
//首先我们需要一个显示视频的SurfaceView
SurfaceView surfaceView;
//根据视频编码创建解码器,这里是解码AVC编码的视频
String mimeType = MediaFormat.MIMETYPE_VIDEO_AVC;
mediaCodec = MediaCodec.createDecoderByType(mimeType);
//设置宽高,初始化时设置为SurfaceView的宽高
width = surfaceView.getWidth();
height = surfaceView.getHeight();
final MediaFormat mediaFormat = MediaFormat.createVideoFormat(mimeType, width, height);
//!!!注意,这行代码需要界面绘制完成之后才可以调用!!!
mediaCodec.configure(mediaFormat, surfaceView.getHolder().getSurface(), null, 0);
mediaCodec.start();
注意,surfaceView的Holder是在界面绘制完成后才可以使用的,如果你把这段代码写在OnCreate里面……
等着崩吧~
当然,如果你想要进入页面就开始解码的话,诶也不是不可以~
configure方法写在SurfaceView的生命周期里就好了:
SurfaceView.getHolder().addCallback(new SurfaceHolder.Callback() {
@Override
public void surfaceCreated(SurfaceHolder surfaceHolder) {
mediaCodec.configure(mediaFormat, surfaceHolder.getSurface(), null, 0);
mediaCodec.start();
}
@Override
public void surfaceChanged(SurfaceHolder surfaceHolder, int i, int i1, int i2) {
}
@Override
public void surfaceDestroyed(SurfaceHolder surfaceHolder) {
stop();
}
});
MediaCodec支持的编码可以在MediaFormat类的常量中找到:
2.编写解码函数
首先要准备好MediaCodec.BufferInfo,
这个类在整个解码过程中都只要使用一个实例,
因此只要放在初始化方法里就好(onCreate也行):
MediaCodec.BufferInfo mediaCodecBufferInfo = new MediaCodec.BufferInfo();
接下来编写解码函数:
//为减少卡顿,此方法应在子线程下被执行
public void onFrame(byte[] buf) {
try {
//获取MediaCodec的输入流
ByteBuffer[] inputBuffers = mediaCodec.getInputBuffers();
//设置解码等待时间,0为不等待,-1为一直等待,其余为时间单位
int inputBufferIndex = mediaCodec.dequeueInputBuffer(0);
//填充数据到输入流
if (inputBufferIndex >= 0) {
ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];
inputBuffer.clear();
inputBuffer.put(buf, 0, buf.length);
mediaCodec.queueInputBuffer(inputBufferIndex, 0, buf.length, System.currentTimeMillis(), 0);
}
//解码数据到surface
int outputBufferIndex = mediaCodec.dequeueOutputBuffer(mediaCodecBufferInfo, 0);
if (outputBufferIndex >= 0) {
mediaCodec.releaseOutputBuffer(outputBufferIndex, true);
} else if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
/*修正分辨率,为了节约性能
如果视频分辨率低于Surface分辨率,则降低解码分辨率到视频分辨率
如果视频分辨率高于videoLayout分辨率,则降低解码分辨率到videoLayout分辨率*/
//fixHW();
}
} catch (IllegalStateException e) {
e.printStackTrace();
}
}
由于其中包含对数据流的操作,请将这个方法写在子线程里。
在解码时可能会涉及到线程冲突问题,所以这个方法要catch掉IllegalStateException,不然~
代码中注释写的很完整,这里就不多赘述了【反正你们其实就是想复制粘贴是吧!
到这里,你已经完成了解码操作了,对,就是这么简单!
博主的项目,这里的数据流是写C语言的朋友给的,所以原始方法里其实是有int length的,写着写着,就把length去掉了。
因为JAVA可是有data.length这个黑科技呀哇嘎嘎嘎嘎!
3.内存回收
你以为到这里就结束了吗?科科~
因为MediaCodec是硬解码,底层当然是用C语言实现的啦。
对于这种C语言实现的方法,用完了一定要记得回收!
if (mediaCodec != null) {
//停止解码,此时可以再次调用configure()方法
mediaCodec.stop();
//释放内存
mediaCodec.release();
}
这里的Stop方法只是停止解码,因此调用后,你可以调用configure()更换分辨率重新start()开始解码。
更改分辨率前必须调用stop!!!
4.保持纵横比
完成解码之后,你会发现,MediaCodec这坑爹玩意儿居然默认是拉伸到满屏的,那么如果要保持屏幕纵横比怎么办?
MediaCodec自带了一个设置缩放模式的方法:
//此方法必须在configure和start之后执行才有效
mediaCodec.setVideoScalingMode(MediaCodec.VIDEO_SCALING_MODE_SCALE_TO_FIT_WITH_CROPPING);
再次强调,这个方法必须在configure和start之后执行才有效!!!
调用这个方法之后,MediaCodec会把视频剪到满屏,对没错,剪到满屏。
如果你想要电影那种上下黑边的效果,唯有在SurfaceView外套一层黑色的布局,把SurfaceView居中。
然后通过修改layoutParams的方法来更改SurfaceView的大小,以此来达到保持纵横比又不被剪掉的情况下拉直满屏。
我已经在Stack Overflow上求证过,确实是只有这一个办法,硬着头皮上吧(代码量庞大注意!):
布局文件:
<?xml version="1.0" encoding="utf-8"?>
<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
android:id="@+id/videoLayout"
android:layout_width="match_parent"
android:layout_height="match_parent"
android:background="#000"
android:orientation="vertical">
<SurfaceView
android:id="@+id/videoSurfaceView"
android:layout_width="match_parent"
android:layout_height="match_parent"
android:layout_centerInParent="true" />
</RelativeLayout>
代码:
//获取视频宽高以缩放渲染分辨率,注意此方法必须在releaseOutputBuffer之前执行
public void fixHW() {
if (width == 0 || height == 0) {
width = videoLayout.getWidth();
height = videoLayout.getHeight();
}
Log.e("tempWH", width + ":" + height);
try {
//获取视频格式信息,注意此方法必须在releaseOutputBuffer之前执行
MediaFormat currentFormat = mediaCodec.getOutputFormat();
mediaW = currentFormat.getInteger("width");
mediaH = currentFormat.getInteger("height");
Log.e("mediaWH", mediaW + ":" + mediaH);
if (mediaH < height && mediaW < width) {
Log.e("fixType", "mediaRes<layoutRes");
height = mediaH;
width = mediaW;
doFix();
} else if (mediaH >= height) {
Log.e("fixType", "mediaH<layoutH");
int fixW = mediaW * (height / mediaH);
if (width != fixW) {
width = fixW;
doFix();
}
} else if (mediaW >= width) {
Log.e("fixType", "mediaW<layoutW");
int fixH = mediaH * (width / mediaW);
if (height != fixH) {
height = fixH;
doFix();
}
}
} catch (IllegalStateException e) {
e.printStackTrace();
}
}
private void doFix() {
Log.e("mediaWH", width + ":" + height);
//应用新的渲染分辨率
MediaFormat newFormat = MediaFormat.createVideoFormat(currentMIMEType, width, height);
configureDecoder(newFormat, tempSurface);
//运算videoSurfaceView的宽高以保持纵横比
ViewGroup.LayoutParams surfaceLayoutParams = videoSurfaceView.getLayoutParams();
surfaceLayoutParams.width = ViewGroup.LayoutParams.MATCH_PARENT;
surfaceLayoutParams.height = ViewGroup.LayoutParams.MATCH_PARENT;
if (width > height) {
int fixH = (int) (height * (videoLayout.getWidth() / (double) width));
if (fixH < videoLayout.getHeight()) {
surfaceLayoutParams.height = fixH;
} else {
surfaceLayoutParams.height = videoLayout.getHeight();
surfaceLayoutParams.width = (int) (width * (surfaceLayoutParams.height / (double) height));
}
fixVideoLayout(surfaceLayoutParams);
} else if (height > width) {
int fixW = (int) (width * (videoLayout.getHeight() / (double) height));
if (fixW < videoLayout.getWidth()) {
surfaceLayoutParams.width = fixW;
} else {
surfaceLayoutParams.width = videoLayout.getWidth();
surfaceLayoutParams.height = (int) (height * (surfaceLayoutParams.width / (double) width));
}
fixVideoLayout(surfaceLayoutParams);
}
}
//应用videoSurfaceView的宽高,由于解码线程在子线程,这里需要切回主线程执行
private void fixVideoLayout(ViewGroup.LayoutParams surfaceLayoutParams) {
if (hdl_fixHWForSurfaceView == null) {
hdl_fixHWForSurfaceView = new Handler(videoSurfaceView.getContext().getMainLooper()) {
@Override
public void handleMessage(Message msg) {
super.handleMessage(msg);
videoSurfaceView.setLayoutParams((ViewGroup.LayoutParams) msg.obj);
}
};
}
Message msg = new Message();
msg.obj = surfaceLayoutParams;
hdl_fixHWForSurfaceView.sendMessage(msg);
Log.e("layoutWH", surfaceLayoutParams.width + ":" + surfaceLayoutParams.height);
}
这里为了节约性能:
如果视频分辨率低于SurfaceView分辨率,则降低解码分辨率到视频分辨率;
如果视频分辨率高于SurfaceView分辨率,则降低解码分辨率到SurfaceView分辨率。
5.省电优化
在屏幕熄灭或者挂入后台的情况下,是没必要让MediaCodec继续解码的,因此,参考其他SDK,我们可以让它共享Activity的生命周期,以此来达到省电的效果:
public void onDestroy() {
if (mediaCodec != null) {
//释放内存
mediaCodec.release();
}
}
public void onPause() {
//通过这个boolean变量来决定要不要处理后台发来的数据流
isTaskInForeground = false;
stop();
}
public void stop() {
if (mediaCodec != null) {
//这里catch掉IllegalStateException,以防在未被start前调用
try {
//停止解码,此时可以调用configure()方法
mediaCodec.stop();
}catch (IllegalStateException e){
e.printStackTrace();
}
}
}
public void onResume() {
isTaskInForeground = true;
if (mediaCodec != null) {
configureDecoder(tempMediaFormat, tempSurface);
}
}
public void configureDecoder(MediaFormat mediaFormat, Surface surface) {
if (mediaCodec != null) {
tempSurface = surface;
//在SurfaceView加载完成前,调用以下方法会报错,此处TryCatch用以应付在OnCreate中执行初始化导致的崩溃
try {
mediaCodec.stop();
tempMediaFormat = mediaFormat;
mediaCodec.configure(mediaFormat, surface, null, 0);
mediaCodec.start();
//此方法必须在configure和start之后执行才有效
// mediaCodec.setVideoScalingMode(MediaCodec.VIDEO_SCALING_MODE_SCALE_TO_FIT_WITH_CROPPING);
} catch (IllegalArgumentException e) {
e.printStackTrace();
}
}
}
最后,如果觉得有帮助的话,就给博主发个红包吧~