MediaSync是android M新加入的API,可以帮助应用视音频的同步播放
MediaSync的基本用法
第一步:初始化MediaSync, 初始化mediaCodec和AudioTrack, 将AudioTrack和surface传给MeidaSync
MediaSync sync = new MediaSync();
sync.setSurface(mSurface);
Surface inputSurface = sync.createInputSurface();
mVideoMediaCodec.configure(mediaFormat,inputSurface,null,0);
sync.setAudioTrack(audioTrack);
第二步: MediaSync设置回调接口
MediaSync只会对audio的buffer做操作,一个是代表写入的queueAudio方法,一个是代表写完了的回调方法
sync.setCallback(new MediaSync.Callback() {
@Override
public void onAudioBufferConsumed(@NonNull MediaSync sync,
@NonNull ByteBuffer audioBuffer, int bufferId) {
Log.e("TAG","onAudioBufferConsumed");
mAudioMediaCodec.releaseOutputBuffer(bufferId, true);
}
},null);
第三步:设置播放速度
sync.setPlaybackParams(new PlaybackParams().setSpeed(1.0f));
第四步:在异步回调中处理
@Override
public void onOutputBufferAvailable(@NonNull MediaCodec codec, int index,
@NonNull MediaCodec.BufferInfo info) {
String type = codec.getInputFormat().getString(MediaFormat.KEY_MIME);
if (type.contains("video")) {
codec.releaseOutputBuffer(index, 1000 * info.presentationTimeUs);
} else{
Log.e("TAG","queueAudio");
ByteBuffer outputBuffer = codec.getOutputBuffer(index);
sync.queueAudio(outputBuffer, index, info.presentationTimeUs);
}
}
第五步:播放完毕,释放资源
sync.setPlaybackParams(new PlaybackParams().setSpeed(0.f));
sync.release();
sync = null;