目前開源的項目或市面上的Android直播客戶端主要是用ffmpeg來實現推流的。本文將介紹使用Android原生的視頻編碼類MediaCodec實現直播推流。
數據流及大致原理
這裡所說的直播，就是將你的客戶端產生的視頻數據，實時發送到服務器上。服務器上的數據再實時地發送到播放客戶端上。
以視頻數據為例：
- 獲取Camera畫面
- 首先是攝像頭拍攝得到原始畫面數據，這裡原始畫面數據的格式我們不用管，因為我們使用的是MediaCodec，所以我們會使用
<code>camera.setPreviewTexture(surfaceTexture)
/<code>
- 來利用Camera獲取到的畫面。
此處的原理可忽略，大致說明的話，就是Camera會把獲得的畫面保存為OpenGL的一個紋理，我們使用這個紋理就能使用Camera的畫面。
繪製畫面
在獲得畫面之後，我們要把這個畫面（紋理）“畫”到MediaCodec上。
如何畫？MediaCodec提供一張’白紙’，也就是一個Surface，供我們把紋理畫到上面。此處的API是MediaCodec.createInputSurface()
怎麼畫？用Canvas畫。當然不是一般的Canvas，我用了這個開源項目android-openGL-canvas。
H264數據
畫上去後，MediaCodec就會幫我們把原始畫面數據，壓縮成相應的視頻數據，目前我這裡是壓縮成H264數據。所謂的H264數據，其實只是一堆堆的byte[]數組。在項目的例子，我把H264數據寫成了文件，可以用某些播放器播放（例如PotPlayer）。
RTMP
我使用了一個開源項目，可以將視頻數據封成RTMP包，發送到服務器上。LibRtmp-Client-for-Android
總結
數據流可以這樣看Camera -> SurfaceTexture -> Surface -> MediaCodec -> encode data(byte[]) -> RTMPMuxer -> Server
音頻數據：
相對簡單一些，就是從AudioRecord裡獲取原始音頻數據（byte[])，編碼成AAC數據（也是byte[])，然後給RTMPMuxer，封裝成RTMP包，發到服務器
麥克風MIC -> AudioRecord -> voice data(就是byte[]) -> MediaCodec -> encode data(就是byte[]) -> RTMPMuxer -> Server
Muxer前面有提到有視頻的RTMP包和音頻的RTMP包，分別是將單元H264和單元AAC封裝成RTMP包，發到服務器。這些包之間有什麼規律？這些包之間是按時間順序排列的，MediaCodec返回編碼數據時，會返回編碼數據的時間戳。但注意編碼成RTMP包時，取的是相對時間戳，也就是說取到時間戳時，需要計算與上一個包的時間戳的差值，寫到RTMP包裡。
另外RTMP流本質上是FLV格式的音視頻，這裡也提供了寫成FLV文件的功能。
效果圖
Android推流端
視頻幀圖像處理前面提到視頻幀的圖像處理，實際上也是利用了android-openGL-canvas。
關鍵代碼如下：
<code> ...
streamPublisher.prepareEncoder(streamPublisherParam, new H264Encoder.OnDrawListener() {
@Override
public void onGLDraw(ICanvasGL canvasGL, SurfaceTexture surfaceTexture, RawTexture rawTexture, @Nullable SurfaceTexture outsideSurfaceTexture, @Nullable BasicTexture outsideTexture) {
drawVideoFrame(canvasGL, outsideSurfaceTexture, outsideTexture);
Loggers.i("DEBUG", "gl draw");
}
});
...
private void drawVideoFrame(ICanvasGL canvasGL, @Nullable SurfaceTexture outsideSurfaceTexture, @Nullable BasicTexture outsideTexture) {
// Here you can do video process
// 此處可以視頻處理，例如加水印等等
TextureFilter textureFilterLT = new BasicTextureFilter();
TextureFilter textureFilterRT = new HueFilter(180);
int width = outsideTexture.getWidth();
int height = outsideTexture.getHeight();
canvasGL.drawSurfaceTexture(outsideTexture, outsideSurfaceTexture, 0, 0, width /2, height /2, textureFilterLT);
canvasGL.drawSurfaceTexture(outsideTexture, outsideSurfaceTexture, 0, height/2, width/2, height, textureFilterRT);
}
...
/<code>
如上所示，可以使用各種Filter實現對視頻幀圖像的處理。總而言之，可以像Canvas那樣在視頻幀上繪製各種東西。當然要在圖上畫文字就只能用bitmap代替了。
碼率bit/s在使用MediaCodec時，需要設置碼率。這個碼率是根據視頻分辨率，色彩格式算出來的。
<code> public H264Encoder(int width, int height, int bitRate, int frameRate, int iframeInterval, final EglContextWrapper eglCtx) throws IOException
/<code>
其中bitRate就是碼率，單位bit/s
一些計算方法可以參考此文：What bitrate should I use when encoding my video?Output size Bitrate Filesize320x240 pixels 400 kbps 3MB / minute480x270 pixels 700 kbps 5MB / minute1024 x 576 pixels 1500 kbps 11MB / minute1280x720 pixels 2500 kbps 19MB / minute1920x1080 pixels 4000 kbps 30MB / minute
此方法大部分情況下夠用，但是對於複雜視頻處理還欠缺。
例如對比下圖的無處理效果（一張紋理）
對於下圖這樣處理效果（2個畫面用的是與上圖同樣大小的紋理，雖然我設置顯示的尺寸不一樣），碼率是上圖的2倍左右。
測試服務器
需要測試的話，請自行搭建RTMP服務器。我用的是自己搭建的Nginx服務器，用的Module是nginx-rtmp-module。搭建服務器不需要寫代碼，根據教程敲幾行命令就行。可以用開源直播軟件OBS對比播放效果。播放器用各種都行，VLC，PotPlayer，ffplay都可以。我用的是ffplay，注意，因為只是簡單的服務器，所以要先開播放器連接後再開始啟動推流。我使用的命令是 .\\ffplay.exe “rtmp://localhost:19305/live/room live=1”
作者：chillingvan；原文鏈接：https://www.jianshu.com/p/3c479c0f4876
閱讀更多 程序員前線 的文章
