Android 之 WebRTC 介绍

发布于 2024-12-03 05:56:00 字数 16033 浏览 4 评论 0

WebRTC 被誉为是 web 长期开源开发的一个新启元，是近年来 web 开发的最重要创新。WebRTC 允许 Web 开发者在其 web 应用中添加视频聊天或者点对点数据传输，不需要复杂的代码或者昂贵的配置。目前支持 Chrome、Firefox 和 Opera，后续会支持更多的浏览器，它有能力达到数十亿的设备。

然而，WebRTC 一直被误解为仅适合于浏览器。事实上，WebRTC 最重要的一个特征是允许本地和 web 应用间的互操作，很少有人使用到这个特性。

本文将探讨如何在自己的 Android 应用中植入 WebRTC，使用 WebRTC Initiative 中提供的本地库。这边文章不会讲解如何使用信号机制建立通话，而是重点探讨 Android 与浏览器中实现的差异性和相似性。下文将讲解 Android 中实现对应功能的一些接口。如果想要了解 WebRTC 的基础知识，强烈推荐 Sam Dutton’s Getting started with WebRTC 。

项目中添加 WebRTC

下面的讲解基于 Android WebRTC 库版本 9127.

首先要做的是在应用中添加 WebRTC 库。 WebRTC Initiative 提供了一种简洁的方式来编译，但尽量不要采用那种方式。取而代之，建议使用原始的 io 编译版本，可以从 maven central repository 中获取。

添加 WebRTC 到工程中，需要在你的依赖中添加如下内容：

1 compile 'io.pristine:libjingle:9127@aar'

同步工程后，WebRTC 库就准备就绪。

权限

同其他 Android 应用一样，使用某些 API 需要申请相应权限。WebRTC 也不例外。制作的应用不同，或者需要的功能不同，例如音频或者视频，所需要的权限集也是不同的。请确保按需申请！一个好的视频聊天应用权限集如下：

1 <uses-feature android:name="android.hardware.camera" />
2 <uses-feature android:name="android.hardware.camera.autofocus" />
3 <uses-feature android:glEsVersion="0x00020000" android:required="true" />
4 
5 <uses-permission android:name="android.permission.CAMERA" />
6 <uses-permission android:name="android.permission.RECORD_AUDIO" />
7 <uses-permission android:name="android.permission.INTERNET" />
8 <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
9 <uses-permission android:name="android.permission.MODIFY_AUDIO_SETTINGS" />

灯光，摄影，工厂

在浏览器中使用 WebRTC 时，有一些功能完善、说明详细的 API 可供使用。 navigator.getUserMedia 和 RTCPeerConnection 包含了可能用到的几乎所有功能。结合 <video> 标签使用，可以显示任何想要显示的本地视频流和远程视频流。

所幸的是 Android 上也有相同的 API，虽然它们的名字有所不同。Android 相关的 API 有 VideoCapturerAndroid , VideoRenderer , MediaStream , PeerConnection , 和 PeerConnectionFactory 。下面我们将逐一讲解。

在开始之前，需要创建 PeerConnectionFactory，这是 Android 上使用 WebRTC 最核心的 API。

PeerConnectionFactory

Android WebRTC 最核心的类。理解这个类并了解它如何创建其他任何事情是深入了解 Android 中 WebRTC 的关键。它和我们期望的方式还是有所不同的，所以我们开始深入挖掘它。

首先需要初始化 PeerConnectionFactory，如下：

// First, we initiate the PeerConnectionFactory with
// our application context and some options.
PeerConnectionFactory.initializeAndroidGlobals(
    context,
    initializeAudio,
    initializeVideo,
    videoCodecHwAcceleration,
    renderEGLContext);

为了理解这个方法，需要了解每个参数的意义：

context 应用上下文，或者上下文相关的，和其他地方传递的一样。
initializeAudio 是否初始化音频的布尔值。
initializeVideo 是否初始化视频的布尔值。跳过这两个就允许跳过请求 API 的相关权限，例如数据通道应用。
videoCodecHwAcceleration 是否允许硬件加速的布尔值。
renderEGLContext 用来提供支持硬件视频解码，可以在视频解码线程中创建共享 EGL 上下文。可以为空——在本文例子中硬件视频解码将产生 yuv420 帧而非 texture 帧。

initializeAndroidGlobals 也是返回布尔值，true 表示一切 OK，false 表示有失败。如果返回 false 是最好的练习。更多信息请参考源码。

如果一切 ok，可以使用 PeerConnectionFactory 的构造函数创建自己的工厂，和其他类一样。

1 PeerConnectionFactory peerConnectionFactory = new PeerConnectionFactory();

行动、获取媒体流、渲染

有了 peerConnectionFactory 实例，就可以从用户设备获取视频和音频，最终将其渲染到屏幕上。web 中可以使用 getUserMedia 和 <video> 。在 Android 中，没有这么简单，但可以有更多选择！在 Android 中，我们需要了解 VideoCapturerAndroid，VideoSource，VideoTrack 和 VideoRenderer，先从 VideoCapturerAndroid 开始。

VideoCapturerAndroid

VideoCapturerAndroid 其实是一系列 Camera API 的封装，为访问摄像头设备的流信息提供了方便。它允许获取多个摄像头设备信息，包括前置摄像头，或者后置摄像头。

1  // Returns the number of camera devices                       
2  VideoCapturerAndroid.getDeviceCount();                        
3                                                              
4  // Returns the front face device name                         
5  VideoCapturerAndroid.getNameOfFrontFacingDevice();            
6  // Returns the back facing device name                        
7  VideoCapturerAndroid.getNameOfBackFacingDevice();             
8                                                              
9  // Creates a VideoCapturerAndroid instance for the device name
10 VideoCapturerAndroid.create(name);

有了包含摄像流信息的 VideoCapturerAndroid 实例，就可以创建从本地设备获取到的包含视频流信息的 MediaStream，从而发送给另一端。但做这些之前，我们首先研究下如何将自己的视频显示到应用上面。

VideoSource/VideoTrack

从 VideoCapturer 实例中获取一些有用信息，或者要达到最终目标————为连接端获取合适的媒体流，或者仅仅是将它渲染给用户，我们需要了解 VideoSource 和 VideoTrack 类。

VideoSource 允许方法开启、停止设备捕获视频。这在为了延长电池寿命而禁止视频捕获的情况下比较有用。
VideoTrack 是简单的添加 VideoSource 到 MediaStream 对象的一个封装。

我们通过代码看看它们是如何一起工作的。 capturer 是 VideoCapturer 的实例， videoConstraints 是 MediaConstraints 的实例。

1  // First we create a VideoSource                                     
2  VideoSource videoSource =                                            
3             peerConnectionFactory.createVideoSource(capturer, videoConstraints);
4                                                                       
5  // Once we have that, we can create our VideoTrack                   
6  // Note that VIDEO_TRACK_ID can be any string that uniquely          
7  // identifies that video track in your application                   
8  VideoTrack localVideoTrack =                                         
9             peerConnectionFactory.createVideoTrack(VIDEO_TRACK_ID, videoSource);

AudioSource/AudioTrack

AudioSource 和 AudioTrack 与 VideoSource 和 VideoTrack 相似，只是不需要 AudioCapturer 来获取麦克风， audioConstraints 是 MediaConstraints 的一个实例。

1  // First we create an AudioSource                                    
2  AudioSource audioSource =                                            
3             peerConnectionFactory.createAudioSource(audioConstraints);          
4                                                                       
5  // Once we have that, we can create our AudioTrack                   
6  // Note that AUDIO_TRACK_ID can be any string that uniquely          
7  // identifies that audio track in your application                   
8  AudioTrack localAudioTrack =                                         
9             peerConnectionFactory.createAudioTrack(AUDIO_TRACK_ID, audioSource);

VideoRenderer

通过在浏览器中使用 WebRTC，你肯定已经熟悉了使用 <Video> 标签来显示出从 getUserMedia 方法得到的 MediaStream。但在本地 Android 中，没有类似 <Video> 的标签。进入 VideoRenderer，WebRTC 库允许通过 VideoRenderer.Callbacks 实现自己的渲染。另外，它提供了一种非常好的默认方式 VideoRendererGui。简而言之， VideoRendererGui 是一个 GLSurfaceView ，使用它可以绘制自己的视频流。我们通过代码看一下它是如何工作的，以及如何添加 renderer 到 VideoTrack。

1   // To create our VideoRenderer, we can use the                           
2   // included VideoRendererGui for simplicity                              
3   // First we need to set the GLSurfaceView that it should render to       
4   GLSurfaceView videoView = (GLSurfaceView) findViewById(R.id.glview_call);
5                                                                            
6   // Then we set that view, and pass a Runnable                            
7   // to run once the surface is ready                                      
8   VideoRendererGui.setView(videoView, runnable);                           
9                                                                            
10  // Now that VideoRendererGui is ready, we can get our VideoRenderer      
11  VideoRenderer renderer = VideoRendererGui.createGui(x, y, width, height);
12                                                                           
13  // And finally, with our VideoRenderer ready, we                         
14  // can add our renderer to the VideoTrack.                               
15  localVideoTrack.addRenderer(renderer);

这里要说明的一点是 createGui 需要四个参数。这样做是使一个单一的 GLSurfaceView 渲染所有视频成为可能。但在实际使用中我们使用了多个 GLSurfaceViews，这意味为了渲染正常，x、y 一直是 0。这让我们了解到实现过程中各个参数的意义。

MediaConstraints

MediaConstraints 是支持不同约束的 WebRTC 库方式的类，可以加载到 MediaStream 中的音频和视频轨道。具体参考规范查看支持列表。对于大多数需要 MediaConstraints 的方法，一个简单的 MediaConstraints 实例就可以做到。

1  MediaConstraints audioConstraints = new MediaConstraints();

要添加实际约束，可以定义 KeyValuePairs ，并将其推送到约束的 mandatory 或者 optional list。

MediaStream

现在可以在本地看见自己了，接下来就要想办法让对方看见自己。在 web 开发时，对 MediaStream 已经很熟悉了。 getUserMedia 直接返回 MediaStream ，然后将其添加到 RTCPeerConnection 传送给对方。在 Android 上此方法也是通用的，只是我们需要自己创建 MediaStream。接下来我们就研究如何添加本地的 VideoTrack 和 AudioTrack 来创建一个合适的 MediaStream。

1   // We start out with an empty MediaStream object,                                             
2   // created with help from our PeerConnectionFactory                                           
3   // Note that LOCAL_MEDIA_STREAM_ID can be any string                                          
4   MediaStream mediaStream = peerConnectionFactory.createLocalMediaStream(LOCAL_MEDIA_STREAM_ID);
5                                                                                                 
6   // Now we can add our tracks.                                                                 
7   mediaStream.addTrack(localVideoTrack);                                                        
8   mediaStream.addTrack(localAudioTrack);

Hi，有人在那里吗？

我们现在有了包含视频流和音频流的 MediaStream 实例，而且在屏幕上显示了我们漂亮的脸庞。现在就该把这些信息传送给对方了。这篇文章不会介绍如何建立自己的信号流，我们直接介绍对应的 API 方法，以及它们如何与 web 关联的。 AppRTC 使用 autobahn 使得 WebSocket 连接到信号端。我建议下载下来这个项目来仔细研究下如何在 Android 中建立自己的信号流。

PeerConnection

现在我们有了自己的 MediaStream，就可以开始连接远端了。幸运的是这部分和 web 上的处理很相似，所以如果对浏览器中的 WebRTC 熟悉的话，这部分就相当简单了。创建 PeerConnection 很简单，只需要 PeerConnectionFactory 的协助即可。

1  PeerConnection peerConnection = peerConnectionFactory.createPeerConnection(
2              iceServers,                                                               
3              constraints,                                                              
4              observer);

参数的作用如下：

iceServers 连接到外部设备或者网络时需要用到这个参数。在这里添加 STUN 和 TURN 服务器就允许进行连接，即使在网络条件很差的条件下。
constraints MediaConstraints 的一个实例，应该包含 offerToRecieveAudio 和 offerToRecieveVideo
observer PeerConnectionObserver 实现的一个实例。

PeerConnection 和 web 上的对应 API 很相似，包含了 addStream、addIceCandidate、createOffer、createAnswer、getLocalDescription、setRemoteDescription 和其他类似方法。下载 WebRTC 入门来学习如何协调所有工作在两点之间建立起通讯通道，或者 AppRTC 如何使得一个实时的功能完整的 Android WebRTC 应用工作的。我们快速浏览一下这几个重要的方法，看它们是如何工作的。

addStream

这个是用来将 MediaStream 添加到 PeerConnection 中的,如同它的命名一样。如果你想要对方看到你的视频、听到你的声音，就需要用到这个方法。

addIceCandidate

一旦内部 IceFramework 发现有 candidates 允许其他方连接你时，就会创建 IceCandidates 。当通过 PeerConnectionObserver.onIceCandidate 传递数据到对方时，需要通过任何一个你选择的信号通道获取到对方的 IceCandidates。使用 addIceCandidate 添加它们到 PeerConnection，以便 PeerConnection 可以通过已有信息试图连接对方。

createOffer/createAnswer

这两个方法用于原始通话的建立。如你所知，在 WebRTC 中，已经有了 caller 和 callee 的概念，一个是呼叫，一个是应答。createOffer 是 caller 使用的，它需要一个 sdpObserver，它允许获取和传输会话描述协议 Session Description Protocol (SDP) 给对方，还需要一个 MediaConstraint。一旦对方得到了这个请求，它将创建一个应答并将其传输给 caller。SDP 是用来给对方描述期望格式的数据（如 video、formats、codecs、encryption、resolution、 size 等）。一旦 caller 收到这个应答信息，双方就相互建立的通信需求达成了一致，如视频、音频、解码器等。

setLocalDescription/setRemoteDescription

这个是用来设置 createOffer 和 createAnswer 产生的 SDP 数据的，包含从远端获取到的数据。它允许内部 PeerConnection 配置链接以便一旦开始传输音频和视频就可以开始真正工作。

PeerConnectionObserver

这个接口提供了一种监测 PeerConnection 事件的方法，例如收到 MediaStream 时，或者发现 iceCandidates 时，或者需要重新建立通讯时。这些在功能上与 web 相对应，如果你学习过相关 web 开发理解这个不会很困难，或者学习 WebRTC 入门。这个接口必须被实现，以便你可以有效处理收到的事件，例如当对方变为可见时，向他们发送信号 iceCandidates。