關於webrtc中的音訊採集，當然和是各個平臺採集具體實現，上層封裝統一介面；

從資料來源來看，音訊資料來自於class AudioDeviceModule；

然後檢視：

 virtual int32_t RegisterAudioCallback(AudioTransport* audioCallback) = 0;

class AudioTransport {
 public:
  virtual int32_t RecordedDataIsAvailable(const void* audioSamples,
                                          const size_t nSamples,
                                          const size_t nBytesPerSample,
                                          const size_t nChannels,
                                          const uint32_t samplesPerSec,
                                          const uint32_t totalDelayMS,
                                          const int32_t clockDrift,
                                          const uint32_t currentMicLevel,
                                          const bool keyPressed,
                                          uint32_t& newMicLevel) = 0;


  virtual int32_t NeedMorePlayData(const size_t nSamples,
                                   const size_t nBytesPerSample,
                                   const size_t nChannels,
                                   const uint32_t samplesPerSec,
                                   void* audioSamples,
                                   size_t& nSamplesOut,
                                   int64_t* elapsed_time_ms,
                                   int64_t* ntp_time_ms) = 0;


  // Method to push the captured audio data to the specific VoE channel.
  // The data will not undergo audio processing.
  // |voe_channel| is the id of the VoE channel which is the sink to the
  // capture data.
  // TODO(bugs.webrtc.org/8659): Remove this method once clients updated.
  RTC_DEPRECATED virtual void PushCaptureData(
      int voe_channel,
      const void* audio_data,
      int bits_per_sample,
      int sample_rate,
      size_t number_of_channels,
      size_t number_of_frames) {
    RTC_NOTREACHED();
  }


  // Method to pull mixed render audio data from all active VoE channels.
  // The data will not be passed as reference for audio processing internally.
  virtual void PullRenderData(int bits_per_sample,
                              int sample_rate,
                              size_t number_of_channels,
                              size_t number_of_frames,
                              void* audio_data,
                              int64_t* elapsed_time_ms,
                              int64_t* ntp_time_ms) = 0;


 protected:
  virtual ~AudioTransport() {}
};

嗯，就是這了；

這裡除錯跟蹤的是Windows端的程式碼： 從下往上看，

VoEBaseImpl::RecordedDataIsAvailable(const void * audioSamples, const unsigned __int64 nSamples, const unsigned __int64 nBytesPerSample, const unsigned __int64 nChannels, const unsigned int samplesPerSec, const unsigned int totalDelayMS, const int clockDrift, const unsigned int currentMicLevel, const bool keyPressed, unsigned int & newMicLevel) 
AudioTransportProxy::RecordedDataIsAvailable(const void * audioSamples, const unsigned __int64 nSamples, const unsigned __int64 nBytesPerSample, const unsigned __int64 nChannels, const unsigned int samplesPerSec, const unsigned int totalDelayMS, const int clockDrift, const unsigned int currentMicLevel, const bool keyPressed, unsigned int & newMicLevel) 
AudioDeviceBuffer::DeliverRecordedData() 
AudioDeviceWindowsCore::DoCaptureThread() 
AudioDeviceWindowsCore::WSAPICaptureThread(void * context) 

從上述程式碼流程可以看出，先從平臺相關實現獲取具體音訊PCM資料，然後經過傳送到VoEBaseImpl::RecordedDataIsAvailable；

這裡的資料採集為什麼說道這裡呢？因為：在VoEBaseImpl::RecordedDataIsAvailable函式中還執行了相關的一些資料函式；

所以，要獲取音訊資料，最好在ProcessRecordedDataWithAPM函式之後獲取音訊； 

int32_t VoEBaseImpl::RecordedDataIsAvailable(const void* audioSamples,
                                             const size_t nSamples,
                                             const size_t nBytesPerSample,
                                             const size_t nChannels,
                                             const uint32_t samplesPerSec,
                                             const uint32_t totalDelayMS,
                                             const int32_t clockDrift,
                                             const uint32_t currentMicLevel,
                                             const bool keyPressed,
                                             uint32_t& newMicLevel) {
  newMicLevel = static_cast<uint32_t>(ProcessRecordedDataWithAPM

}

寫在後面： 根據webrtc58版本中的示例，可以看出，已經預留了了音訊獲取的資料回撥函式介面OnData；

只不過在webrtc58版本中沒有實現完成，所以在後去版本中，應該會實現。

ProcessRecordedDataWithAPM 函式中實現了音訊的處理，encode，rtp打包，rtp 傳送等；內容比較多；

本來想單獨寫一遍文章，但是為了內容的連續性，就在這類繼續寫了；

//直接獲取音訊PCM編碼後的資料

  encoded_info = encoder_stack_->Encode(
      rtp_timestamp, rtc::ArrayView<const int16_t>(
                         input_data.audio, input_data.audio_channel *
                                               input_data.length_per_channel),
      &encode_buffer_);

AudioCodingModuleImpl::Encode(const webrtc::`anonymous-namespace'::AudioCodingModuleImpl::InputData & input_data) 
AudioCodingModuleImpl::Add10MsData(const webrtc::AudioFrame & audio_frame) 
voe::Channel::EncodeAndSend() 
voe::TransmitMixer::EncodeAndSend() 
VoEBaseImpl::ProcessRecordedDataWithAPM(const int * voe_channels, unsigned __int64 number_of_voe_channels, const void * audio_data, unsigned int sample_rate, unsigned __int64 number_of_channels, unsigned __int64 number_of_frames, unsigned int audio_delay_milliseconds, int clock_drift, unsigned int volume, bool key_pressed) 

每次獲取10Ms的音訊資料，然後進行音訊資料的處理，然後進行編碼；

webrtc會將各類編碼具體實現，都具基礎實現 public AudioEncoder ；

如：

class AudioEncoderOpus final : public AudioEncoder 

class AudioEncoderG722 final : public AudioEncoder

PCM編碼完成後，傳送資料，其實，就是進入了：int32_t Channel::SendData

   if (packetization_callback_) {
      packetization_callback_->SendData(
          frame_type, encoded_info.payload_type, encoded_info.encoded_timestamp,
          encode_buffer_.data(), encode_buffer_.size(),
          my_fragmentation.fragmentationVectorSize > 0 ? &my_fragmentation
                                                       : nullptr);

然後：

  // Push data from ACM to RTP/RTCP-module to deliver audio frame for
  // packetization.
  // This call will trigger Transport::SendPacket() from the RTP/RTCP module.
  if (!_rtpRtcpModule->SendOutgoingData(
          (FrameType&)frameType, payloadType, timeStamp,
          // Leaving the time when this frame was
          // received from the capture device as
          // undefined for voice for now.
          -1, payloadData, payloadSize, fragmentation, nullptr, nullptr)) {
    _engineStatisticsPtr->SetLastError(
        VE_RTP_RTCP_MODULE_ERROR, kTraceWarning,
        "Channel::SendData() failed to send data to RTP/RTCP module");
    return -1;
  }

...

然後：

實現音訊資料的RTP打包，然後傳送，高優先順序；

bool RTPSenderAudio::SendAudio

  bool send_result = rtp_sender_->SendToNetwork(
      std::move(packet), kAllowRetransmission, RtpPacketSender::kHighPriority);

然後：

新增到傳送快取：

   paced_sender_->InsertPacket(priority, ssrc, seq_no, corrected_time_ms,
                                payload_length, false);

//void PacedSender::InsertPacket //執行到這裡；

//這個類實現了平滑傳送資料，同時根據位元速率控制傳送資料；

class PacedSender : public Module, public RtpPacketSender 

通過PacedSender::InsertPacket新增rtp packet， 新增到 packets_ 連結串列中；

通過 PacedSender::Process實現packets_ 連結串列中中的資料計算，傳送；通常這個函式會在一個單獨的執行緒中執行；

關於 PacedSender 可以檢視這篇文章：http://blog.csdn.net/qq_24283329/article/details/72899322  《傳送位元速率控制之PacedSender模組》

資料的傳送：

 ricket::UDPPort::SendTo 
 ricket::ProxyConnection::Send 
 ricket::P2PTransportChannel::SendPacket 
 ricket::DtlsTransport::SendPacket 
 ricket::BaseChannel::SendPacket 
 ricket::BaseChannel::OnMessage 
 ricket::VideoChannel::OnMessage 
 tc::MessageQueue::Dispatch 
 tc::Thread::ProcessMessages 
 tc::Thread::Run 
 tc::Thread::PreRun

UDPPort::SendTo實現了的資料的真正傳送；

UDPPort中包含了webrtc中封裝的UDP類；

一個 ProxyConnection 對應 一個 UDPPort；

ProxyConnection::ProxyConnection的實現函式：

int ProxyConnection::Send(const void* data, size_t size,  const rtc::PacketOptions& options) {
  stats_.sent_total_packets++;
  int sent = port_->SendTo(data, size, remote_candidate_.address(),
                           options, true);
  if (sent <= 0) {
    RTC_DCHECK(sent < 0);
    error_ = port_->GetError();
    stats_.sent_discarded_packets++;
  } else {
    send_rate_tracker_.AddSamples(sent);
  }
  return sent;
}

可清楚的看到，port_通過設定遠端的地址，通過UDP傳送資料到指定地址；

UDPPort中的socket建立函式：

bool UDPPort::Init() {
  stun_keepalive_lifetime_ = GetStunKeepaliveLifetime();
  if (!SharedSocket()) {
    RTC_DCHECK(socket_ == NULL);
    socket_ = socket_factory()->CreateUdpSocket(
        rtc::SocketAddress(ip(), 0), min_port(), max_port());
    if (!socket_) {
      LOG_J(LS_WARNING, this) << "UDP socket creation failed";
      return false;
    }
    socket_->SignalReadPacket.connect(this, &UDPPort::OnReadPacket);
  }
  socket_->SignalSentPacket.connect(this, &UDPPort::OnSentPacket);
  socket_->SignalReadyToSend.connect(this, &UDPPort::OnReadyToSend);
  socket_->SignalAddressReady.connect(this, &UDPPort::OnLocalAddressReady);
  requests_.SignalSendPacket.connect(this, &UDPPort::OnSendPacket);
  return true;
}

最近看見一個檔案：

audio_device_data_observer.h

// This interface will capture the raw PCM data of both the local captured as
// well as the mixed/rendered remote audio.
class AudioDeviceDataObserver {
 public:
  virtual void OnCaptureData(const void* audio_samples,
                             const size_t num_samples,
                             const size_t bytes_per_sample,
                             const size_t num_channels,
                             const uint32_t samples_per_sec) = 0;


  virtual void OnRenderData(const void* audio_samples,
                            const size_t num_samples,
                            const size_t bytes_per_sample,
                            const size_t num_channels,
                            const uint32_t samples_per_sec) = 0;


  AudioDeviceDataObserver() = default;
  virtual ~AudioDeviceDataObserver() = default;
};


// Creates an ADM instance with AudioDeviceDataObserver registered.
rtc::scoped_refptr<AudioDeviceModule> CreateAudioDeviceWithDataObserver(
    const AudioDeviceModule::AudioLayer audio_layer,
    AudioDeviceDataObserver* observer);


// TODO(bugs.webrtc.org/7306): deprecated.
rtc::scoped_refptr<AudioDeviceModule> CreateAudioDeviceWithDataObserver(
    const int32_t id,
    const AudioDeviceModule::AudioLayer audio_layer,
    AudioDeviceDataObserver* observer);


}  // namespace webrtc

看檔案的內容，應該可以更好的獲取音訊採集資料和播放資料；有時間在具體測試；

當然64版本已經有Ondata函式獲取本地採集資料了，可以簡單獲取採集資料；

還有ADMWrapper ，關於 ADMWrapper ，看我這篇文章：《webrtc中的音訊裝置 音訊採集 AudioDeviceModule》