目標

      GStreamer會自動處理多執行緒這部分，但在有些情況下，你需要手動對執行緒做解耦。本教程會教你怎樣才能做到這一點，另外也展示了Pad的有效性。主要內容包括：

      如何針對部分的pipeline建立一個新的執行緒

      什麼是Pad的有效性

      如何複製流

介紹

多執行緒

      GStreamer是一個支援多執行緒的框架。這就說明，如果有必要它會在內部自動建立/銷燬執行緒。比如：在應用執行緒中把流解出來。而且，plugin在自身也可以任意的建立執行緒，比如一個視訊解碼器為了充分利用4核CPU的能力，可以建立4個執行緒。

      這裡最重要的是，當應用在建立pipeline時可以明確一個branch（一部分pipeline）在另一個執行緒中執行（比如，讓音訊解碼和視訊解碼同時執行）。

      這個可以用queue element來達到這個目的，執行的時候sink pad僅僅負責把資料放到queue裡面，同時在另一個執行緒裡把資料從queue裡面取出並向下傳送。這個element同樣可以用來做緩衝，這點在後面講述流的教程時可以看到。Queue的大小事可以用設定屬性的方法來設定的。

一個pipeline例子

      這個例子建立的pipeline如下圖所示。

      這裡的源是一個合成的音訊訊號（一個連續的tone），這個音訊訊號會被tee element分成兩路。一路傳送訊號到音效卡，另一個就在螢幕上渲染一個波形。

      從圖上看，queue會建立一個新的執行緒，所以整個pipeline有3個執行緒在執行。通常來說，有多於一個的sink element時就需要多個執行緒。這是因為在同步時，sink通常是阻塞起來等待所有其他的sink都準備好，如果僅僅只有一個執行緒是無法做到這一點的。

Request pads

      在《GStreamer基礎教程03——動態pipeline》裡面，我們看見了一個初始時沒有pad的element(uridecodebin)，pad會在資料流到element時才會出現。這種pad被成為Sometimes Pad，平時的那種一直存在的pad被稱為Always Pad。

      第三種pad稱為Request Pad，這是根據需要來建立的。經典的例子就是tee element——有1個輸入pad而沒有輸出pad，需要有申請，tee  element才會生成。通過這種方法，輸入流可以被複製成多份。和Always Pad比起來，Request Pad因為並非一直存在，所以是不能自動連線element的，這點在下面的例子中可以看到。

      另外，在PLAYING或PAUSED狀態下去獲得pad需要注意（Pad阻塞，本教程沒有講到這點），在NULL和READY狀態去獲得pad就沒有這個問題。

      閒話少說，上程式碼。

簡單地多執行緒例子

#include <gst/gst.h>
  
int main(int argc, char *argv[]) {
  GstElement *pipeline, *audio_source, *tee, *audio_queue, *audio_convert, *audio_resample, *audio_sink;
  GstElement *video_queue, *visual, *video_convert, *video_sink;
  GstBus *bus;
  GstMessage *msg;
  GstPadTemplate *tee_src_pad_template;
  GstPad *tee_audio_pad, *tee_video_pad;
  GstPad *queue_audio_pad, *queue_video_pad;
  
  /* Initialize GStreamer */
  gst_init (&argc, &argv);
  
  /* Create the elements */
  audio_source = gst_element_factory_make ("audiotestsrc", "audio_source");
  tee = gst_element_factory_make ("tee", "tee");
  audio_queue = gst_element_factory_make ("queue", "audio_queue");
  audio_convert = gst_element_factory_make ("audioconvert", "audio_convert");
  audio_resample = gst_element_factory_make ("audioresample", "audio_resample");
  audio_sink = gst_element_factory_make ("autoaudiosink", "audio_sink");
  video_queue = gst_element_factory_make ("queue", "video_queue");
  visual = gst_element_factory_make ("wavescope", "visual");
  video_convert = gst_element_factory_make ("ffmpegcolorspace", "csp");
  video_sink = gst_element_factory_make ("autovideosink", "video_sink");
  
  /* Create the empty pipeline */
  pipeline = gst_pipeline_new ("test-pipeline");
  
  if (!pipeline || !audio_source || !tee || !audio_queue || !audio_convert || !audio_resample || !audio_sink ||
      !video_queue || !visual || !video_convert || !video_sink) {
    g_printerr ("Not all elements could be created.\n");
    return -1;
  }
  
  /* Configure elements */
  g_object_set (audio_source, "freq", 215.0f, NULL);
  g_object_set (visual, "shader", 0, "style", 3, NULL);
  
  /* Link all elements that can be automatically linked because they have "Always" pads */
  gst_bin_add_many (GST_BIN (pipeline), audio_source, tee, audio_queue, audio_convert, audio_resample, audio_sink,
      video_queue, visual, video_convert, video_sink, NULL);
  if (gst_element_link_many (audio_source, tee, NULL) != TRUE ||
      gst_element_link_many (audio_queue, audio_convert, audio_resample, audio_sink, NULL) != TRUE ||
      gst_element_link_many (video_queue, visual, video_convert, video_sink, NULL) != TRUE) {
    g_printerr ("Elements could not be linked.\n");
    gst_object_unref (pipeline);
    return -1;
  }
  
  /* Manually link the Tee, which has "Request" pads */
  tee_src_pad_template = gst_element_class_get_pad_template (GST_ELEMENT_GET_CLASS (tee), "src%d");
  tee_audio_pad = gst_element_request_pad (tee, tee_src_pad_template, NULL, NULL);
  g_print ("Obtained request pad %s for audio branch.\n", gst_pad_get_name (tee_audio_pad));
  queue_audio_pad = gst_element_get_static_pad (audio_queue, "sink");
  tee_video_pad = gst_element_request_pad (tee, tee_src_pad_template, NULL, NULL);
  g_print ("Obtained request pad %s for video branch.\n", gst_pad_get_name (tee_video_pad));
  queue_video_pad = gst_element_get_static_pad (video_queue, "sink");
  if (gst_pad_link (tee_audio_pad, queue_audio_pad) != GST_PAD_LINK_OK ||
      gst_pad_link (tee_video_pad, queue_video_pad) != GST_PAD_LINK_OK) {
    g_printerr ("Tee could not be linked.\n");
    gst_object_unref (pipeline);
    return -1;
  }
  gst_object_unref (queue_audio_pad);
  gst_object_unref (queue_video_pad);
  
  /* Start playing the pipeline */
  gst_element_set_state (pipeline, GST_STATE_PLAYING);
  
  /* Wait until error or EOS */
  bus = gst_element_get_bus (pipeline);
  msg = gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE, GST_MESSAGE_ERROR | GST_MESSAGE_EOS);
  
  /* Release the request pads from the Tee, and unref them */
  gst_element_release_request_pad (tee, tee_audio_pad);
  gst_element_release_request_pad (tee, tee_video_pad);
  gst_object_unref (tee_audio_pad);
  gst_object_unref (tee_video_pad);
  
  /* Free resources */
  if (msg != NULL)
    gst_message_unref (msg);
  gst_object_unref (bus);
  gst_element_set_state (pipeline, GST_STATE_NULL);
  
  gst_object_unref (pipeline);
  return 0;
}

  /* Create the elements */
  audio_source = gst_element_factory_make ("audiotestsrc", "audio_source");
  tee = gst_element_factory_make ("tee", "tee");
  audio_queue = gst_element_factory_make ("queue", "audio_queue");
  audio_convert = gst_element_factory_make ("audioconvert", "audio_convert");
  audio_resample = gst_element_factory_make ("audioresample", "audio_resample");
  audio_sink = gst_element_factory_make ("autoaudiosink", "audio_sink");
  video_queue = gst_element_factory_make ("queue", "video_queue");
  visual = gst_element_factory_make ("wavescope", "visual");
  video_convert = gst_element_factory_make ("ffmpegcolorspace", "csp");
  video_sink = gst_element_factory_make ("autovideosink", "video_sink");

      audiotestsrc會建立一個合成的tone，wavescope會像示波器一樣用一個音訊訊號來渲染出一個波形。我們前面已經用過autoaudiosink和autovideosink這兩個element了。

      轉換element（audio convert，audioresample和ffmpegcolorspace）也是必須的，它們可以保證pipeline可以正確地連線。事實上，音訊和視訊的sink的Caps是由硬體確定的，所以你在設計時是不知道audiotestsrc和wavescope是否可以匹配上。如果Caps能夠匹配，這些element的行為就類似於直通——對訊號不做任何修改，這對於效率的影響基本可以忽略不計。

  /* Configure elements */
  g_object_set (audio_source, "freq", 215.0f, NULL);
  g_object_set (visual, "shader", 0, "style", 3, NULL);

  /* Link all elements that can be automatically linked because they have "Always" pads */
  gst_bin_add_many (GST_BIN (pipeline), audio_source, tee, audio_queue, audio_convert, audio_resample, audio_sink,
      video_queue, visual, video_convert, video_sink, NULL);
  if (gst_element_link_many (audio_source, tee, NULL) != TRUE ||
      gst_element_link_many (audio_queue, audio_convert, audio_resample, audio_sink, NULL) != TRUE ||
      gst_element_link_many (video_queue, visual, video_convert, video_sink, NULL) != TRUE) {
    g_printerr ("Elements could not be linked.\n");
    gst_object_unref (pipeline);
    return -1;
  }

  /* Manually link the Tee, which has "Request" pads */
  tee_src_pad_template = gst_element_class_get_pad_template (GST_ELEMENT_GET_CLASS (tee), "src%d");
  tee_audio_pad = gst_element_request_pad (tee, tee_src_pad_template, NULL, NULL);
  g_print ("Obtained request pad %s for audio branch.\n", gst_pad_get_name (tee_audio_pad));
  queue_audio_pad = gst_element_get_static_pad (audio_queue, "sink");
  tee_video_pad = gst_element_request_pad (tee, tee_src_pad_template, NULL, NULL);
  g_print ("Obtained request pad %s for video branch.\n", gst_pad_get_name (tee_video_pad));
  queue_video_pad = gst_element_get_static_pad (video_queue, "sink");
  if (gst_pad_link (tee_audio_pad, queue_audio_pad) != GST_PAD_LINK_OK ||
      gst_pad_link (tee_video_pad, queue_video_pad) != GST_PAD_LINK_OK) {
    g_printerr ("Tee could not be linked.\n");
    gst_object_unref (pipeline);
    return -1;
  }
  gst_object_unref (queue_audio_pad);
  gst_object_unref (queue_video_pad);

      為了連線Request Pad，需要獲得對element的“requesting”。一個element可能可以建立不同種類的Request Pad，所以，當請求Pad生成時，必須提供想要的Pad模板。Pad模板可以用gst_element_class_get_pad_template()方法來獲得，而且用它們的名字來區分開。在tee element的文件裡面我們可以看到兩個pad模板，分別被稱為“sink”（sink pad）和“src%d”（Request Pad）。

      一旦我們有了Pad模板，我們就用gst_element_request_pad()方法向tee請求兩個Pad——分別給音訊分支和視訊分支。

      然後我們去獲得下游的element需要連線Request Pad的Pad，這些通常都是Always Pad，所以我們用get_element_get_static_pad()方法去獲得。

      最後，我們用gst_pad_link()方法把pad連線起來。在gst_element_link()和gst_element_link_many()方法裡面也是呼叫這個函式來連線的。

      我們獲得的這個sink pad需要通過gst_object_unref()來釋放。Request Pad是在我們不需要的時候釋放，也就是在程式的最後。

      就像平常一樣，我們設定pipeline到PLAYING狀態，等待一個錯誤訊息或者EOS訊息到達。剩下的所有事情就是清楚request pad。

  /* Release the request pads from the Tee, and unref them */
  gst_element_release_request_pad (tee, tee_audio_pad);
  gst_element_release_request_pad (tee, tee_video_pad);
  gst_object_unref (tee_audio_pad);
  gst_object_unref (tee_video_pad);