2. 程式人生 > >GStreamer基礎教程07 - 播放速率控制

GStreamer基礎教程07 - 播放速率控制

阿新 • • 發佈：2019-08-23

摘要

　　在常見的媒體播放器中，通常可以看到快進，快退，慢放等功能，這部分功能被稱為“特技模式（Trick Mode）”，這些模式有個共同點：都通過修改播放的速率來達到相應的目的。 本文將介紹如何通過GStreamer去實現快進，快退，慢放以及單幀播放。

 

GStreamer Seek與Step事件

　　快進（Fast-Forward），快退（Fast-Rewind）和慢放（Slow-Motion）都是通過修改播放的速率來達到相應的目的。在GStreamer中，將1倍速作為正常的播放速率，將大於1倍速的2倍，4倍，8倍等倍速稱為快進，慢放則是播放速率的絕對值小於1倍速，當播放速率小於0時，則進行倒放。

在GStreamer中，我們通過seek與step事件來控制Element的播放速率及區域。Step事件允許跳過指定的區域並設定後續的播放速率（此速率必須大於0）。Seek事件允許跳轉到播放檔案中的的任何位置，並且播放速率可以大於0或小於0.
　　在播放時間控制中，我們使用gst_element_seek_simple 來快速的跳轉到指定的位置，此函式是對seek事件的封裝。實際使用時，我們首先需要構造一個seek event，設定seek的絕對起始位置和停止位置，停止位置可以設定為0，這樣會執行seek的播放速率直到結束。同時可以支援按buffer的方式進行seek，以及設定不同的標誌指定seek的行為。
　　Step事件相較於Seek事件需要更少的引數，更易用於修改播放速率，但是不夠靈活。Step事件只會作用於最終的sink，Seek事件則可以作用於Pipeline中所有的Element。Step操作的效率高於Seek。
　　在GStreamer中，單幀播放(Frame Stepping）與快進相同，也是通過事件實現。單幀播放通常在暫停的狀態下，構造併發送step event每次播放一幀。
　　需要注意的是，seek event需要直接作用於sink element（eg： audio sink或video sink），如果直接將seek event作用於Pipeline，Pipeline會自動將事件轉發給所有的sink，如果有多個sink，就會造成多次seek。通常是先獲取Pipeline中的video-sink或audio-sink，然後傳送seek event到指定的sink，完成seek的操作。 Seek時間的構造及傳送示例如下：

   GstEvent *event;
   gboolean result;
   ...
   // construct a seek event to play the media from second 2 to 5, flush
   // the pipeline to decrease latency.
   event = gst_event_new_seek (1.0,
      GST_FORMAT_TIME,
      GST_SEEK_FLAG_FLUSH,
      GST_SEEK_TYPE_SET, 2 * GST_SECOND,
      GST_SEEK_TYPE_SET, 5 * GST_SECOND);
   ...
   result = gst_element_send_event (video_sink, event);
   if (!result)
     g_warning ("seek failed");
   ...

示例程式碼

下面通過一個完整的示例，來檢視GStreamer是如何通過seek和step達到相應的播放速度。

#include <string.h>
#include <stdio.h>
#include <gst/gst.h>

typedef struct _CustomData
{
  GstElement *pipeline;
  GstElement *video_sink;
  GMainLoop *loop;

  gboolean playing;             /* Playing or Paused */
  gdouble rate;                 /* Current playback rate (can be negative) */
} CustomData;

/* Send seek event to change rate */
static void
send_seek_event (CustomData * data)
{
  gint64 position;
  GstEvent *seek_event;

  /* Obtain the current position, needed for the seek event */
  if (!gst_element_query_position (data->pipeline, GST_FORMAT_TIME, &position)) {
    g_printerr ("Unable to retrieve current position.\n");
    return;
  }

  /* Create the seek event */
  if (data->rate > 0) {
    seek_event =
        gst_event_new_seek (data->rate, GST_FORMAT_TIME,
        GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_ACCURATE, GST_SEEK_TYPE_SET,
        position, GST_SEEK_TYPE_END, 0);
  } else {
    seek_event =
        gst_event_new_seek (data->rate, GST_FORMAT_TIME,
        GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_ACCURATE, GST_SEEK_TYPE_SET, 0,
        GST_SEEK_TYPE_SET, position);
  }

  if (data->video_sink == NULL) {
    /* If we have not done so, obtain the sink through which we will send the seek events */
    g_object_get (data->pipeline, "video-sink", &data->video_sink, NULL);
  }

  /* Send the event */
  gst_element_send_event (data->video_sink, seek_event);

  g_print ("Current rate: %g\n", data->rate);
}

/* Process keyboard input */
static gboolean
handle_keyboard (GIOChannel * source, GIOCondition cond, CustomData * data)
{
  gchar *str = NULL;

  if (g_io_channel_read_line (source, &str, NULL, NULL,
          NULL) != G_IO_STATUS_NORMAL) {
    return TRUE;
  }

  switch (g_ascii_tolower (str[0])) {
    case 'p':
      data->playing = !data->playing;
      gst_element_set_state (data->pipeline,
          data->playing ? GST_STATE_PLAYING : GST_STATE_PAUSED);
      g_print ("Setting state to %s\n", data->playing ? "PLAYING" : "PAUSE");
      break;
    case 's':
      if (g_ascii_isupper (str[0])) {
        data->rate *= 2.0;
      } else {
        data->rate /= 2.0;
      }
      send_seek_event (data);
      break;
    case 'd':
      data->rate *= -1.0;
      send_seek_event (data);
      break;
    case 'n':
      if (data->video_sink == NULL) {
        /* If we have not done so, obtain the sink through which we will send the step events */
        g_object_get (data->pipeline, "video-sink", &data->video_sink, NULL);
      }

      gst_element_send_event (data->video_sink,
          gst_event_new_step (GST_FORMAT_BUFFERS, 1, ABS (data->rate), TRUE,
              FALSE));
      g_print ("Stepping one frame\n");
      break;
    case 'q':
      g_main_loop_quit (data->loop);
      break;
    default:
      break;
  }

  g_free (str);

  return TRUE;
}

int
main (int argc, char *argv[])
{
  CustomData data;
  GstStateChangeReturn ret;
  GIOChannel *io_stdin;

  /* Initialize GStreamer */
  gst_init (&argc, &argv);

  /* Initialize our data structure */
  memset (&data, 0, sizeof (data));

  /* Print usage map */
  g_print ("USAGE: Choose one of the following options, then press enter:\n"
      " 'P' to toggle between PAUSE and PLAY\n"
      " 'S' to increase playback speed, 's' to decrease playback speed\n"
      " 'D' to toggle playback direction\n"
      " 'N' to move to next frame (in the current direction, better in PAUSE)\n"
      " 'Q' to quit\n");

  /* Build the pipeline */
  data.pipeline =
      gst_parse_launch
      ("playbin uri=https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm",
      NULL);

  /* Add a keyboard watch so we get notified of keystrokes */
#ifdef G_OS_WIN32
  io_stdin = g_io_channel_win32_new_fd (fileno (stdin));
#else
  io_stdin = g_io_channel_unix_new (fileno (stdin));
#endif
  g_io_add_watch (io_stdin, G_IO_IN, (GIOFunc) handle_keyboard, &data);

  /* Start playing */
  ret = gst_element_set_state (data.pipeline, GST_STATE_PLAYING);
  if (ret == GST_STATE_CHANGE_FAILURE) {
    g_printerr ("Unable to set the pipeline to the playing state.\n");
    gst_object_unref (data.pipeline);
    return -1;
  }
  data.playing = TRUE;
  data.rate = 1.0;

  /* Create a GLib Main Loop and set it to run */
  data.loop = g_main_loop_new (NULL, FALSE);
  g_main_loop_run (data.loop);

  /* Free resources */
  g_main_loop_unref (data.loop);
  g_io_channel_unref (io_stdin);
  gst_element_set_state (data.pipeline, GST_STATE_NULL);
  if (data.video_sink != NULL)
    gst_object_unref (data.video_sink);
  gst_object_unref (data.pipeline);
  return 0;
}

　　通過下面的命令編譯即可得到可執行檔案，在終端輸入相應指令可修改播放速率。

gcc basic-tutorial-7.c -o basic-tutorial-7 `pkg-config --cflags --libs gstreamer-1.0`

原始碼分析

　　本例中，Pipeline的建立與其他示例相同，通過playbin播放檔案，採用GLib的I/O介面來處理鍵盤輸入。

/* Process keyboard input */
static gboolean handle_keyboard (GIOChannel *source, GIOCondition cond, CustomData *data) {
  gchar *str = NULL;

  if (g_io_channel_read_line (source, &str, NULL, NULL, NULL) != G_IO_STATUS_NORMAL) {
    return TRUE;
  }

  switch (g_ascii_tolower (str[0])) {
  case 'p':
    data->playing = !data->playing;
    gst_element_set_state (data->pipeline, data->playing ? GST_STATE_PLAYING : GST_STATE_PAUSED);
    g_print ("Setting state to %s\n", data->playing ? "PLAYING" : "PAUSE");
    break;

　　在終端輸入P時，使用gst_element_set_state ()設定播放狀態。

case 's':
  if (g_ascii_isupper (str[0])) {
    data->rate *= 2.0;
  } else {
    data->rate /= 2.0;
  }
  send_seek_event (data);
  break;
case 'd':
  data->rate *= -1.0;
  send_seek_event (data);
  break;

　　通過S和s增加和降低播放速度，d用於改變播放方向（倒放），這裡在修改rate後，呼叫send_seek_event實現真正的處理。

/* Send seek event to change rate */
static void send_seek_event (CustomData *data) {
  gint64 position;
  GstEvent *seek_event;

  /* Obtain the current position, needed for the seek event */
  if (!gst_element_query_position (data->pipeline, GST_FORMAT_TIME, &position)) {
    g_printerr ("Unable to retrieve current position.\n");
    return;
  }

　　這個函式會構造一個SeekEvent傳送到Pipeline以調節速率。因為Seek Event會跳轉到指定的位置，但我們在此例彙總只想改變速率，不跳轉到其他位置，所以首先通過gst_element_query_position ()獲取當前的播放位置。

/* Create the seek event */
if (data->rate > 0) {
  seek_event = gst_event_new_seek (data->rate, GST_FORMAT_TIME, GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_ACCURATE,
      GST_SEEK_TYPE_SET, position, GST_SEEK_TYPE_END, 0);
} else {
  seek_event = gst_event_new_seek (data->rate, GST_FORMAT_TIME, GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_ACCURATE,
      GST_SEEK_TYPE_SET, 0, GST_SEEK_TYPE_SET, position);
}

　　通過gst_event_new_seek()建立SeekEvent，設定新的rate，flag，起始位置，結束位置。需要注意的是，起始位置需要小於結束位置。

if (data->video_sink == NULL) {
  /* If we have not done so, obtain the sink through which we will send the seek events */
  g_object_get (data->pipeline, "video-sink", &data->video_sink, NULL);
}
/* Send the event */
gst_element_send_event (data->video_sink, seek_event);

　　正如上文提到的，為了避免Pipeline執行多次的seek，我們在此處獲取video-sink，並向其傳送SeekEvent。我們直到執行Seek時才獲取video-sink是因為實際的sink有可能會根據不同的媒體型別，在PLAYING狀態時才建立。

　　以上部分內容就是速率的修改，關於單幀播放的情況，實現方式更加簡單：

case 'n':
  if (data->video_sink == NULL) {
    /* If we have not done so, obtain the sink through which we will send the step events */
    g_object_get (data->pipeline, "video-sink", &data->video_sink, NULL);
  }

  gst_element_send_event (data->video_sink,
      gst_event_new_step (GST_FORMAT_BUFFERS, 1, ABS (data->rate), TRUE, FALSE));
  g_print ("Stepping one frame\n");
  break;

　　我們通過gst_event_new_step()建立了StepEvent，並指定只跳轉一幀，且不改變當前速率。單幀播放通常都是先暫停，然後再進行單幀播放。

　　

　　以上就是通過GStreamer實現播放速率的控制，實際中，有些Element對倒放支援不是很好，不能達到理想的效果。

 

總結

通過本文我們掌握了：

  • 如何通過gst_event_new_seek()構造SeekEvent，通過gst_element_send_event()傳送到sink改變速率。
  • 如何通過gst_event_new_step()實現單幀播放。

 

引用

https://gstreamer.freedesktop.org/documentation/tutorials/basic/playback-speed.html?gi-language=c
https://gstreamer.freedesktop.org/documentation/additional/design/seeking.html?gi-language=c
https://gstreamer.freedesktop.org/documentation/additional/design/framestep.html?gi-language=c

 

作者：John.Leng 出處：http://www.cnblogs.com/xleng/ 本文版權歸作者所有，歡迎轉載。商業轉載請聯絡作者獲得授權，非商業轉載請在文章頁面明顯位置給出原文連線.

相關推薦

GStreamer基礎教程07 - 播放速率控制

摘要 　　在常見的媒體播放器中，通常可以看到快進，快退，慢放等功能，這部分功能被稱為“特技模式（Trick Mode）”，這些模式有個共同點：都通過修改播放的速率來達到相應的目的。 本文將介紹如何通過GStreamer去實現快進，快退，慢放以及單幀播放。   GStre

GStreamer基礎教程05 - 播放時間控制

簡介 在多媒體應用中，我們通常需要查詢媒體檔案的總時間、當前播放位置，以及跳轉到指定的時間點。GStreamer提供了相應的介面來實現此功能，在本文中，我們將通過示例瞭解如何查詢時間資訊，以及如何進行跳轉到指定位置。   GStreamer查詢機制 GStreamer提供了GstQuery的

GStreamer基礎教程07——多執行緒和Pad的有效性

目標       GStreamer會自動處理多執行緒這部分，但在有些情況下，你需要手動對執行緒做解耦。本教程會教你怎樣才能做到這一點，另外也展示了Pad的有效性。主要內容包括：       如何針對部分的pipeline建立一個新的執行緒       什麼是Pad的有效性

gstreamer基礎教程11-Debugging tools

Goal 有事我們會出現一些錯誤，GSteam會給我們提供一些除錯資訊幫助我們來定位問題。主要包括：如何獲取更多除錯資訊，如何將除錯資訊列印到日誌裡，如何獲取pipeline圖。 Sometimes things won’t go as expected an

Scala基礎教程－－3控制結構與函式

在java語言中，表示式表示值，語句表示執行動作。 例如：表示式1+1表示值；thread.start()表示執行動作。 所有語法結構都有值，那怕是不存在用Unit型別. if/else語句 有值，為跟在if或else之後的表示式的值。 例：val s = if(x >

【GStreamer開發】GStreamer基礎教程16——平臺相關的element

目標       雖然GStreamer是跨平臺的framework，但不是所有的element都是在所有平臺下都有的。比如，音訊和視訊的sink都非常依賴於當前的window系統，根據當前的平臺需要選擇不同的element。當然，你在執行playbin2或者autovid

GStreamer基礎教程01——Hello World

目標       對於一個軟體庫來說，沒有比在螢幕上打印出Hello World更近直觀的第一印象了。因為我們是在和一個多媒體的framework打交道，所以我們準備播放一段視訊來代替Hello World。不要被下面的程式碼嚇唬住了——真正起作用的也就四行而已。剩下的都是

GStreamer基礎教程11——除錯工具

目標       有時我們的應用並沒有按照我們的預期來工作，並且在總線上獲得的錯誤資訊也沒有足夠的內容。這時我們該怎麼辦呢？幸運的時，GStreamer自身提供了大量的除錯資訊，通常這些資訊會給出一些線索，指向出錯的地方。本教程主要講述：       如何在GStreame

Gstreamer基礎教程01 - Hello World

摘要 在面對一個新的軟體庫時，第一步通常實現一個“hello world”程式，來了解庫的用法。對於GStreamer，我們可以實現一個極簡的播放器，來了解GStreamer的使用。   環境配置 為了快速掌握Gstreamer相關的知識，我們優先選擇Ubuntu作為

GStreamer基礎教程02 - 基本概念

摘要 在 Gstreamer基礎教程01 - Hello World中，我們介紹瞭如何快速的通過一個字串建立一個簡單的pipeline。為了能夠更好的控制pipline中的element，我們需要單獨建立element，然後再構造pipeline，下面將介紹GStreamer的一些基本概念並展示pipeli

GStreamer基礎教程03 - 媒體型別與Pad

摘要 　　在上一篇文章中，我們介紹瞭如何將多個element連線起來構造一個pipline，進行資料傳輸。那麼GStreamer是通過何種方式保證element之間能正常的進行資料傳輸？今天就將介紹GStreamer是如何利用Pad來控制資料的傳輸。   Pad 　　我們知道，pad是ele

GStreamer基礎教程04 - 動態連線Pipeline

摘要 在以前的文章中，我們瞭解到了2種播放檔案的方式：一種是在知道了檔案的型別及編碼方式後，手動建立所需Element並構造Pipeline；另一種是直接使用playbin，由playbin內部動態建立所需Element並連線Pipeline。很明顯使用playbin的方式更加靈活，我們不需要在一開始就建立

GStreamer基礎教程06 - 獲取媒體資訊

摘要 在常見的媒體檔案中，通常包含一些資料（例如：歌手，專輯，編碼型別等），用於描述媒體檔案。通常稱這些資料為元資料（Metadata：data that provides information about other data）。我們可以通過這些元資料對媒體進行歸類，同時可以在播放的過程中通過介面顯示。

GStreamer基礎教程08 - 多執行緒

摘要 　　GStreamer框架會自動處理多執行緒的邏輯，但在某些情況下，我們仍然需要根據實際的情況自己將部分Pipeline在單獨的執行緒中執行，本文將介紹如何處理這種情況。 GStreamer多執行緒 　　GStreamer框架是一個支援多執行緒的框架，執行緒會根據Pipeline的需要自動建立和銷

GStreamer基礎教程09 - Appsrc及Appsink

摘要 在我們前面的文章中，我們的Pipline都是使用GStreamer自帶的外掛去產生/消費資料。在實際的情況中，我們的資料來源可能沒有相應的gstreamer外掛，但我們又需要將資料傳送到GStreamer Pipeline中。GStreamer為我們提供了Appsrc以及Appsink外掛，用於處理這

Gstreamer基礎教程10 - Streaming

摘要 　　我們把直接從網路播放一個媒體檔案的方式稱為線上播放（Online Streaming），我們已經在以往的例子中體驗了GStreamer的線上播放功能，當我們指定播放URI為 http:// 時，GStreamer內部會自動通過網路獲取媒體資料。在今天的示例中，我們將進一步瞭解如何處理由網路問題導致

GStreamer基礎教程11 - 與QT整合

摘要 　　通常我們的播放引擎需要和GUI進行整合，在使用GStreamer時，GStreamre會負責媒體的播放及控制，GUI會負責處理使用者的互動操作以及建立顯示的視窗。本例中我們將結合QT介紹如何指定GStreamer將視訊輸出到指定視窗，以及如何利用GStreamer上報的資訊去更新GUI。 &nb

GStreamer基礎教程12 - 常用命令工具

摘要 　　GStreamer提供了不同的命令列工具用於快速的檢視資訊以及驗證Pipeline的是否能夠正確執行，在平時的開發過程中，我們也優先使用GStreamer的命令列工具驗證，再將Pipeline整合到應用中。本文將介紹gst-inspect-1.0，gst-discoverer-1.0，gst-lau

GStreamer基礎教程13 - 除錯Pipeline

摘要 　　在很多情況下，我們需要對GStreamer建立的Pipeline進行除錯，來了解其執行機制以解決所遇到的問題。為此，GStreamer提供了相應的除錯機制，方便我們快速定位問題。   檢視除錯日誌 使用GST_DEBUG環境變數檢視日誌 　　GStreamer框架以及其外掛提供了不同級別的

零基礎讀懂視頻播放器控制原理： ffplay 播放器源代碼分析

5.4 編碼方式 是否播放 都對 enum 其中 mat 源碼 開始 https://www.qcloud.com/community/article/535574001486630869 視頻播放器原理其實大抵相同，都是對音視頻幀序列的控制。只是一些播放器在音視頻同步上可