一、簡介

Logstash 是開源的服務器端數據處理管道，能夠同時 從多個來源采集數據、轉換數據，然後將數據發送到您最喜歡的 “存儲庫” 中。（我們的存儲庫當然是 Elasticsearch。）可以用三個詞來概括Logstash：集中、轉換和存儲數據

輸入

采集各種樣式、大小和來源的數據

數據往往以各種各樣的形式，或分散或集中地存在於很多系統中。Logstash 支持各種輸入選擇 ，可以在同一時間從眾多常用來源捕捉事件。能夠以連續的流式傳輸方式，輕松地從您的日誌、指標、Web 應用、數據存儲以及各種 AWS 服務采集數據。

過濾器

實時解析和轉換數據

數據從源傳輸到存儲庫的過程中，Logstash 過濾器能夠解析各個事件，識別已命名的字段以構建結構，並將它們轉換成通用格式，以便更輕松、更快速地分析和實現商業價值。

Logstash 能夠動態地轉換和解析數據，不受格式或復雜度的影響：

• 利用 Grok 從非結構化數據中派生出結構

• 從 IP 地址破譯出地理坐標

• 將 PII 數據匿名化，完全排除敏感字段

• 整體處理不受數據源、格式或架構的影響

我們的過濾器庫豐富多樣，擁有無限可能。

輸出

選擇您的存儲庫，導出您的數據

盡管 Elasticsearch 是我們的首選輸出方向，能夠為我們的搜索和分析帶來無限可能，但它並非唯一選擇。

Logstash 提供眾多輸出選擇，您可以將數據發送到您要指定的地方，並且能夠靈活地解鎖眾多下遊用例。

Logstash的特性：

即插即用

使用 Elastic Stack 加速洞察時間

Logstash 模塊通過流行的數據源（如 ArcSight 和 Netflow ）呈現瞬間可視化的體驗。通過立即部署攝入管道和復雜的儀表板，您的數據探索將以幾分鐘而不是幾天的時間開始。

可擴展

以您自己的方式創建和配置管道

Logstash 采用可插拔框架，擁有 200 多個插件。您可以將不同的輸入選擇、過濾器和輸出選擇混合搭配、精心安排，讓它們在管道中和諧地運行。

您是從自定義應用程序采集數據？沒有看到所需的插件？Logstash 插件很容易構建。我們有一個極好的插件開發 API 和插件生成器，可幫助您開始和分享您的創作。

可靠性

構建可信的交付管道

假如 Logstash 節點發生故障，Logstash 會通過持久化隊列來保證運行中的事件至少一次被送達（at-least-once delivery）。那些未被正常處理的消息會被送往死信隊列（dead letter queue）以便做進一步處理。由於具備了這種吸收吞吐量的能力，現在您無需采用額外的隊列層，Logstash 就能平穩度過高峰期。

監控

全方位監視您的部署

Logstash 管道通常服務於多種用途，會變得非常復雜，因此充分了解管道性能、可用性和瓶頸異常重要。借助 X-Pack monitoring 功能，您可以輕松觀察和研究處於活動狀態的 Logstash 節點或整個部署。

安全

從頭至尾，確保管道安全

無論您運行幾十個還是幾千個 Logstash 實例，我們都能讓您充分保障采集管道的安全。來自 Beats 以及其他輸入選擇的輸入數據可以在傳輸途中加密，並且與受保護的 Elasticsearch 集群完全集成。

其他：

支持多數據獲取機制，通過TCP/UDP協議、文件、syslog、windows EventLogs及STDIN等；獲取到數據後，它支持對數據執行過濾、修改等操作

二、LogStash的安裝

LogStash的安裝依賴java環境，所以我們要安裝配置java環境。

1.安裝並配置java環境

yum install  java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64.rpm
vim /etc/profile.d/java.sh

添加:

export JAVA_HOME=/usr/bin/java

註：我的java在/usr/bin下,可以通過which命令查找下確切位置。

2.安裝LogStash

yum install logstash-1.5.4-1.noarch.rpm

未完待續...

官方網站：https://www.elastic.co/cn/

本文出自 “Hello,World!” 博客，請務必保留此出處http://bovin.blog.51cto.com/7402899/1965851

ELK 之 LogStash