Pertanyaan Memiliki Logstash membaca JSON


Saya mencoba menggunakan log masuk untuk menganalisis file yang berisi objek JSON sebagai berikut:

{"Query":{"project_id":"a7565b911f324a9199a91854ea18de7e","timestamp":1392076800,"tx_id":"2e20a255448742cebdd2ccf5c207cd4e","token":"3F23A788D06DD5FE9745D140C264C2A4D7A8C0E6acf4a4e01ba39c66c7c9cbd6a123588b22dc3a24"}}
{"Response":{"result_code":"Success","project_id":"a7565b911f324a9199a91854ea18de7e","timestamp":1392076801,"http_status_code":200,"tx_id":"2e20a255448742cebdd2ccf5c207cd4e","token":"3F23A788D06DD5FE9745D140C264C2A4D7A8C0E6acf4a4e01ba39c66c7c9cbd6a123588b22dc3a24","targets":[]}}
{"Query":{"project_id":"a7565b911f324a9199a91854ea18de7e","timestamp":1392076801,"tx_id":"f7f68c7fb14f4959a1db1a206c88a5b7","token":"3F23A788D06DD5FE9745D140C264C2A4D7A8C0E6acf4a4e01ba39c66c7c9cbd6a123588b22dc3a24"}}

Idealnya saya mengharapkan Logstash untuk memahami JSON. Saya menggunakan konfigurasi berikut:

input {
 file {
    type => "recolog"

    format => json_event

    # Wildcards work, here :)
    path => [ "/root/isaac/DailyLog/reco.log" ]
  } 
}

output {
  stdout { debug => true }
  elasticsearch { embedded => true }
}

Saya membangun file ini berdasarkan ini Resep Apache

Saat menjalankan logstash dengan debug = true, ia akan membaca objek seperti ini: Bagaimana saya bisa melihat statistik di GUI kibana berdasarkan file JSON saya, misalnya jumlah objek Query dan bahkan kueri berdasarkan stempel waktu. Untuk saat ini sepertinya ia mengerti versi yang sangat dasar dari data bukan strukturnya.

Thx sebelumnya


5
2018-02-20 12:04


asal


Jawaban:


Saya menemukan bahwa logstash akan secara otomatis mendeteksi JSON byt menggunakan bidang codec dalam input file sebagai berikut:

input {
   stdin {
   type => "stdin-type"
 }

 file {
    type => "prodlog"

    # Wildcards work, here :)
    path => [ "/root/isaac/Mylogs/testlog.log"]

    codec => json
 }
}

output {
  stdout { debug => true }
  elasticsearch { embedded => true }
}

Kemudian Kibana menunjukkan bidang-bidang JSON dengan sempurna.


7
2018-02-20 17:28