Pertanyaan csv membaca di babi, file csv berisi tanda kutip dikutip


Jadi data saya terlihat seperti ini

asdf, asdf, "adsf,qwef", asdf 

Ketika saya membaca data menggunakan babi

PigStorage(',')

Ini menyimpan "adsf, qwef" sebagai dua data, dan menyimpannya seperti

{ "adsf } { qwef" } 

Saya ingin kutipan diperlakukan sebagai data tunggal.

Apa yang harus saya lakukan?

Saya mencoba menulis sebuah pigscript untuk melakukan ini.


4
2017-07-23 16:39


asal


Jawaban:


Anda harus menggunakan CSVLoader:

data = LOAD 'my.csv' USING org.apache.pig.piggybank.storage.CSVExcelStorage() 
    AS (...);

Di mana ... adalah pengidentifikasi.

CATATAN: Anda harus mendaftarkan Piggybank terlebih dahulu. Detail di sini: https://cwiki.apache.org/confluence/display/PIG/PiggyBank


6
2017-07-23 16:51