Pertanyaan Bagaimana cara menyimpan dan menyimpan sementara tabel di Spark SQL?


Saya telah bekerja kode untuk membaca file teks dan menggunakan sebagai tabel sementara yang terdaftar di memori. Saya ingin memuat satu set tabel ini menggunakan skrip atau impor modul dan kemudian menanyakannya secara interaktif. Jika jika memasukkan kode ini ke dalam skrip dan fungsi, yang merupakan objek yang harus saya kembalikan? Konteks sc? Meja? The HadoopRDD?

file = "/file.tsv"
lines = sc.textFile(file)
parts = lines.map(lambda l: l.split("\t")).filter(lambda line:len(line)==7)

active_sessions = parts.map(lambda p: Row( 
    session=p[0]
    , user_id=p[1]
    , created=p[2]
    , updated=p[3]
    , id=p[4]
    , deleted=p[5]
    , resource_id=p[6]))

schemaTable = sqlContext.inferSchema(active_sessions)
schemaTable.registerTempTable("active_sessions")
sqlContext.cacheTable("active_sessions")

4
2018-03-23 12:59


asal


Jawaban:


Saya memiliki masalah yang sama dan akhirnya kembali:

return sqlContext.table("active_sessions")

Saya telah mendaftarkannya sebagai meja daripada temptable, tetapi juga berfungsi dengan temptable.


0
2017-11-10 17:19