Pertanyaan Pekerjaan Hadoop / YARN FAILED - "keluar dengan exitCode: -1000 karena: Tidak dapat menemukan direktori lokal yang valid untuk nmPrivate ..."


Saya mencoba menjalankan pekerjaan MapReduce dengan Hadoop, YARN, dan Accumulo.

Saya mendapatkan hasil sebagai berikut bahwa saya tidak dapat melacak masalah ini. Tampaknya menjadi masalah BENANG, tetapi saya tidak yakin apa yang dicari. Saya memiliki folder nmPrivate di lokasi $ HADOOP_PREFIX / grid / hadoop / hdfs / yarn / logs. Apakah ini folder yang dikatakannya tidak dapat ditemukan?

14/03/31 08:48:46 INFO mapreduce.Job: Job job_1395942264921_0023 failed with state FAILED due to: Application application_1395942264921_0023 failed 2 times due to AM Container for appattempt_1395
942264921_0023_000002 exited with  exitCode: -1000 due to: Could not find any valid local directory for nmPrivate/container_1395942264921_0023_02_000001.tokens
.Failing this attempt.. Failing the application.

5
2018-03-31 14:12


asal


Jawaban:


SEBAB

Deskripsi tentang apa yang menyebabkan masalah.

Peta Mengurangi tugas selama eksekusi akan menyimpan data antara ke direktori lokal, direktori ini ditentukan oleh parameter mapreduce.cluster.local.dir (Nama lama tidak berlaku lagi: mapred.local.dir) ditentukan dalam mapred-site.xml.

Selama pemrosesan pekerjaan, kerangka pengurangan peta mencari direktori yang ditentukan oleh mapreduce.cluster.local.dir parameter dan memverifikasi jika ada cukup ruang pada direktori yang tercantum untuk membuat file perantara, jika tidak ada direktori yang memiliki ruang yang diperlukan, peta mengurangi pekerjaan akan gagal dengan kesalahan seperti yang dibagikan di atas.

RESOLUSI

Contoh langkah untuk menyelesaikan masalah.

  1. Pastikan bahwa ada cukup ruang di direktori lokal berdasarkan pada persyaratan data yang akan diproses.

  2. Anda dapat memampatkan file output antara untuk meminimalkan konsumsi ruang.


1
2017-07-07 06:13



Saat saya menguji spark-submit-on-yarn dalam mode klaster:

spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi /usr/local/install/spark-2.2.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.2.0.jar 100

saya mendapatkan kesalahan yang sama:

Application application_1532249549503_0007 failed 2 times due to AM Container for appattempt_1532249549503_0007_000002 exited with exitCode: -1000 Failing this attempt.Diagnostics: java.io.IOException: Resource file:/usr/local/install/spark-2.2.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.2.0.jar changed on src filesystem (expected 1531576498000, was 1531576511000

ada satu saran untuk menghilangkan kesalahan semacam ini, untuk merevisi core-site.xml atau conf lain dari HADOOP.

Akhirnya, saya memperbaiki kesalahan dengan mengatur properti fs.defaultFS di $ HADOOP_HOME / etc / hadoop / core-site.xml


0
2017-07-23 08:30