Pertanyaan Jenis masalah apa yang bisa dipetakan mengurangi solusi?


Apakah ada analisis teoretis yang tersedia yang menggambarkan masalah apa yang bisa dipecahkan oleh mapreduce?


32
2018-04-01 12:40


asal


Jawaban:


Di Map-Reduce untuk Machine Learning di Multicore Chu et al deskripsikan "algoritme yang sesuai dengan model Query Statistik dapat ditulis dalam" bentuk penjumlahan "tertentu, yang memungkinkannya mudah diparalelkan pada komputer multicore." Mereka secara khusus menerapkan 10 algoritme termasuk misalnya regresi linier tertimbang, k-Means, Naive Bayes, dan SVM, menggunakan kerangka peta-reduksi.

Itu Apache Mahout proyek telah merilis implementasi Hadoop (Java) baru-baru ini dari beberapa metode berdasarkan ide-ide dari makalah ini.


9
2018-05-18 04:04



Untuk masalah yang membutuhkan pemrosesan dan menghasilkan set data besar. Katakanlah menjalankan kueri generasi minat di semua akun yang disimpan oleh bank. Katakanlah memproses data audit untuk semua transaksi yang terjadi pada tahun lalu di bank. Kasus penggunaan terbaik adalah dari Google - menghasilkan indeks pencarian untuk mesin pencari google.


5
2018-04-01 12:46



Banyak masalah yang "Memalukan Paralel" (frase hebat!) Dapat menggunakan MapReduce. http://en.wikipedia.org/wiki/Embarrassingly_parallel

Dari artikel ini .... http://www.businessweek.com/magazine/content/07_52/b4064048925836.htm ...

Doug Cutting, pendiri Hadoop (implementasi open source MapReduce) mengatakan ... "Facebook menggunakan Hadoop untuk menganalisis perilaku pengguna dan efektivitas iklan di situs"

dan ... “tim teknologi di The New York Times menyewa kekuatan komputasi di awan Amazon dan menggunakan Hadoop untuk mengonversi 11 juta arsip artikel, sejak tahun 1851, menjadi dokumen digital dan dapat ditelusuri. Mereka berbalik dalam satu hari suatu pekerjaan yang seharusnya memakan waktu berbulan-bulan. ”


5
2018-04-01 13:30



Apa pun yang melibatkan melakukan operasi pada sejumlah besar data, di mana masalah dapat dipecah menjadi sub-masalah independen yang lebih kecil yang hasilnya kemudian dapat dikumpulkan untuk menghasilkan jawaban untuk masalah yang lebih besar.

Contoh sepele akan menghitung jumlah sejumlah besar angka. Anda membagi set menjadi set yang lebih kecil, menghitung jumlah set yang lebih kecil secara paralel (yang dapat melibatkan membagi mereka ke set yang bahkan lebih kecil), kemudian menjumlahkan hasil tersebut untuk mencapai jawaban akhir.


3
2018-04-01 13:02



Jawabannya terletak pada nama algoritma. MapReduce bukan tujuan umum kerja pemrograman paralel atau kerangka eksekusi batch sebagai beberapa jawaban menyarankan. Peta Mengurangi benar-benar berguna ketika besar kumpulan data yang perlu diproses (fase Pemetaan) dan memperoleh atribut tertentu dari sana, dan kemudian perlu diringkas pada atribut yang diturunkan (Tahap Pengurangan).


3
2018-04-12 12:37



Anda juga bisa menonton video @ GoogleSaya mengamati mereka sendiri dan saya menemukan mereka sangat mendidik.


2
2017-08-14 19:21



Semacam pengantar hello world untuk MapReduce

http://blog.diskodev.com/parallel-processing-using-the-map-reduce-prog


1
2017-08-23 06:52



Pertanyaan ini ditanyakan sebelum waktunya. Sejak 2009 sebenarnya ada analisis teoritis dari perhitungan MapReduce. Ini kertas 2010 dari Howard Karloff dkk. memformalkan MapReduce sebagai kelas kompleksitas dengan cara yang sama seperti para teoretikus mempelajari P dan NP. Mereka membuktikan beberapa hubungan antara MapReduce dan kelas yang disebut NC (yang dapat dianggap sebagai mesin paralel memori bersama atau kelas tertentu dari sirkuit terbatas). Tetapi karya utama adalah definisi formal mereka.


1
2018-05-14 01:04