Pertanyaan Phantom.js / Casper.js dengan proksi bergilir?


Saya memiliki tujuan sederhana: memuat laman web dengan baik phantom.js (di luar kotak) atau casper.js (bagus dan mudah) tapi menggunakan proxy dan memutarnya dari daftar jika yang sekarang buruk (mis. pemuatan laman web gagal atau sesuatu seperti itu).

Saya tahu casper.js punya --proxy param tetapi menentukan pengguna untuk menentukan hanya SATU proksi dan menggunakannya selama waktu proses.

Pertanyaan # 1 adalah: bagaimana cara merotasi proxy dengan cepat secara terprogram?

Saya melakukan riset dan menemukan ini pemohon node tetapi tidak terintegrasi dengan casper.js. Saya mencoba untuk mengekstrak hanya fitur proxy di kode tetapi tidak benar-benar memahami cara kerjanya secara singkat (saya tidak sepintar itu menurut saya).

Jadi pertanyaan # 2: apakah ada implementasi sederhana dari rotasi proxy yang berfungsi dengan baik phantom.js atau casper.js? 

Saya lebih suka menggunakan yang mewah casper.js meskipun tetapi akan turun dengan phantom.js telanjang juga.


7
2018-05-25 05:05


asal


Jawaban:


Saya memiliki masalah yang sama beberapa waktu lalu, saya bekerja dengan PhantomJS. Solusi yang kami dapatkan adalah menjalankan PhantomJS sebagai proses anak dari server Java / Scala yang lebih besar yang kemudian menangani kegagalan dan menugaskan proksi yang berbeda ketika diperlukan (dengan menjalankan kembali dengan params yang berbeda di - proxy arg).


6
2018-06-10 15:37