Web Crawler and Scraper for Files and Links

Web Crawler and Scraper for Files and Links

Source Code : Web Crawler and Scraper for Files and Links
Auhtor : XIO
Kategori : Software
Harga Resmi : $7 (Single License)
Order Via : CodeCanyon ( $7 – Single License )
Order Via : Nextcloud ( $7 IDR 70.000 – Single License )
Order Via : Nextcloud ( IDR 70.000 ⇒ IDR 7.000 – License Bersama )
Live Demo : Live Demo Web Crawler and Scraper for Files and Links
Keyword : crawl,deep crawl,deep link,e-mail parser,file find,file finder,html,image crawl,image find,link parser,parser,pdf,scrape,web crawler,web scraper

Bacaan Lainnya

Tentang Web Crawler dan Scraper

Web Crawler dapat digunakan untuk mendapatkan link, email, gambar, dan file dari halaman web atau situs.

Web Crawler memiliki antarmuka yang sederhana dan intuitif.

Crawler ini multithread dan dioptimalkan untuk performa. Ini memindai halaman web berdasarkan jenis MIME dan ekstensi file, sehingga dapat menemukan tautan tersembunyi.

Dua aplikasi disertakan dalam paket. Aplikasi Windows Forms dan aplikasi WPF baru dengan fungsionalitas yang diperluas. Fitur “Deep crawl” memungkinkan crawler untuk mencari semua halaman yang ditautkan dari situs yang dipilih.

Setelah merayapi, Perayap Web akan menyimpan semua tautan dan alamat email ke folder yang dipilih, bersama dengan semua file yang dirayapi.

Crawler / scraper WPF memungkinkan pengguna memasukkan ekspresi reguler untuk mengikis halaman web. Aplikasi baru memberi pengguna kontrol yang lebih besar atas proses perayapan.

Cara menggunakan crawler Windows Forms

Di bagian atas adalah kotak untuk memasukkan URL yang akan dirayapi. Di bawah kotak URL adalah folder tempat menyimpan file yang dirayapi. Kotak terakhir adalah untuk ekstensi file yang harus dicari oleh crawler. Jika kotak ekstensi file dibiarkan kosong, maka program hanya mencari link dan email pada halaman tersebut dan menyimpannya ke file linkList.txt dan emailList.txt di direktori output.

Aplikasi ini terutama dimaksudkan untuk perayapan subhalaman, tetapi dapat merayapi seluruh situs web jika opsi “perayapan dalam” dicentang. Opsi ini sangat intensif sumber daya karena mencoba membuat koneksi paralel ke server untuk kinerja yang lebih baik.

Cara menggunakan crawler dan scraper WPF

WPF memiliki antarmuka yang mirip dengan crawler / scraper Windows Forms. Tiga kotak pertama memiliki fungsi yang sama. Kotak terakhir adalah opsional. Ini dapat digunakan untuk memasukkan ekspresi reguler yang digunakan untuk menelusuri setiap laman web yang dirayapi untuk apa pun yang dapat dicocokkan dengan ekspresi reguler. Ini dapat digunakan untuk mencari nomor telepon, nama, lokasi, dll.

Crawler ini multithread dan dioptimalkan untuk performa. Ini memindai halaman web berdasarkan jenis MIME dan ekstensi file, sehingga dapat menemukan tautan tersembunyi. Ada beberapa dukungan untuk panggilan AJAX. Mesin baru memungkinkan kontrol lebih besar atas apa yang dirayapi dan kedalaman serta cakupan perayapan. Pengguna juga dapat mengontrol jumlah thread bersamaan yang akan digunakan program untuk mengikis halaman web.

Tentang rating

Tampaknya hanya orang yang tidak menyukai produk atau tidak dapat menggunakannya dengan benar yang memutuskan untuk menilai. Jika Anda menyukai aplikasinya, Anda dapat membantu pengembang dengan memberi peringkat.

Editor: Partner

Pos terkait