Membuat Bot/Spider/Crawler Dengan PHP Mysql


Iseng-iseng cari cara pembuatan bot dengan php kaya punya om google apa mp3skull atau kaya bigresource. Pengennya sih bikin kayak gitu juga, tapi sepertinya akan susah dan perlu waktu. Nah dari hasil cari-cari itu, nemu artikel buat bikin bot dengan php, tapi masih sangat sederhana sekali. Namun paling engga udah tahu sedikit bagaimana bot bekerja mengideks website. Langsung saja berikut penjelasan singkatnya.
Jika anda menggunakan local server untuk menguji coba, jangan lupa aktifkan fungsi fopen pada pengaturan PHP nya.
<?php
	$handle = fopen ("http://kawroo.blogspot.com/2012/06/membuat-botspidercrawler-dengan-php.html" , "r");
//fopen baca page yang bersangkutan
$contents = stream_get_contents($handle);
//tutup koneksi
fclose($handle);

// rubah semua huruf menjadi huruf kecil
$contents = strtolower($contents);

//menentukan awal dari posting yang akan diindeks, dalam hal ini saya ambil setelah tag d bawah.
$start = "<div class='post hentry'>";

//menemukan posisi awal dari halaman yang akan diindeks
$start_pos = strpos($contents, $start);

//hapus semua konten sebelum posisi awal
$first_trim = substr($contents, $start_pos);

//menentukan kapan pengindeksan akan berakhir, dalam hal ini saya ambil sebelum komentar
$stop = "<div class='comments' id='comments'>";

//menemukan posisi akhir dari konten yang diindeks
$stop_pos = strpos($first_trim, $stop);

//hapus semua konten setelah posisi akhir
$second_trim = substr($first_trim, 0, $stop_pos);

//cetak hasilnya
print "<div>$second_trim</div>";
?>

Selanjutnya anda dapat melakukan pengembangan sendiri, anda dapat pula menambahkan database untuk menampung  hasil pengindeksan. Terima kasih.

2 Responses to "Membuat Bot/Spider/Crawler Dengan PHP Mysql"

  1. apa bisa dgn php untuk membuat crawler yang otomastis menyimpan semua halaman suatu website tanpa perlu menentukan url halaman satu2 dan menyimpanya pd pada database?

    ReplyDelete