Home Uncategorized Membuat file robot.txt

Membuat file robot.txt

1368
0
SHARE

File robots.txt digunakan untuk menginstruksikan ke robot mesin pencari tentang halaman di situs Web yang harus dijelajahi dan diindeks. Kebanyakan website memiliki file dan folder yang tidak relevan untuk sehingga sebuah file robots.txt dapat benar-benar meningkatkan kinerja indeksasi website di mesin pencari  .

Sebuah robots.txt adalah file teks sederhana yang dapat dibuat dengan Notepad . Jika situs yang menggunakan WordPress, contooh file robots.txt yang biasa digunakan seperti berikut:

User-agent: *

Disallow: /wp-

Disallow: /feed/

Disallow: /trackback/

“User-agent: *” berarti bahwa semua bot pencarian (dari Google , Yahoo , MSN dan sebagainya ) harus menggunakan instruksi tersebut untuk menjelajahi situs Web kita.

 

“Disallow: /wp-” akan memastikan bahwa mesin pencari tidak akan menjelajahi file WordPress . Baris ini akan mengecualikan semua file dan Folder dimulai dengan “wp-” dari indeksasi dan penjelajahan untuk menghindari duplikat konten dan file admin.

 

Jika sobat tidak menggunakan WordPress, yang perlu dilakukan hanya mengganti baris Disallow dengan file atau folder pada website yang tidak boleh dijelajahi , misalnya :

    User-agent : *

Disallow: / images /

Disallow: / cgi – bin /

Disallow: / folder lain yg tidak perlu dijelajahi mesin pencari /

Setelah membuat file robots.txt, selanjutnya hanya meng-upload file robot.txt ke direktori root.


LEAVE A REPLY

one + 10 =