robots.txt adalah file yang terletak di root website yang mengatur kerja spiders dan bots, ini seperti rambu lalu lintas yang mengatur agar search engine tidak menjelajahi folder atau halaman tertentu. robots.txt dapat dilihat di http://example.com/robots.txt.
Kita akan merubah sedikit file robots.txt ini, tapi sebelumnya backup dulu file tersebut. Gunakan teks editor biasa jangan word prosessor.
File robots.txt dari drupal masih ada yang perlu di tambah. Drupal tidak memerlukan trailing slash (/) pada akhir path untuk menampilkan isinya. Sedangkan file robots.txt hanya membatasi path yang menggunakan trailing slash (/) dan path tanpa trailing slash (/) masih dijelajahi oleh googlebot.
Apa tuh googlebot; google dan search enggine lainnya menggunakan sistem yang biasa disebut spiders, crawlers, atau robots untuk jalan-jalan di dunia internet untuk menemukan tiap website. di perkirakan googlebot menjelajahi sekitar 10 milyar website tiap minggunya.
Sebagai contoh file robots.txt, di daftar disallowed /admin/ masuk daftar tapi /admin tanpa trailing slahs(/) di akhir path masih dijelajahi. Caranya mudah, setelah backup robots.txt cari bagian
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Duplikasi bagian tersebut dan hapus tanda trailing slahs (/) pada akhir path
# Paths (clean URLs) - FIXED !
Disallow: /admin
Disallow: /comment/reply
Disallow: /logout
Disallow: /node/add
Disallow: /search
Disallow: /user/register
Disallow: /user/password
Disallow: /user/login
# Paths (no clean URLs) - FIXED !
Disallow: /?q=admin
Disallow: /?q=comment/reply
Disallow: /?q=logout
Disallow: /?q=node/add
Disallow: /?q=search
Disallow: /?q=user/password
Disallow: /?q=user/register
Disallow: /?q=user/login
Save file tersebut dan lihat hasilnya di http://example.com/robots.txt. dan sekarang file robots.txt bekerja sesuai keinginan kita.
Tambahan: sitemap juga bisa ditambahkan di robots.txt, hal ini juga dapat membantu SEO dari website. caranya adalah
menambah baris berikut
# Sitemaps
Website dhafy.com ini menggunakan teknik tersebut.
Sumber: Drupal 6 SEO
Kategori Blog: