File “robots.txt” di web Joomla digunakan untuk memberi perintah kepada robot Search Engine untuk menjejak website Joomla. Perintah yang salah akan menyebabkan kesalahan penjejakan oleh robot search engine dan berdampak pada optimasi website Joomla.
Banyak penguna Joomla yang masih bingung membedakan penggunaan file “robots.txt” dan htaccess. Yang harus anda tahu, file “.htaccess” adalah file yang berisi perintah dan terkait dengan sistem konfigurasi server dan tidak terkait dengan perintah pada Search Engine. Sedangkan robots.txt hanya berisi perintah penjejakan kepada robot Search Engine dan tidak terkait dengan keamanan server.
Oleh karenan itu, kita harus melakukan setting yang benar terhadap file robots.txt. Secara default, Joomla menempatkan file robots.txt pada root folder dimana anda menginstall Joomla.
Sebagai contoh: perintah :
Disallow: /images/
Perintah di atas dapat dibaca bahwa Robot Search Engine tidak diijinkan untuk mengindeks folder “images“. Dari hal tersebut pasti anda bisa menebak untung atau ruginya jika menggunakan perintah tersebut. Pastinya anda akan rugi karena Search Engine juga mengindex gambar dan merangkingnya dalam mesin pencariannya. Coba lihatlah di Search Engine Google. Untuk itulah anda perlu menghapus baris perintah tersebut agar Google bisa mengindex folder images anda.
Berikut ini adalah default robots.txt Joomla
Perlu anda ketahui bahwa setiap struktur website pada prinsipnya mempunyai peta situs atau lebih dikenal dengan sitemap. Sitemap berisi teks berupa link link yang mengarah ke halaman website. Dalam kaitannya dengan SEO website, maka anda harus memberi perintah Search engine untuk mengindeks link halaman tersebut. Caranya yaitu dengan menambahkan perintah di file robots.txt sebagai berikut:
sitemap:http://www.namadomainanda.com/sitemap.xml
Perintah ini dapat diartikan perintah untuk menjejak file sitemap.xml. Jika anda bingung membuat file sitemap maka anda bisa menggunakan Component Joomla yaitu XMap.
Artikel Terkait:
