Advertisements

Robot txt apa ada pengaruhnya Untuk Seo?

ByPT Mikro Simbacang Abadi

Robot txt apa ada pengaruhnya Untuk Seo?

File robots.txt adalah file yang sangat kuat jika Anda bekerja di situs SEO. Pada saat bersamaan, juga harus digunakan dengan hati-hati. Ini memungkinkan Anda menolak akses mesin telusur ke file dan folder tertentu, namun seringkali tidak seperti yang ingin Anda lakukan. Selama bertahun-tahun, terutama Google banyak berubah dalam cara merayapi web, praktik terbaik lama tidak lagi berlaku. Pos ini menjelaskan apa praktik terbaik saat ini untuk robots.txt WordPress Anda dan mengapa.
Google sepenuhnya membuat situs Anda

Tidak lagi Google adalah anak kecil bodoh yang hanya menjemput HTML situs Anda dan mengabaikan styling dan JavaScript Anda. Ini mengambil segalanya dan merender halaman Anda sepenuhnya. Ini berarti bahwa ketika Anda menolak akses Google ke file CSS atau JavaScript Anda, sama sekali tidak seperti itu. Pos ini tentang Google Panda 4 menunjukkan contohnya. Kami mengatakannya lagi nanti dan akan terus mengatakannya: jangan blokir file CSS dan JavaScript Anda.

Praktik terbaik lama memiliki robots.txt yang memblokir akses ke direktori wp-includes Anda dan direktori plugin Anda tidak lagi valid. Inilah sebabnya, di WordPress 4.0, saya membuka masalah dan menulis patch untuk menghapus wp-includes /.* dari robots.txt WordPress default.

Banyak tema juga menggunakan permintaan JavaScript asinkron, yang disebut AJAX, untuk menambahkan konten ke halaman. Secara default, WordPress digunakan untuk memblokir ini. Jadi saya membuat tiket untuk WordPress agar Google merayapi URL admin-ajax.php di wp-admin. Ini sudah diperbaiki di WordPress 4.4.
Robots.txt menolak tautan nilainya

Hal lain yang sangat penting untuk diingat. Jika Anda memblokir URL dengan robots.txt situs Anda, mesin telusur tidak akan merayapi laman tersebut. Ini juga berarti bahwa mereka tidak dapat mendistribusikan nilai tautan yang mengarah ke URL tersebut. Jadi jika Anda memiliki bagian dari situs Anda yang tidak ingin Anda tampilkan di hasil pencarian, namun mendapatkan banyak tautan, jangan gunakan file robots.txt. Sebagai gantinya, gunakan meta tag robot dengan nilai noindex, ikuti. Ini memungkinkan mesin telusur mendistribusikan nilai tautan dengan benar ke laman di seluruh situs Anda.

Contoh robots.txt WordPress kami

Jadi, apa yang harus di robots.txt WordPress anda? Kita sekarang sangat bersih. Kami tidak lagi memblokir apapun! Kami tidak memblokir direktori / wp-content / plugins / kami, karena plugin mungkin menampilkan JavaScript atau CSS yang perlu dibuat halaman Google. Kami juga tidak memblokir direktori / wp-includes / kami, sebagai default JavaScript yang disertakan dengan WordPress, yang banyak digunakan tema, berasal dari direktori ini.

Kami juga tidak memblokir / wp-admin / folder kami. Alasannya sederhana: jika Anda memblokirnya, namun menautkannya ke suatu tempat secara kebetulan, orang masih dapat melakukan kueri inurl: wp-admin di Google dan menemukan situs Anda. Jenis query adalah jenis query yang disukai hacker jahat. Jika Anda tidak melakukan apapun, WordPress telah (dengan melakukan saya) sebuah header meta x-http robot di halaman admin yang mencegah mesin pencari menampilkan halaman-halaman ini di hasil pencarian, sebuah solusi yang jauh lebih bersih.

Apa yang harus Anda lakukan dengan robots.txt Anda

Anda harus masuk ke Google Search Console dan di bawah Perayapan → Ambil sebagai Google, gunakan opsi Ambil dan Render:

Ambil sebagai Google di konsol Google Penelusuran, uji robots.txt WordPress Anda

Jika tidak terlihat seperti apa yang Anda lihat saat menjelajahi situs Anda, atau melempar kesalahan atau pemberitahuan: perbaiki dengan menghapus baris yang memblokir akses ke URL tersebut dari file robots.txt Anda.
Haruskah Anda menautkan ke Peta Situs XML Anda dari robots.txt Anda?

Kami selalu merasa terhubung ke sitemap XML Anda dari robots.txt Anda sedikit omong kosong. Anda harus menambahkannya secara manual ke Google Search Console dan Bing Webmaster Tools dan pastikan Anda melihat masukan mereka tentang peta situs XML Anda. Inilah alasan plugin Yoast SEO kita tidak menambahkannya ke robots.txt Anda. Jangan mengandalkan mereka untuk mencari tahu tentang sitemap XML Anda melalui robots.txt Anda.

Kesimpulannya: Sangat Sangat Berpengaruh

Print Friendly, PDF & Email
Advertisements

About the author

PT Mikro Simbacang Abadi administrator

Toko Komputer Online - Terlengkap dengan Harga Termurah, Mudah dan Aman, melayani tempo dan kredit area jakarta sekitarnya

Leave a Reply

%d bloggers like this: