DETIKEPRI.COM, SEO – Salah satu aspek terpenting dari SEO adalah mengoptimalkan kemampuan perayapan situs Anda. Mesin pencari memiliki sumber daya yang hampir tak ada habisnya, sehingga mereka memiliki kekuatan untuk merayapi semua yang mereka temukan — dan mereka akan melakukannya. Tapi, tidak seperti itu seharusnya.
Hampir setiap CMS mengeluarkan URL yang tidak masuk akal dan yang dapat dilewati perayap dengan aman. Dengan Yoast SEO Premium 18.6, kami memulai serangkaian penambahan untuk membersihkan URL, umpan, dan aset yang tidak perlu sehingga hal-hal yang lebih penting memiliki peluang yang lebih baik untuk dirayapi.
Membuat situs Anda lebih mudah dirayapi
Google dan mesin pencari lainnya merayapi hampir semua yang dapat mereka temukan — seperti yang dibuktikan oleh pendiri Yoast, Joost de Valk dalam sebuah posting di situsnya. Tetapi mungkin sulit untuk membuat mereka merayapi apa yang Anda ingin mereka jelajahi.
Selain itu, perayap bisa datang berkali-kali setiap hari dan tetap tidak mengambil barang-barang penting.
Ada banyak keuntungan bagi setiap pihak yang terlibat — mulai dari perayap, pemilik situs, dan lingkungan — untuk membuat proses ini lebih masuk akal. Yoast SEO Premium akan membantu mesin pencari merayapi situs Anda dengan lebih efisien.
Di Yoast SEO Premium 18.6, kami memperkenalkan tambahan pertama pada pengaturan perayapan kami, yang memungkinkan Anda mengelola dengan lebih baik apa yang dapat dilewati mesin telusur di situs Anda.
Dalam rilis ini, kami memulai dengan umpan RSS dari komentar pos di WordPress, tetapi kami memiliki daftar panjang hal-hal yang ingin kami bantu untuk Anda kelola.
Buka bagian Pengaturan perayapan baru kami di pengaturan Umum Yoast SEO Premium dan aktifkan tambahan pertama untuk mencegah mesin telusur merayapi umpan komentar pos.
Fitur ini tersedia untuk semua pelanggan Yoast SEO Premium dalam bentuk beta, dan kami telah memilih untuk tidak mengaktifkan ini untuk setiap situs. Dalam beberapa kasus, mungkin masih ada situs yang menggunakan ini dengan cara yang tidak dapat kami antisipasi. Kami meluncurkan lebih banyak opsi perayapan — besar dan kecil — dalam rilis mendatang.
Mari kita semua mulai membersihkan perayapan di situs kami — itu lebih baik untuk Anda, pengunjung Anda, mesin telusur, dan lingkungan. Semua dengan sedikit bantuan dari Yoast SEO Premium. Ayo pergi!
Menjaga Bing diperbarui di situs Anda
Yoast SEO 19.0 dan Premium 18.6 juga membantu Bing menemukan peta situs XML Anda. Minggu lalu, Bing mengubah cara mereka menangani peta situs XML sebelumnya.
Sebelumnya, kami dapat mengirimkan URL peta situs secara anonim menggunakan permintaan HTTP, tetapi Bing menemukan bahwa spammer menyalahgunakannya berkat anonimitas ini.
Anda memiliki dua opsi untuk mengirimkan peta situs Anda ke Bing: tautan di file robots.txt atau Alat Webmaster Bing.
Agar peta situs Anda tersedia untuk Bing, kami telah memperbarui Yoast SEO untuk menambahkan tautan ke peta situs XML Anda ke file robots.txt — jika Anda mau.
Ini memastikan bahwa Bing dapat dengan mudah menemukan peta situs Anda dan terus memperbarui apa pun yang Anda publikasikan atau ubah di situs Anda.
Jika Anda belum membuat file robots.txt sendiri, sekarang kami akan menambahkannya dengan tautan ke file sitemap.xml Anda.
Anda dapat menambahkan tautan sendiri melalui editor file di Yoast SEO jika Anda sudah memilikinya.
Kami juga telah memperbarui robots.txt itu sendiri. Kami telah mengubah baris Disallow: /wp-admin/ menjadi Disallow:. Lebih lanjut tentang itu di panduan praktik terbaik kami yang diperbarui untuk robots.txt di situs WordPress.
