Robot.txt |
Pertama-tama, pergi ke Blogger.com >> situs Anda >> Setting >> mesin pencari Preferensi >> crawler dan pengindeksan. Sekarang Anda akan dapat melihat dua pilihan yaitu robots.txt Kustom dan Custom robot tag header. Kedua pilihan akan memberikan Anda fleksibilitas untuk menyesuaikan file robot.txt Anda.
- Kustom robots.txt: Opsi ini memberikan Anda kemampuan untuk mengedit file robot.txt seluruh Anda. Anda hanya dapat mengetik konten Anda apakah Anda ingin konten yang akan dijelajahi oleh spider atau tidak. Namun, Anda selalu dapat membatalkan tindakan Anda dan selalu dapat kembali ke normal.
- Kustom robot Header tags: Pilihan ini sedikit selesai. Ini tidak memberikan Anda kemampuan untuk menulis kode Anda, bukan menyediakan beberapa pilihan dengan kotak centang. Jadi, jika tidak tahu tentang tag kepala kemudian tinggal jauh dari itu.
Sekarang Anda harus mengaktifkan file robot.txt kustom sehingga tekan tombol edit yang hadir di samping "Custom robots.txt" pilihan. Setelah memilih tombol edit, itu akan meminta Anda untuk mengaktifkan konten robots.txt kustom lalu tekan "Yes" dan lanjutkan ke langkah berikutnya.
Di area teks, ketik konten yang ingin Anda kecualikan dari yang dijelajahi. Setelah mengedit file sesuai dengan kebutuhan Anda, tekan tombol simpan untuk menyimpulkan. Namun, jika Anda ingin kembali ke file robot standar kemudian, Anda dapat memilih "Tidak" bukan "Ya.
Untuk Contoh:
User-agent: *Kami berharap tip ini akan membantu Anda. Jika Anda mengalami masalah apapun mengenai merangkak kemudian, jangan ragu untuk meninggalkan pertanyaan Anda di komentar di bawah dan ahli kami akan mencoba untuk membantu Anda dalam memecahkan masalah tersebut.
Disallow: /about
User-agent: *
Disallow: /contact
User-agent: *
Disallow: /services
0 Kommentare:
Kommentar veröffentlichen