Web crawl error; gimana solusinya?

Loncat ke form komentar

Tulisan yang berhubungan dengan Web crawl error; gimana solusinya? ...

Kemarin sedikit saya singgung Error pada webmaster; bagaimana perbaikan nya? sekarang saya mo ngomongin "web crawl error" dan "solusinya".

web crawl error ini sering kita temui; sebagai: Errors for URLs in Sitemaps ‎,‎ HTTP errors ‎,‎ Not found ‎,‎ URLs not followed ‎,‎ URLs restricted by robots.txt ‎,‎ URLs timed out ‎,‎ Unreachable URLs. Apa sih maksudnya?‎

1. Pada Errors for URLs in Sitemaps ini sering disebabkan sitemaps yang error. Sila baca ulang error webmaster; gimana perbaikan nya. Atau silahkan langsung longok solusi asli versi google di sini

2. Pada HTTP errors lebih sering disebabkan oleh struktur permalink yang salah. Maksudnya gini... misalnya anda membuat post berjudul "Web crawl error; gimana solusinya?".
Terus pada kolom link (letaknya di bawah kolom judul saat post) anda meletakkan link: "www.namabloganda.blogspot.com/2008/10/bla.. bla.. .html" tanpa http:// misalnya. Nah bisa dipastikan terbaca error oleh "web crawl" nya search engine.

Saran saya: Aktifkan fitur Show Link Field / Tampilkan kolom Link pada mode Dashboard | setting (pengaturan) | Format. Lalu setiap anda melakukan posting... nggak usah anda isikan http://bla..bla.. pada kolom link di bawah judul post. Karena.. secara default, blogger.com akan membuat permalink untuk post anda sesuai dengan algoritmanya sendiri. Pingin tahu solusi versi google? silahkan ikuti link ini.

3. Not found; Url not found biasanya terjadi karena url di blokir oleh robots.txt, atau karena kesalahan penulisan link. Url rujukan sangat sensitif sekali. Penggunaan huruf BESAR atau huruf kecil sangat mempengaruhi. Jadi berhati-hatilah dalam membuat link. (he..he.. di blog ini aja masih ada ratusan link yang rusak lho)

Solusi; jika akan menautkan sebuah artikel ada baiknya anda buka artikel tersebut.. kemudian copy url pada address bar browser anda. Barulah anda paste-kan ke anchor texts yang anda maksudkan. jika url not found terdapat pada komentar blog anda.. ada baiknya langsung di delete secepatnya.

Perbaikan Url Not found: Kita bisa menghapus-nya melalui tools punya google. Bukalah webmastertools, menu tools dan sub menu Remove URLs. Nah disitu anda dapat menghapus secara manual url yang not found dari pengindex-an google. Hanya saja.. penghapusan url ini efektif bekerja setelah 90 hari. Perbaikan ini juga dapat anda gunakan untuk memperbaiki kerusakan link pada item 1 diatas.

4. URLs not followed: maksudnya adalah url atawa link anda nggak bisa di masukkan dalam daftar sitemaps. Hal ini sering terjadi terhadap link yang berada dalam javascripts atau flash. Karena pada dasarnya (setidaknya sampai saya menulis artikel ini) google belum bisa membaca link yang berada dalam flash atau javascripts.

Jika anda mempunyai URLs not followed: yang tersembunyikan di balik flash atau java, santai aja. Tetapi kalo URLs not followed: berada pada anchor texts.. barulah perlu solusi berikut ini.

5. URLs restricted by robots.txt adalah url yang di blokir oleh robot.txt . Jika ternyata banyak url yang nggak anda kehendaki untuk di blokir ternyata terblokir oleh robots.txt itu artinya anda harus mengoptimasi meta tag pada template blog anda. Biasanya dengan menyertakan tag: <meta content='noindex,follow' name='Labels'/> untuk memblokir url http://namabloganda.com/search/label/labelpostanda maksudnya agar label post anda tidak terbaca sebagai suplemental result (saya akan mencoba membahas hal ini pada bagian terpisah) pada SERP. atau meta <meta content='noindex,follow' name='Archive'/> untuk memblokir url: http://namabloganda.com/2008_09_01_archive.html

He..he.. ternyata panjang juga nich kalo saya lanjutin. Nyampe sini dulu dech.. saya akan coba lanjutkan pembahasan "web crawl error" pada seri berikutnya.

Silahkan tinggalkan komentar anda di sini (karena dofollow comment lho) untuk menegur kesalahan penjelasan saya yang (new newby ini) atau sekedar berbagi pengalaman.

Dan yang mau me republish (untuk tujuan non komersil) sangat saya hargai jika menautkannya ke: "http://www.sawasanganam.com/" dengan anchor text "sawasanganam.com" .

Optimasi-blog