Bu sıkıntılarla uğraşmamak için içerik eklediğinizde google a (veya diğer ping servislerine) “ben içerik ekledim… botlar gelip çalmadan bu içeriği bi oku, indexle” demelisiniz.
http://blogsearch.google.com.tr/ping servisini kullanabilirsiniz…
Örnek : http://blogsearch.google.com.tr/ping?url=dahiweb.com&hl=tr
bunu kendi yaptığınız sitelerede uygulayabilirsiniz… wordpress misali…