robots.txt



əjdaha lazımdı   izlə   lələ   mən   googllalink

    1. axtarış motorlarının botlarına haralara girməsini/girməməsini bildirmək üçün istifadə olunan file.
    bəzən bu file-ın köməyilə saytın həssas nöqtələrini - məsələn, admin panel - tapmaq olur, çünki bu səhifələrin axtarış nəticələrində çıxmaması üçün indekslənməməsi lazımdır, bu səbəbdən robots.txt-ə disallow: /girme * kimi direktivlər yazılır ki, bu da pis niyətli adamların işini asanlaşdırır.

    (bax: seo)
    (bax: humans.txt)


sən də yaz!