...

robots.txt

əjdahalar googlla
test başlığı - love death and robots - üç robot qaydası - izlənilməli netflix serialları - meritokratiya e-kitab servisi - sayborq - get - məsləhətli mini-seriallar - aaron swartz - yazarların hal-hazırda oxuduqları kitablar

1. axtarış motorlarının botlarına haralara girməsini/girməməsini bildirmək üçün istifadə olunan file.
bəzən bu file-ın köməyilə saytın həssas nöqtələrini - məsələn, admin panel - tapmaq olur, çünki bu səhifələrin axtarış nəticələrində çıxmaması üçün indekslənməməsi lazımdır, bu səbəbdən robots.txt-ə disallow: /girme * swh kimi direktivlər yazılır ki, bu da pis niyətli adamların işini asanlaşdırır.

(bax: seo)
(baxma: humans.txt)

1 əjdaha