Robots.txt nədir ?
robots.txt veb-saytın “root directory”də yerləşən və axtarış matoru botlarınna nələri etməli və etməməli olduqları ilə bağlı təlimatlar verən mətn-fayldır. Bu fayl ilk axtarış matoru developer-lərinin ortaq fikrə gəlmələri nəticəsində yaranmışdır. Hər hansı bir qurum tərəfindən...