Уголок связиста Четверг, 04 Июн 2020, 21:37
Приветствую Вас гость | RSS
Новые сообщения
  • Вопрос по для С... (0)
    13 Окт 2015 [borisenko2077]
  • Группы пользова... (4)
    10 Янв 2014 [Кикманэ]
  • GPRS (1)
    17 Июл 2013 [Кикманэ]
  • Для вновь прише... (5)
    05 Окт 2012 [Alex]
  • снятие "ул... (0)
    21 Май 2012 [stepakov]
  • Список дополнен... (0)
    20 Май 2012 [Alex]
  • Игра - "Я ... (19)
    01 Дек 2009 [vicksol]
  • Игра "АССО... (199)
    01 Ноя 2009 [vicksol]
  • Мобильник все-т... (4)
    28 Май 2009 [Alex]
  • Nod32 (2)
    28 Май 2009 [Alex]

  • Меню сайта

    Топ-пользоватлей
    1. Alex (388 - 53 - 70)
    2. natapin (62 - 0 - 0)
    3. vicksol (50 - 0 - 0)
    4. misterX (24 - 0 - 0)
    5. Olga (21 - 0 - 0)
    6. Lizard (18 - 0 - 0)
    7. genaha (11 - 0 - 0)
    8. Кикманэ (3 - 0 - 0)
    9. 345678 (2 - 0 - 0)
    10. megaeregi (1 - 0 - 0)

    Сегодня:

    Друзья сайта

    Форма входа

    Статистика

    [ Новые сообщения · Участники · Правила форума · Поиск · RSS ]


    • Страница 1 из 1
    • 1
    Наш форум » Уголок связиста » Статьи » Индексация сайта (что это такое?)
    Индексация сайта
    AlexДата: Среда, 17 Дек 2008, 11:46 | Сообщение # 1
    Главный админ
    Группа: Администраторы
    Город:
    Сообщений: 388
    Статус: отсутствует
    Robots.txt

    Управление индексацией сайта всеми поисковыми системами возможно с помощью файла robots.txt, находящегося в корневом каталоге сервера. Этот файл сообщает поисковым роботам (ботам), какие файлы они могут индексировать, а какие нет. Файл robots.txt состоит из записей. Каждая запись состоит как минимум из двух строк: строки с названием клиентского приложения - User-agent, и одной или нескольких строк, начинающихся с директивы Disallow. Пустые строки в файле robots.txt являются значимыми, они разделяют записи, имеющие разные строки User-agent. User-agent Строка User-agent служит для указания названия робота. Например в следующей строке указано название поискового робота Google - «googlebot»:

    User-agent: googlebot

    Бот Яндекса - «Yandex» Бот Рамблера - «StackRambler» Бот Yahoo! - «Yahoo! Slurp» Бот MSN - «msnbot» Названия других роботов вы можете найти в логах Вашего сервера. Если Вы хотите запретить индексацию файлов и/или папок всеми поисковыми системами, то Вы можете использовать символ подстановки «*»:

    User-agent: *

    Disallow Вторая часть записи состоит из строк Disallow. Эти строки - директивы для данного робота (или для нескольких роботов). Они сообщают роботу какие файлы и/или папки запрещено индексировать. В строках с полем Disallow записываются не абсолютные, а относительные префиксы, то есть вводить название домена не надо. Например следующая директива запрещает паукам индексировать файл «download.htm», находящийся в корневой директории сайта:

    Disallow: download.htm

    Директива может содержать и название папки. Например следующая директива запрещает индексацию папки «cgi-bin», которая находится в корневой директории сайта:

    Disallow: /cgi-bin/

    Следующая директива запретит паукам индексировать и файл «catalog.html», и папку «catalog»:

    Disallow: /catalog

    Если директива Disallow будет пустой, это значит, что робот может индексировать все файлы. Как минимум одна директива Disallow должна присутствовать для каждого поля User-agent, чтобы robots.txt был корректно воспринят поисковыми системами. Полностью пустой robots.txt означает то же самое, что и его полное отсутствие на сервере. Всем поисковым системам разрешено полностью индексировать сайт:

    User-agent: * Disallow:

    Индексация сайта запрещена всеми поисковыми системами:

    User-agent: * Disallow: /

    Запрет на индексацию папки «cgi-bin» всеми поисковыми системами:

    User-Agent: * Disallow: /cgi-bin/

    Запрет на индексацию файла «download.htm» всеми поисковыми системами:

    User-Agent: * Disallow: download.htm

    Запрет на индексацию файла «download.htm» и папки «cgi-bin» всеми поисковыми системами:

    User-Agent: * Disallow: /cgi-bin/ Disallow: download.htm

    Запрет на индексацию файла «download.htm» для робота Google - «googlebot»:

    User-agent: googlebot Disallow: download.htm

    Комментарии Любой текст от знака решетки “#” до конца строки считается комментарием и поисковыми роботами игнорируется. Пример:

    # Yahoo! No index. User-agent: Yahoo! Slurp Disallow: / Протестировать свой файл для роботов можно здесь - http://www.webmascon.com/topics/adv/8a.asp


     
    Наш форум » Уголок связиста » Статьи » Индексация сайта (что это такое?)
    • Страница 1 из 1
    • 1
    Поиск:
    FreeTechnologyCorp © 2020Конструктор сайтов - uCoz