Интернет, компьютеры, софт и прочий Hi-Tech

Подписаться через RSS2Email.ru

Страницы, снабженные тегом

robots.txt

Парсер для robots.txt
Здесь можно проверить, не запрещена ли индексация какой-то веб-страницы в файле robots.txt соответствующего сайта для указанного робота. Здесь же можно прочесть о том, как это делается и скачать скрипт PHP для разбора файлов robots.txt и работы с ними.
Биржа долевых инвестиций SIMEX.

© 2007-2017, Дмитрий Скоробогатов.
Разрешается воспроизводить, распространять и/или изменять материалы сайта
в соответствии с условиями GNU Free Documentation License,
версии 1.2 или любой более поздней версии, опубликованной FSF,
если только иное не указано в самих материалах.