Другие заметки


  1. Назову себя Гантенбайном...

    Наша задача — добиться того, чтобы при инициализации очередного "паука" его название (значение заголовка User-Agent) не совпадало с предыдущим. При этом должна быть возможность указывать, нужен ли нам мобильный браузер или обычный.

    читать дальше
  2. Добавим беспорядка

    Как подсказывает здравый смысл, первый признак робота — он все делает правильно и равномерно: ходит, разговаривает и... выдерживает одинаковые паузы между запросами. Функция, представленная здесь, позволяет внести в поведение краулера долю хаоса: она погружает программу в сон разной длительности в пределах заданного диапазона.

    читать дальше

social

Яндекс.Метрика