Что понадобится

Если вы собираетесь экспериментировать, вам в первую очередь понадобится:

  1. Язык программирования Python. Предполагаю, что читатель уже знаком с его основами. Все примеры написаны на его версии Python 2.7. При использовании Python 3 потребуются незначительные модификации.
  2. Библиотека Requests — популярная HTTP-библиотека, во многих отношениях более удобная, чем стандартная.
  3. Firebug — дополнение к браузеру Mozilla Firefox или аналогичный инструмент, позволяющий исследовать исходный код веб-страниц, а также HTTP запросы в ходе загрузки сайта.
  4. Beautiful Soup — библиотека, позволяющая разбирать HTML-код (HTML-парсер).
  5. Для юнит-тестов я привык использовать Nose. Если вам больше нравится стандартный питоновский Unit-Test Framework или что-то другое — не проблема. Главное: без юнит-тестов не обойтись! Сегодня ваша программа отлично работает, а через месяц сайт переверстали и половину данных краулер не найдет. Грамотно написанные тесты позволят сразу же определить, какие функции в программе нуждаются в переработке.

О других полезных библиотеках и инструментах речь пойдет в контексте.

social

Яндекс.Метрика