Программа курса по веб-скрапингу

Введение в парсинг данных

На этом курсе расскажут, что такое веб-скрапинг и какие библиотеки используют для создания скраперов. Студенты узнают, где можно применять полученные навыки, а также про этические и юридические нюансы работы с парсингом.

Подготовка к работе

Ученики освоят основные языки разметки - HTML, XML и JSON. Они создадут виртуальное окружение и установят необходимые библиотеки для будущей работы с данными.

Инструменты извлечения информации

Курс научит строить XPath для доступа к любым тегам в документе. Студенты освоят регулярные выражения и CSS-селекторы для поиска и извлечения нужной информации с веб-страниц.

Работа с HTTP-запросами

Ученики узнают о типах запросов и ответов, освоят инструмент Postman и научатся использовать библиотеку Requests для отправки запросов на сервер.

Сохранение и анализ данных

На курсе научат сохранять данные локально и в базы данных. Студенты смогут выбирать оптимальный формат сохранения информации для последующего анализа и писать SQL-запросы для работы с данными.

Beautiful Soup и Scrapy

Ученики научатся использовать библиотеку Beautiful Soup для парсинга сайтов, работать с потоками (Threads) и находить нужные HTML-теги. Также они освоят фреймворк Scrapy, познакомятся с понятием Spider и научатся сохранять полученные данные в разных форматах.

Selenium для сложных задач

Курс разберет библиотеку Selenium для парсинга сложных сайтов. Студенты научатся работать с CSS-селекторами и XPath, а также использовать Selenium для заполнения форм и кликов на странице.

Обход защиты от скраперов

Ученики попрактикуют подходы к имитации поведения реального пользователя, чтобы успешно получать контент с защищенных страниц.

Финальный этап

На заключительных занятиях пройдет Q&A-сессия с лектором, где студенты получат ответы на вопросы и советы по выполнению курсового проекта. Завершением курса станет презентация готовых проектов.

Что включено

Вечерние занятия

Выдается диплом/сертификат

Реальный проект в портфолио

Сопровождение ментора

Web Scraping

О курсе

Программа курса по веб-скрапингу

Введение в парсинг данных

Подготовка к работе

Инструменты извлечения информации

Работа с HTTP-запросами

Сохранение и анализ данных

Beautiful Soup и Scrapy

Selenium для сложных задач

Обход защиты от скраперов

Финальный этап

Что включено

О школе

Robot Dreams

Другие курсы школы

DevOps Engineer

Основи геймдизайну

SQL Advanced для аналітики