Програма курсу з веб-скрапінгу

Вступ до парсингу даних

На цьому курсі розкажуть, що таке веб-скрапінг і які бібліотеки використовують для створення скраперів. Студенти дізнаються, де можна застосовувати отримані навички, а також про етичні та юридичні нюанси роботи з парсингом.

Підготовка до роботи

Учні опрацюють основні мови розмітки - HTML, XML та JSON. Вони створять віртуальне середовище і встановлять необхідні бібліотеки для майбутньої роботи з даними.

Інструменти вилучення інформації

Курс навчить будувати XPath для доступу до будь-яких тегів у документі. Студенти опанують регулярні вирази та CSS-селектори для пошуку та витягування потрібної інформації з веб-сторінок.

Робота з HTTP-запитами

Учні дізнаються про типи запитів та відповідей, опрацюють інструмент Postman і навчаться використовувати бібліотеку Requests для відправлення запитів на сервер.

Зберігання та аналіз даних

На курсі навчать зберігати дані локально та в бази даних. Студенти зможуть вибирати оптимальний формат збереження інформації для подальшого аналізу та писати SQL-запити для роботи з даними.

Beautiful Soup та Scrapy

Учні навчаться використовувати бібліотеку Beautiful Soup для парсингу сайтів, працювати з потоками (Threads) і знаходити потрібні HTML-теги. Також вони опанують фреймворк Scrapy, познайомляться з поняттям Spider і навчаться зберігати отримані дані в різних форматах.

Selenium для складних завдань

Курс розбере бібліотеку Selenium для парсингу складних сайтів. Студенти навчаться працювати з CSS-селекторами та XPath, а також використовувати Selenium для заповнення форм і кліків на сторінці.

Обхід захисту від скраперів

Учні попрактикують підходи до імітації поведінки реального користувача, щоб успішно отримувати контент з захищених сторінок.

Фінальний етап

На заключних заняттях пройде Q&A-сесія з лектором, де студенти отримають відповіді на питання та поради щодо виконання курсового проекту. Завершенням курсу стане презентація готових проєктів.

Що включено

Вечірні заняття

Видається диплом/сертифікат

Реальний проект у портфоліо

Супровід ментора

Web Scraping

Про курс

Програма курсу з веб-скрапінгу

Вступ до парсингу даних

Підготовка до роботи

Інструменти вилучення інформації

Робота з HTTP-запитами

Зберігання та аналіз даних

Beautiful Soup та Scrapy

Selenium для складних завдань

Обхід захисту від скраперів

Фінальний етап

Що включено

Про школу

Robot Dreams

Інші курси школи

DevOps Engineer

Основи геймдизайну

SQL Advanced для аналітики