Евгений Слайковский | Как добывать данные, когда их не хотят отдавать

2 Просмотры

Data Fest Online 2021 Data Collection track https://ods.ai/tracks/data-collection-df2021 Спикер: Евгений Слайковский, Zyte (ScrappingHub), инженер Как...

Дата загрузки:2021-07-14T02:55:10+0000

Издатель
Data Fest Online 2021
Data Collection track https://ods.ai/tracks/data-collection-df2021

Спикер: Евгений Слайковский, Zyte (ScrappingHub), инженер

Как добывать данные, когда их не хотят отдавать

1. Почему так происходит? Сервис хочет отдавать данные только реальным пользователям. Что нам делать? Пытаться выглядеть как реальный пользователь.
2. Уровни симуляции пользователя: заголовки, IP, Сессии, Javascript, Сложные отпечатки (js fingerprint, network fingerprint).
3. Заголовки: порядок важен, регистр важен. Пробелы важны
4. IP. Адреса Тора, плохие прокси, дата центр прокси, всё это можно проверить
5. Сессии
6. Javascript. Простые челенджи. Использование JS эмуляторов и браузеры
7. Js fingerprints. Canvas, webGL, webRTC leak. Автоматизация браузеров. (Splash, Puppeteer, Playwright)
8. Network fingerprint, http/2, tls fingerprinting
9. Каптчи. Recaptcha v2, v3, hcaptcha, geetest captcha
10. Обзор антибот систем и кейсы
11. Cloudflare
12. PerimeterX
13. Akamai
14. Datadome
15. А почему только десктоп?
16. Мобильная версия
17. Мобильное приложение
18. Будущее антибот систем

Презентация: https://cloud.mail.ru/public/vhE2/ozP5ker5x

Посмотреть эфир и список треков и организаторов: https://datafest.ru/2021/
Зарегистрироваться на фест и получить доступ к трекам: https://ods.ai/events/datafest2021
Вступить в сообщество: https://ods.ai/

Соцсети Data Fest:
https://t.me/datafest
https://vk.com/datafest
Категория
Мобильные новости
Комментарии выключены