Введение
В этой статье я научу вас скрести результаты новостей Google с помощью Node JS.
Требования
Прежде чем приступить к этому уроку, нам необходимо установить некоторые пакеты NPM, которые мы будем использовать далее в этом уроке.
- Axios JS
- Cheerio JS
Мы будем использовать NPM-библиотеки Axios для извлечения целевых HTML-данных и Cheerio JS для разбора извлеченных HTML-данных.
Цель
Мы будем извлекать результаты новостей Google по запросу «Футбол».
Процедура
Мы установили и настроили все необходимое для подготовки нашего скрепера. Теперь мы используем Axios, чтобы сделать get запрос к нашему целевому URL, а именно: https://www.google.com/search?q=football&gl=us.
и Cheerio JS для разбора HTML.
Если вы посмотрите на страницу Google News, то увидите, что все основные статьи содержатся внутри этого контейнера div.BGxR7d. При поиске в этом контейнере мы получили тег для заголовка .MBeuO, для фрагмента .GI74Re, для миниатюры div.NUnG9d img, для даты div.ZE0LJd и для ссылки .WlydOe.
Таким образом, наш код выглядит следующим образом:
Вы можете скопировать код со следующей ссылки: https://github.com/Darshan972/GoogleScrapingBlogs/blob/main/GoogleNewsScraper.js.
Результаты:
Использование Google News API
Если вы хотите легко соскрести результаты Google News, не создавая скрепер, так как иногда на скрепинг уходит много времени, вы можете попробовать этот API.
Serpdog также предоставляет 100 бесплатных запросов в месяц, а если вы хотите увеличить квоту запросов, вы можете приобрести платные тарифные планы.
Пример кода запроса:
Где APIKEY — ключ, который вы получите при регистрации на Serpdog.
Результаты:
Заключение
В этом руководстве мы научились скрапировать результаты Google News. Если у вас возникли вопросы, не стесняйтесь задавать их мне в комментариях. Следите за мной в Twitter. Спасибо, что читаете!
Дополнительные ресурсы
- Скребок отзывов Google Maps
- Скребок результатов органического поиска Google