Php парсеры сайтов

парсеры

Php парсеры, curl, реальные проекты и примеры

Пиши CSS-селекторы как BOSS

Пиши CSS-селекторы как BOSS

Что такое CSS-селектор? Селекторы CSS - это шаблоны, используемые для выделения элемента(ов), с которыми вы хотите взаимодействовать. Они могут быть использованы в ваших CSS-файлах, в вашем JavaScript-коде или в ваших автоматических тестах. Аналогия ресторана Использование CSS-селектора для выбора элемента - это все равно, что рассказать кому-то, как добраться до

Пишем бота регистрации аккаунта на PHP, эмулируя AJAX-запросы на CURL

Пишем бота регистрации аккаунта на PHP, эмулируя AJAX-запросы на CURL

Пока вышла горячая статейка с основными приёмами при работе с cURL в PHP, я решил написать скрипт простого бота, работающего с AJAX, чтобы закрепить материал на реальном примере. В этой статье будут упускаться многие очевидные вещи, эта статья будет более ориентирована на демонстрацию подхода при написании ботов для любого сайта.

Базовая работа с PHP CURL: GET, POST, JSON, Headers

Базовая работа с PHP CURL: GET, POST, JSON, Headers

Curl - это программное обеспечение, которое позволяет выполнять запросы разных типов или протоколов. И как раз cURL помогает нам писать боты и парcеры на PHP, автоматизируя шаблонные HTTP-запросы, и собирая большое количество данных автоматизировано. PHP имеет встроенные инструменты по удобной работе с cURL. И в этой статье я покажу несколько

Пишем быстрый PHP парсер (scraper)

Пишем быстрый PHP парсер (scraper)

Так сильно увлекаясь парсингом сайтов, я удивляюсь самому себе, насколько мало информации я публикую на эту тему. Сегодня я решил немного поправить эту несправедливость. В этой статье я хочу показать, как сделать быстрый парсер на PHP, в частности парсер фильмов с кинопоиска средствами PHP. Примите к сведению, что при парсинге

Первый парсер. Что такое curl_setopt?

Первый парсер. Что такое curl_setopt?

Сразу, в лоб, начну с кода: $url = 'http://spaces.ru'; $ci = curl_init($url); curl_setopt($ci, CURLOPT_RETUNRTRANSFER, 1); $reponse = curl_exec($ci); Здесь показано, как делать запрос с помощью CURL. Впервые увидив такой синтаксис, у меня, ничего, кроме страха, и недоумения не возникало. Что за curl_setopt? Что

Парсинг на php. Основы

Что такое парсер? Парсер - это скрипт, который автоматически, по шаблону, собирает информацию с выбранного ресурса, и сохраняет, в удобном для нас виде. Например, нам нужно скачать 1000 статей с сайта кулинарных рецептов. И задача парсера заключается в том, чтобы автоматически собрать ссылки на все эти 1000 статей, перейти по

Wget как скачать сайт

Wget как скачать сайт

Очень часто возникает необходимость в копировании стороннего сайта. В то время, как копирование с помощью встроенной функции браузера "сохранить как", не работает должным образом, можно воспользоваться программой wget. В этой статье будут рассмотрены основные команды wget, на примере будет показано, как скачать страницу с помощью wget для локального просмотра, а

Как парсить с помощью file_get_contents?

Как парсить с помощью file_get_contents?

Как бы это удивительно не звучало, однако, с помощью встроенной функции file_get_contents можно парсить сайты так же успешно, как и с помощью curl. В понимании новичков в PHP, скорее всего, отложилось, что file_get_contents предназначен только для считывания контента с локального файла. Однако, эта функция, имеет несколько

Что такое контекст потока create_stream_context?

Что такое контекст потока create_stream_context?

При простом парсинге используется встроеная php-функция file_get_contents. В основном эту функцию применяют без дополнительный надстроек над ней, просто указывая адрес, который нужно открыть: file_get_contenst('http://site.com/page.html'), и этого хватает. Однако, бывают случаи, когда всё-же, обычной работы file_get_contents недостаточно. К примеру, нужно