Парсер статистики Liveinternet


Изрядно устав от парсинга вордстата яндекса, я задался целью спарсить ключевые слова из статистики Liveinternet. После некоторых поисков наткнулся на замечательный скрипт, который называется SuperLiver. Автор данного софта утверждает, что собирался его сделать платным, но так не закончил работу, поэтому залил в паблик «как есть». В этой статье хотел бы написать небольшой обзор на данный чудо-скрипт. Также в конце статьи оставлю ссылку, чтобы вы могли скачать SuperLiver бесплатно.

Бесплатный парсер Liveinternet

Сразу же хочется отметить отличный дизайн, приятный и понятный интерфейс.

бесплатный парсер liveinternet

Теперь давайте непосредственно рассмотри настройки. Они выглядят следующим образом.

парсинг liveinternet

Пунктов для редактирования не так уж много:

  • включение/отключение атворизации
  • небольшие корректировки парсинга
  • e-mail для уведомления и ссылки для cron.

Всего этого более чем достаточно, ничего лишнего. Все просто и интуитивно понятно.

Добавления сайтов для парсинга выглядит так:

список сайтов для парсинга

Также можно сразу же зарегистрироваться в статистке Liveinternet.

liveinternet4В общем, в данном софте есть все необходимое, сайты можно разделять на группы, что довольно удобно. Статистику можно экспортировать в txt файл (например, все ключевые фразы из раздела «по поисковым фразам»). Еще пару слов стоит обязательно сказать о графиках и диаграммах. Их можно строить как на основе всех сайтов сразу, так и для каждого отдельного сайта.

stat1 stat2

Для работы парсера требуется: PHP 5 и выше, MySQL, Curl.

SuperLiver

Как парсить Liveinternet?

А теперь пару слов о том, как парсить сайты из статистики Liveinternet. Например, вы хотите собрать все сайты из категории «Развлечения». Для этого воспользуемся небольшим скриптом. Для начала создадим в одной папке два файла i1.php и data.txt (необходимо поставить права 777 ). Содержимое файла i1.php:

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
 
<?php
set_time_limit(0);
//ссылка на категорию сайтов в статистике Liveinternet
$url = 'http://www.liveinternet.ru/rating/ru/rest/';
 
//парсинг стат
for($i=0; $i <= 632; $i++)
{
    $data = file_get_contents($url.'/index.html?page='.$i);
    preg_match_all('#<a href="/stat/(.+)/"><img#iUs', $data, $out);
     
    file_put_contents('data.txt', implode("\r\n", $out[1])."\r\n", FILE_APPEND);
    sleep(1);
}
 
?>

Запускаем парсер и в файле data.txt получаем список всех сайтов из категории, ссылку на которую мы указали в скрипте. Теперь нам нужно отсортировать сайты с открытой статистикой. Для этого создадим еще один скрипт в той же папке с названием i2.php, а также файл good.txt (права 777). Код файла i2.php:

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
 
<?php
set_time_limit(0);
ini_set('implicit_flush', true);
ob_implicit_flush(true);
 
//проверка стат на открытость
$urls = explode("\r\n", file_get_contents('data.txt'));
$time = array(time(), 0);
foreach($urls as $v)
{
    ob_start();
    $time[1] = time();
    $data = @file_get_contents('http://www.liveinternet.ru/stat/'.$v);
    if(!$data){ echo "<h1>$v not parsed!!!</h1>"; break; }
    if(stripos($data, '<a href="queries.html">по поисковым фразам</a>') !== false) file_put_contents('good.txt', $v."\r\n", FILE_APPEND);
    sleep(1);
    echo 'Parse: <strong>'.$v.'</strong> ('.(time()-$time[1]).' sec.)<br />';
    ob_end_flush();
}
 
echo 'Spent '.(time()-$time[0]).' sec.';
 
?>

Запускаем, ждем и в итоге получаем список всех сайтов с открытой статистикой. Далее можем добавить эти сайты в SuperLiver, спарсить их статистику и экспортировать ключевые слова.

Понравилась статья? Подпишитесь на обновления и получайте только интересную информацию о белом и черном SEO, дорвеях, наращивании ссылочной массы, продвижении и зароботке, а также многое другое! Все основано исключительно на собственном опыте и проверено лично.


Обсуждение закрыто.