DigitalStat.ru постоянно сканирует (парсит) все сайты из собственной базы данных. На текущий момент в базе сайтов - более 7 800 000 доменов. Парсинг сайтов происходит в порядке их очередности.
Робот пытается открыть сайт - 1 раз в день. Поэтому сканирование не добавляет нагрузку на работу самих сайтов. Парсинг происходить только главной страницы сайта. По самому сайту - робот не проходит. Ожидание ответа сайта идет - 30 секунд. Далее - если сайт не ответил, за это время, со статусом 200, то считается что на нем ни чего нет. На текущий момент более 56% всех сайтов отвечаю в нужном формате. Робот может быть переадресован на другую страницу сайта - тогда считается что ответ ОК. Если происходит переадресация робота на другой домен - то считается что сайт не отвечает.
Каждую минуту сканируется более 1 500 сайтов. В день - более 2 000 000 сайтов. Все данные и их изменение - сохраняются в базу данных DigitalStat.ru
Новые сервисы - постоянно добавляются в систему для сканирования. На данный момент их более 400. Все данные проверяются выборочно в ручном режиме.
Если вам нужно что то отыскать на сайтах в Рунете - то можете мне
написать и я постараюсь вам помочь.
