Site Grabber. Автоматический обход и сбор данных со сторонних интернет ресурсов.

Самое ценное что есть на каждом сайте – это его эксклюзивная информация. Именно ее индексируют поисковые системы, и в большой степени – лишь она является источником прихода посетителей. Но бывает и так, что ресурс не направлен на создание эксклюзивного контента, а представляет из себя лишь каталог, определенного рода структурированных данных. Например различные онлайн-сборники товаров и услуг, или сведенная  воедино справочно-информационная система с котировками валют, ценных бумаг, и т.п.

Программный продукт Site Grabber. В задачи, с которыми может справиться данный модуль входят:


 

• Обход и разбор данных со сторонних HTML, XML, либо RSS документов.
• Структурированное размещение полученных данных в SQL-базу данных сайта.
• ОПЦИОНАЛЬНО: Предоставление конечных данных в популярных форматах для машинного, либо для ручного анализа, в форматах: CSV, XML, XLS, RTF.

Сбор данных может быть осуществлен c помощью работы программных пауков, размещающихся на различных ресурсах, обеспечивающих таким образом минимальную нагрузку на исходный ресурс.

Примеры – сбор информации о погоде,
Сбор котировок валют,
RSS разбор новостной ленты.