Настройка сбора сообщений

За сбор сообщений из сети Интернет отвечает программа - поисковой агент Spider. Она позволяет собирать сообщения из сети Интернет в различных режимах.

Запуск поискового агента производится из меню Windows:

Пуск (Start) ->Программы (Programs) ->Avalanche->Spider.

Система поставляется с заранее настроенным списком сайтов и рубрик, поэтому для начала использования программы этап настройки можно пропустить. Первым, что необходимо сделать, приступая к работе системы, это определить политику сбора сообщений - т.е. определить, стоит ли собирать все сообщения, находящиеся на указанных в списках ресурсах, или же только те, которые принадлежат настроенным рубрикам. Для этого из меню "Управление" «Поискового агента» необходимо выбрать пункт "Настройка" и в появившемся окне определить политику сбора.
В системе предусмотрены два режима работы: Ручной и Таймер. Система может работать только в одном из них. Выбор режима осуществляется из меню "Управление". "Старт" для ручного управления и "Активировать таймер" для режима "Таймер".

В ручном режиме программа просматривает список сайтов, начиная сверху, и ставит в очередь все их ссылки. Паук обрабатывает ссылки в порядке постановки в очередь. При этом время последнего запуска запоминается.

В режиме работы по таймеру система для каждой ссылки постоянно проверяет, не превысило ли время с момента ее последнего запуска некоторое значение, установленное настройкой. Если время превышено, то программа начинает обрабатывать данную ссылку. Одновременно могут обрабатываться четыре ссылки. Если при этом наступает время обработки пятой, то она ставится в очередь.

Внимание! В обоих случаях программа запоминает адреса страниц, обработанных при последнем обходе, и при повторном анализе страницы будет обрабатывать только те сообщения, которые не обрабатывались при предыдущем обходе. Если на странице не появились новые сообщения, программа вернет пустой файл.

В результате работы программы в базу данных заносятся полученные новости, просмотр которых осуществляется через программу Avalanche (меню Вид->Просмотр результатов). В программе просмотра необходимо указать критерии выборки на панеле слева, после чего список новостей, удовлетворяющий критерию отобразится в окне справа. Для просмотра конкретной новости выделите ее мышью, чтобы вывести ее содержимое и атрибуты в окне внизу.

Работа с собранными документами:

Запуск программы-поисковика производится из меню Windows:

Пуск (Start) ->Программы (Programs) ->Avalanche->Avalanche, или из меню Вид->Просмотр результатов поискового агента Spider.

Введите количество дней, то есть возраст сообщений с которыми выхотите работать. Например количество дней, равное "7" говорит о том, что будут отображаться сообщения, датированные не ранее последней недели. Настройка производится в поле редактирования на панели инструментов:

Затем нужно выбрать интересующие вас документы по какому-либо критерию. Для получения списка документов в программе на вкладках левой панели нужно выбрать критерий: по рубрикам, по источникам или поиск по ключевым словам.

Поиск по рубрикам позволит вам выбрать документы, принадлежащие определенной рубрике, или все документы, собранные за последнее указанное количество дней. Для получения списка документов согласно выбранной рубрике, щелкните в панели слева ее название и правый верхний список заполнится документами из этой рубрики. Поиск по источникам работает аналогично, выбирая документы, собранные с определенного источника (сайта, группы сайтов, настроенной в поисковом агенте).

Для поиска по ключевым словам щелкните по вкладке "поиск" в выделенной на рисунке области и введите список ключевых слов через пробел (регистр учитывается). Затем, если необходимо, выберите список источников и введите диапазон дат в формате гггг-мм-дд и нажмите кнопку "Поиск".

Далее в списке документов справа вверху вы можете выбрать интересующий вас документ, щелкнув на нем левой кнопкой мыши. При этом на панеле справа внизу будет отображено содержимое документа. Контекстное меню, вызывающееся щелчком левой кнопкой мыши по документу в списке позволяет выполнить некоторые операции над документом:

Можно добавить документ в избранное (специальный каталог документов, выбранный и организованный пользователем), перемещать документы между рубриками, если они были некорректно определены автоматически, сохранить документ на диск, сохранить изменения, сделанные пользователем в документе и удалить документ из текущей рубрики и вообще из базы данных. При различных видах выборки некоторые пункты меню могут быть недоступны. Подробнее о работе со списком документов.

Непосредственная работа с документом выполняется в правом нижнем окне, в котором есть заголовок, вкладка с текстом сообщения, сверстанным как в интернет-браузере (просмотр HTML) и вкладка c исходным текстом сообщения со служебными конструкциями HTML (тегами), в которой можно осуществлять редактирование текста сообщения. Атрибуты сообщения (название, дата, время) также можно редактировать, сделав по ним двойной щелчок левой кнопкой мыши. После изменения сообщения до перехода к другому сообщению, нужно его сохранить, нажав кнопку сохранить на панели инструментов или выбрав "сохранить изменения" в контекстном меню в списке документов.