Реализация проектного решения на пилотном участке

SAS - лидер рынка в области разработки программных интеллектуальных бизнес-средств и предоставлении услуг нового поколения, позволяющих создать истинные знания о деятельности организации

SAS - это единственный производитель, предлагающий полностью интегрированные решения, объединяющие в себе лидирующие технологии хранилищ данных, аналитику и традиционные приложения BI для извлечения знания из гигантских массивов данных.

Продукт SAS Enterprise Miner не требует знакомства с системой SAS, однако пользователю понадобятся специальные знания - прежде всего знания современных методов анализа информации, таких как методы построения деревьев решений, регрессионный анализ, кластерный анализ, а также минимальное умение работать с описанием таблиц данных. Знание этих методов и понимание возможностей их применения для решения той или иной бизнес-задачи позволят получить очень хороший результат. SAS имеет действительно дружественный, интуитивно понятный интерфейс. Практически все можно делать методом drug-n-drop. Каждый из узлов, из которых строится проект анализа, имеет развитую систему установок “by default”, как раз рассчитанную на эксперта в конкретной сфере бизнеса, но не в программировании. По оценкам консультантов компании SAS, оптимально сочетание двух экспертов с пропорцией: 70% знаний предметной области и 30% аналитики у одного и 30:70 соответственно у второго.

Программа имитирует способность человеческого мозга анализировать информацию - выявлять главное и второстепенное, находить информационные пересечения.

Text mining применяет методы информационного поиска (information retrieval) и лексического анализа для получения машинного представления информации. Ключевым этапом преобразования неструктурированных данных в структурируемые является обработка естественных языков.

Процесс обработки неструктурированного текста представлен на рисунке 18.

Каждый из этапов процесса подразумевает использование набора шаблонов, с которыми сравнивается найденная информация. Для разных областей знаний необходимы специфические базы шаблонов. Данная база должна постоянно обновляться. Таким образом, определяется структура, обеспечивающая использование имеющихся шаблонов для новых запросов

(рис. 19).

Рис. 18 Процесс обработки неструктурированного текста

Найти текст Построить правила

Обработать текст и получить новые задания

Рис. 19 Шаблоны для новых запросов

Новые Java-интерфейсы, интегрированные в продукты SAS Enterprise Miner и SAS Text Miner, облегчают анализ как структурированных, так и неструктурированных данных. Эти данные можно извлекать из обширных архивов, а затем передавать результаты в системы управления предприятием. В частности, Enterprise Miner может применяться в CRM-системах, для поддержки принятия решений в области финансового менеджмента, оптимизации использования ресурсов в производственной сфере.

ПО Text Miner полностью интегрировано в систему углубленного интеллектуального анализа данных, которая может быть использована для анализа очень больших массивов данных, включая информацию из call-центров, патентных баз и т. д.

Ознакомиться с возможностями SAS 9 можно будет в Центре компетенции SAS. Стоимость серверной лицензии составляет, по предварительным оценкам, 20-30 тыс. долларов. Пользователи предыдущих версий ПО, имеющие договор на техническую поддержку, смогут осуществить переход на SAS 9 бесплатно.

Математические методы

Изучение SAS Enterprise Miner для построения статистических моделей и интеллектуального анализа данных (Data mining), в частности задачи поиска шаблонов (сегментирование, ассоциация и анализ последовательности)

SAS Text Miner SAS Text Miner

Этапы разработки

Подбор и подготовка данных для обучения

Алгоритм извлечения терминов

Пакет для создания и управления правилами и настройками текстового индекса
Прописаны функции:

CREATE PREFERENCE

CREATE STOPLIST

SET ATTRIBUTE

Рис. 21 Пример функций

Пример кода Заполнение таблицы термами

Для построения словаря и извлечения ключевых слов и фраз из исходных текстовых данных в реляционные таблицы.

Благодаря внедрению системы, часть процесса проходит без участия человека. Обработка и составление спецификации осуществляется внутри системы.

Создание шаблонов для каждой марки свой шаблон.

Клиент-серверный вариант работы

Благодаря внедрению системы, часть процесса проходит без участия человека. Обработка и составление спецификации осуществляется внутри системы
Специалисты не тратят время на заношение каждой позиции построчно в импортер, поиск фотографий
не приходится распечатывать инвойс для наглядности и
ошибки при занесении вручную, возможные опечатки

Создание шаблонов для каждой марки свой шаблон.

Пример представлен в виде экранных форм.

Разработанные на основе статистического и лингвистического анализа, а также методов искусственного интеллекта, технологии Text Mining предназначены для проведения анализа, обеспечения навигации и поиска в неструктурированных текстах.

Технологии Text Mining - набор методов, предназначенных для получения информации из текстов на основе современных ИКТ, что позволяет выявить закономерности, которые могут приводить к получению полезной информации и новых знаний пользователям

Интерфейс программы показан на рис.20-рис.21.

Рис. 20. Интерфейс программы

Рис.21. Окно команды

Выводы. Функции автоматизированной системы:

· формирование конфигурационного кода;

· активация порта;

· настройка необходимых сервисов;

· добавление необходимых сервисов;

· удаление необходимых сервисов

· ведение БД;

· формирование и хранение отчётных документов;

· формирование аналитических данных о качестве;

· выгрузка и хранение статистических данных;

· осуществление гибкого поиска.

Система Intelligent Miner for Text, предложенной компанией IBM выполняет весь спектр опций, которые нужны для автоматизации рассматриваемого бизнес - процесса.

№	Название опции, нужной для автоматизации	Наличие опции
	Считывание необходимой информации	+
	Перевод описания товара	+
	Процентное соотношение	+
	Копирование и ввод артикула	+
	Выстраивание размерных сеток и свод их к российским размерам	+
	Интеграция с электронной БД ТКС	+
	Сбор, анализ и конечный вывод информации из системы TextMining в 1С (в виде готовой таблицы спецификации, которая требует минимальных изменений)	+

графического интерфейс

Text Parsing- Разбиение текста на слова

Text Filter -Придание веса каждому слову и выделение значимых слов

Text Rule Builder - Отдельные слова, однозначно определяющие класс заемщика

Text Topic - Группы слов, связанные с классом заемщика

Text Parser - Удаляет частицы, предлоги, имена, отчества и т.п.

Повышение точности заносимой информации

Класстеризация

Learning Classification Rules