Теория, необходимая для понимания материала

Самостоятельно найти материал по следующим темам:

1. Об информации.

2. Об информационных технологиях вообще.

3. О том, какие существуют технологии анализа неструктурированных объемов данных

Начинаем изучать DataMining (теория – см. лекции и файлы ….)

Технологии Data Mining позволяют в автоматическом и полуавтоматическом режиме отыскивать скрытые зависимости и взаимосвязи в огромных массивах информации.

http://www.mista.ru/gorod/diplom/2_1.htm

Цель Data Mining состоит в выявлении скрытых правил и закономерностей в наборах данных. Дело в том, что человеческий разум сам по себе не приспособлен для восприятия больших массивов разнородной информации. Человек к тому же не способен улавливать более двух-трех взаимосвязей даже в небольших выборках. Но и традиционная математическая статистика, долгое время претендовавшая на роль основного инструмента анализа данных, также нередко пасует при решении задач из реальной сложной жизни. Она оперирует усредненными характеристиками выборки, которые часто являются фиктивными величинами (типа средней температуры пациентов по больнице, средней высоты дома на улице, состоящей из дворцов и лачуг и т.п.). Поэтому методы математической статистики оказываются полезными главным образом для проверки заранее сформулированных гипотез (verification-driven data mining).

Современные технологии Data Mining (discovery-driven data mining) перелопачивают информацию с целью автоматического поиска шаблонов (паттернов), характерных для каких-либо фрагментов неоднородных многомерных данных. В отличие от оперативной аналитической обработки данных (online analytical processing, OLAP) в Data Mining бремя формулировки гипотез и выявления необычных (unexpected) шаблонов переложено с человека на компьютер.