Собственные значения и собственные векторы матрицы

При умножении матрицы на вектор получается новый вектор, повернутый и растянутый (сжатый) относительно исходного. Например, для матрицы

и вектора будем иметь:

.

Рис. 13 иллюстрирует сказанное.

Если выполнить операции умножения матрицы R с другими векторами, то обнаружится, что разные векторы поворачиваются на различные углы. Более того, для каждой матрицы можно найти такие векторы, которые не испытывают вращения, а только растягиваются или сжимаются. Это так называемые собственные векторы матриц.

Рис. 13. Вращение вектора матрицей

Например, для приведенной матрицы R собственным вектором является вектор

, поскольку .

Указанное свойство матриц можно выразить с помощью уравнения:

(28) ,

где l — собственное значение (коэффициент сжатия-растяжения);

e — собственный вектор.

Уравнение (28) в общем случае имеет не одно, а несколько решений — пар собственных значений и собственных векторов. Собственные векторы независимы (ортогональны) друг относительно друга. В частности, для матрицы примера , а второй собственный вектор располагается перпендикулярно первому собственному вектору.

При малой размерности уравнение (28) решается аналитически; в общем случае удобнее численные методы и специальные компьютерные программы.

Новые координаты — собственные векторы — обладают рядом ценных свойств:

Каждый собственный вектор представляет собой линейную комбинацию исходных координат, т. е.

;

;

(29) …………………………………;

,

где , , …, - весовые коэффициенты при исходных переменных .

2. Собственные векторы ортогональны (взаимонезависимы, некоррелированы), их корреляционная матрица имеет вид:

(30) .

Недиагональные элементы этой матрицы равны нулю, а диагональные — равны собственным числам, причем значения принято располагать в порядке убывания: .

3. Сумма собственных чисел равна размерности матрицы :

Итак, собственные векторы — это векторы, располагающиеся в том же m-мерном пространстве, что и . В общем случае направления и направления осей различаются.

Допустим, у нас имеется выборка достаточно большого числа экспериментальных данных — матрица Х размерностью . Мы привели все переменные к безразмерному виду, используя (25), получили оценку корреляционной матрицы (22), решили уравнение (28). Далее можно найти проекцию каждой экспериментальной точки на новые координаты (подобно тому, что мы имели в примере с рис. 7) и получить матрицу проекций Z — эквивалент исходной матрицы Х.

Введем вспомогательную характеристику .

Величина показывает, какая доля мощности колебаний (изменений) переменных Х учитывается в t собственных координатах. На рис. 14 показаны типичные графики

В том случае, когда б о льшая часть исходных переменных коррелирована или когда экспериментальные точки образуют сгустки (классы состояний), величина превышает значение 0,7 (70%) уже при t =3. При этом три первых собственных направления (три главных компоненты) позволяют учитывать согласованные колебания переменных, а также колебания «от класса к классу». Случайные колебания фильтруются, уходя к последним собственным направлениям. Доказано, что величина является естественной мерой относительного искажения геометрической структуры исходной совокупности наблюдений при их проектировании в пространство меньшей размерности.

Выбирая первые собственные векторы, мы обеспечивает минимальные искажения расстояний и конфигурации экспериментальных точек. Любая другая система координат той же размерности приведет к большим искажениям геометрии точек.

В благоприятном случае (верхняя кривая) отбрасывание (неучет) всех собственных векторов, идущих за вторым-третьим, приводит к потере 10-30% информации об изменениях координат в отдельных опытах, причем подавляющая часть отброшенного — информационный мусор. В то же время при равномерном (изотропном) рассеянии экспериментальных точек в пространстве наблюдения (нижняя кривая) переход к первым собственным координатам не имеет особого смысла.

Рис. 14. Типичные графики изменения доли учитываемой дисперсии.

Отмеченные свойства собственных векторов используются при анализе данных различной природы. В технических объектах классы состояний (например, «норма» и «неисправность») обычно располагаются в пространстве диагностических признаков в виде непересекающихся локальных областей, и не только диагностику (принятие решений о принадлежности к конкретному состоянию), но и анализ процесса перехода из одного состояния в другое удобно осуществлять, используя собственные координаты.

Автор использовал метод главных компонент при анализе мнений слушателей ЦИПК Минатома о необходимом содержании обучения. При малых сроках обучения настройка программ в соответствии с реальными потребностями обучаемых — важнейшая задача.

В качестве примера рассмотрим результаты обработки экспертных данных, полученных во время обучения специалистов лабораторий металлов АЭС. Каждый эксперт выполнял ранжирование тем, включенных в программу повышения квалификации, т. е. указывал порядковый номер каждой темы в соответствии с ее важностью. Обозначения тем:

Х₁ — состояние и перспективы развития атомной энергетики;

Х₂ — новые проекты АЭС;

Х₃ — влияние облучения и коррозионная стойкость металлов;

Х₄ — сварка;

Х₅ — современные методы контроля металлов и сварки;

Х₆ — средства контроля металлов;

Х₇ — анализ экспериментальных данных;

Х₈ — использование компьютерной техники в автоматизации контроля;

Х₉ — АСУТП и человеко-машинные системы;

Х₁₀ — обмен опытом работы.

Производя ранжирование, каждый эксперт фактически указывал «свои» координаты в 10-мерном пространстве. Матрица экспертных данных имела, таким образом, размерность (n — количество экспертов). Расчет собственных векторов производился с помощью специальной программы после нормировки переменных Х.

На рис. 15 показаны проекции исходных координат на две главные компоненты (два первых собственных вектора). Точки в конце некоторых векторов обозначают, что по третьей координате (e3) эти векторы имеют проекцию с положительным знаком; в противном случае (при отсутствии точки) проекция вектора на третью координату имеет отрицательный знак.

Модуль каждого вектора зависит от того, насколько велики неслучайные колебания переменной (насколько велики различия в мнениях экспертов относительно значимости соответствующей темы). Положительно коррелированные переменные (например, Х₁ и Х₂) отображаются векторами с малыми углами расхождения между ними. «Антагонизм» отдельных переменных, их отрицательная корреляция понятны (например, Х₆ и Х₈: тот, кто осваивает средства контроля, не стремится сразу освоить компьютерную технику).

Рис. 15. Проекции переменных на собственные векторы

Матрица проекций исходных данных на главные компоненты размерностью nx3 дает возможность представить мнение каждого эксперта точкой в двух- или трехмерном пространстве, проанализировать сгустки точек, учитывая смысл отдельных направлений. Эксперты оказались разделены на 5 классов:

1 — специалисты проектных организаций;

2 — начинающие, неопытные специалисты;

3 — достаточно опытные специалисты;

4 — высококвалифицированные, творчески работающие специалисты;

5 — молодые выпускники вузов физических специализаций.

Контуры полученных классов представлены на рис. 16.

Следует отметить, что интерпретация классов выполнялась с участием экспертов на практическом занятии по теме «Анализ экспериментальных данных».

Рис. 16. Выделенные классы специалистов лабораторий металлов АЭС

Политологи используют метод главных компонент для отображения структуры политических сил, используя в качестве исходных данных результаты голосования отдельных депутатских групп в Госдуме. При этом отчетливо проявляется реальное (а не декларируемое) различие или близость позиций отдельных фракций по важнейшим вопросам государственной политики. Например, диаметрально противоположными оказываются координаты классов, соответствующих КПРФ и «правым».

Освоение технологии анализа многомерных данных с использованием метода главных компонент влияет на восприятие действительности исследователем. Он осознает, что во многих случаях изучаемые объекты по сущности проще, чем мы их себе представляем, используя сложившуюся систему наблюдений; на их состояние влияет гораздо меньшее число собственных (природных) факторов. Существует как бы заданная высшим разумом система координат, в которой сильно коррелированные переменные представляют собой пучки тесно связанных (практически однонаправленных) векторов.

Процедура компонентного анализа родственна факторному анализу, который часто используется при исследовании природы явлений. Результаты факторного анализа в сильной степени зависят от используемого метода (варимакс, квартимакс и т. д.), и при малых размерах выборок могут приводить к необоснованным, случайным моделям [65].