Основные частные и интегральные критерии оценки АИПС

На основе первичных координат построены частные показатели оценки технической эффективности:

· Полнота- доля выданных релевантных документов по сравнению с их общим количеством в информационном массиве: r=a/(a+c)= x/x₀=|L^И ∩L^C|/|L^И|

· Точность – доля релевантных документов во множестве выданных: p=a/(a+b)=x/n=|L^И ∩L^C|/|L^C|

· Специфичность- доля невыданных документов по сравнению с невыданными и выданными нерелевантными: σ=d/(b+d)=1- (n-x)/(n₀ – x₀)=|L₀\ (L^И UL^C)| / |L₀\L^И|

· Общность- характеризует качество комплектования поискового массива (доля релевантных документов в информационном массиве): p₀=(a+c)/(a+b+c+d)=n/n₀=|L^И|/|L₀|

· Относительный объем выдачи: v=(a+b)/(a+b+c+d)=n/n₀=|L^C|/|L₀|

Отдельно взятое значение одного из частных показателей не отражает качество выдачи, поэтому обычно их используют парами <r,p>, <v,r> и тд. Пары показателей могут быть интерпретированы как прямоугольные координаты, тогда выдача системы отображается точкой на соответствующей плоскости.

Координаты <v,r> получаются путем нормирования к единице координат <n,x>, при этом заштрихованные области диаграммы соответственно сжимаются до треугольника с меньшей стороной, равной р_0. Т.к. р₀ очень мало, этими областями можно пренебречь и в дальнейшем координаты <v,r> могут изображаться в форме квадрата без указания областей.

Интегральные показатели оценки технической эффективности.

Использование частных показателей неудобно, т.к. невозможно определить какая из выдач будет предпочтительнее- с координатами <r₁,p₁> или <r₂,p₂>, если p1<p2 и r1>r2. Это вызывает необходимость построения интегральных показателей. Если частные показатели p,r, σ включают только часть переменных <a,b,c,d> (как правило 3), то интегральные охватывают все переменные и вполне однозначны.

Интегральные показатели: коэффициент линейной корреляции и показатель полезной работы.

Показатель полезной работы базируется на предположении о том, что качество поиска АИПС тем выше, чем в большей степени потребитель освобождается от необходимости полного просмотра массива документов.