Що впливає на хід оцінювання?

Чинники, що впливають на хід оцінювання можна в загальному поділити на ті, які пов'язані із суспільним оточенням юридичної клініки, що повинна бути предметом оцінювання, а також ті, які містяться в цій клініці.

Суспільне оточення:	Організація:
економічні чинники політичні чинники інше	цілі труднощі в оцінці людей інше

Перша група чинників - це т.зв. економічні чинники. Загальновідомо, що стан економіки впливає на функціонування цілого суспільного сектора, а також на ситуацію окремої юридичної клініки, неурядової організації. На практиці це може означати, наприклад, відсутність фінансових засобів на реалізацію статутних завдань або таку ситуацію, коли нестача засобів може впливати на зміни завдань і профілю діяльності юридичної клініки, організації. Це однаково стосується як економіки на рівні країни, так і економіки на рівні місцевої громади.

Часто буває і так, що зовнішні економічні чинники впливають на переорієнтацію активності юридичної клініки. Останні роки дають дуже багато добрих прикладів. Наприклад, зростаюче безробіття, чи буд-яка інша проблематика призводить до того, що деякі “клініки” змінюють свої завдання і зараз займаються цією проблемою. Більше того, цей процес торкається не тільки завдань, але й практичної діяльності. Через те, що безробітні мають більше часу і можуть відвідувати заняття протягом тижня, а не у вихідні, багато юридичних клінік опинились перед необхідністю зміни графіку роботи своїх офісів та добровольців.

Друга група чинників - це політичні чинники, які так само як економічні, можуть з'являтись як на рівні країни, так і на місцевому рівні. Зміни керівної команди можуть призводити до скорочення видатків на місцеві потреби, а це обов'язково відіб'ється на рівні активності локальних юридичних клінік, організацій та інституцій.

Різновид інстинкту самозбереження підказує багатьом організаціям, щоби в їх лавах, а ще краще - керівних органах, перебували депутати місцевих рад. Це має подвійне значення. Якщо змінюється політика місцевої влади, вони можуть, по-перше, відстоювати інтереси своєї організації, але так само може бути, що це вони ініціюють нові погляди і впливають на зміни стандартів і завдань, які формулює ця організація (або її керівні органи).

Згадані вище чинники не є, звичайно, єдиними, але все-таки відіграють ключову роль.

Серед них варто відзначити:

- діяльність інших організацій, які обмежують або доповнюють акції даної юридичної клінки;

- рівень суспільної активності;

- звичаї мешканців;

Зрозуміло, що не можна відокремити функціонування юридичної клініки чи будь-якої організації чи програми від суспільного і політичного контексту, в якому діє конкретна “клініка”, організація чи реалізується конкретна програма. Тому всі згадані вище чинники потрібно брати до уваги, коли ми хочемо належно провести процес оцінювання такої юридичної клініки чи організації.

З визначення оцінювання, яке наводиться у вступі, випливає, що предметом оцінювання є:

- рівень реалізації завдань, сформульованих на початку програми;

- раціональне використання засобів.

Йдучи цим шляхом, буде легше зідентифікувати т.зв. зовнішні чинники, або ж ті, які містяться в юридичній клініці чи організації і повинні братись до уваги в процесі оцінювання.

В першу чергу слід проаналізувати очікувані результати діяльності. Іншими словами, мова йде про цілі як далекосяжні, так і близькі. Перші є більш загальними, другі ж потрібно формулювати більш точно і завдяки цьому їх легше досягнути.

Однак тут ми наштовхуємось на кілька проблем. Виявляється, що зовсім нелегко сформулювати цілі юридичної клініки чи організації. Перешкодою може бути, наприклад, складність перекладу інтуїції та очікувань на мову статуту чи програмної декларації. Більше того, очікувані результати часто непомітні та їх важко виміряти. Найпростіше заховатись за загальними фразами і деклараціями. Однак, складність може полягати і в тому, що точне формулювання завдань вимагає планування, а це, у випадку організацій, що пропонують харитативні послуги, завжди викликає спротив. Діячі таких юридичних клінік, організацій доводять, що планування за своєю суттю зводить нанівець зміст допомоги і вбиває чуйність. Отже, виходом є уникання планування і точності формулювань.

Однак, з другого боку, намагання змусити юридичні клініки й аналогічні організації до точного формулювання завдань може призвести до внутрішніх проблем (наприклад, конфлікти поміж двома лідерами), а також ускладнювати пошук фінансових засобів. Приховування справжніх завдань досить часто застосовується в процесі боротьби за спонсора. Така ситуація повинна бути об'єктом уваги для тих, хто проводить оцінювання і хоче зробити це належним чином - він повинен це показати.

Окрім аналізу завдань, оцінювання відповідає на запитання про ефективність використання засобів. І тут ми знову стикаємось із проблемою виміру. Не тільки результати є непомітними, а так само виглядає справа з навичками та знаннями людей, які часто є головним засобом “клініки” чи огранізації. Тому не можна дивитись на ефективність, як на щось ізольоване, а спід аналізувати її відносно завдань.

Юридичні клініки головним чином опираються на персонал, добровольців та людей, які організовані в робочі або цільові групи. Це нам відомо, однак ми не знаємо, чи існує каталог рис, якими повинен бути наділений член такої групи або команди. Більше того, складність полягає також у відповіді на питання, що повинно характеризувати хорошу робочу групу. Якими є оптимальні умови, ті створення і яка з відомих організаційних моделей є найкращою. Перед лицем існування таких сумнівів проблема ефективності діяльності, особливо ефективності використання коштів, стає ключовою і найважчою.

Розглянемо це на прикладі консультанта юридичної клініки. Тут навики є, по суті, також непомітними і важко окреслюваними. У діяльності юридичних клінік просту і зручну мірку застосувати неможливо.

Як видно з цього короткого огляду чинників, які впливають на оцінювання, це досить важкий процес, який потребує багато роздумів. Однак слід підкреслити, що труднощі не перевищують потенційної користі, тому варто продовжити.

Чому?

Це перше із серії питань, яке я поставив в цьому розділі й постараюсь відповісти на нього так, щоби зміст і перебіг правильного оцінювання не становили вже ні для кого таємниці.

Отже, чому ми хочемо оцінювати? По суті, це питання можна розбити на два: хто хоче оцінювання і що він хоче досягнути, домагаючись його?

В першому випадку треба сказати, що різні групи можуть мати різні інтереси в проведенні оцінювання. Місцева влада хоче провести оцінювання, щоби знати, яка організація заслуговує на фінансування з бюджетних коштів. Політики хочуть знати, якою є ефективність використання грошей, що надаються під їхнім наглядом. Вони можуть також потребувати аргументації для виправдання їхніх попередніх рішень, або збирати аргументи, які обгрунтовують вибір якоїсь юридичної клініки. Оцінювання може бути способом нагромадження політичного капіталу перед черговими виборами. Працівники якоїсь “клініки” потребують оцінки, щоб з'ясувати певний аспект політики, що ними проводиться, або отримати дані для оцінки влади. Клієнти можуть бути зацікавленими тим самим, але з інших причин.

Відповідно можуть бути різними:

§ інтереси, які стоять за бажанням проведення оцінювання і визначають її;

§ що і як буде оцінюватись;

§ критерії, які будуть застосовуватись.

Для різних груп ефективність означає абсолютно різні речі і тому може по-різному оцінюватись. Для спонсора ключове значення може мати вартість, для працівників юридичної клініки - задоволення від праці, а для клієнта - користь, яку він дістає, отримуючи пропоновані “клінікою” послуги.

З цієї причини абсолютно необхідним є розуміння потреб того, хто бажає проведення евалюації[42] і якими є його інтереси. Це не означає, що слід якось впливати на результат, але таке усвідомлення може бути дуже корисним.

Облишимо зараз розмірковування про те, кому необхідне оцінювання і займемось другою стороною питання "Чому", або тим, що ми хочемо досягнути через оцінювання.

Можливостей є кілька:

§ розвиток юридичних клінік;

§ ріст її відповідальності;

§ промоція юридичної клініки.

У першому пункті йдеться про такі питання як розвиток практично діяльності та її ефективності, про критичний аналіз пріоритетів та оцінку знань працівників і добровольців. Отримана інформація дозволяє наприклад, наново сформулювати ці пріоритети або запланувати нове навчання.

Другий пункт стосується відповідальності юридичної клініки. Можна її продемонструвати, доводячи спонсорам, що отримані кошти використовуються ефективно і варто далі фінансувати цю юридичну клініку (програму). Це має велике значення для самої “клініки”, бо працівники та члени мають тоді наочний доказ, що її цінують, а її керівництво відповідально ставиться до виконання своїх обов'язків. Звідси лише крок до переконання, що такою є вся юридична клініка.

І нарешті промоція. Здійснення промоції може полягати в демонстрації і рекламі реалізованих акцій та програм, а також у заохоченні до застосування методик, які виявились дешевими й успішними.

Що?

Точна відповідь на питання “що буде предметом оцінювання” неможлива до того моменту, поки ми не усвідомимо, що кожна юридична клініка чи інституція може розглядатись з різних точок зору складатись із різнорідних частин і систем. Тому умовою доброї евалюації є детальні відомості про об'єкт, який повинен бути їй підданий. Це необхідно, щоб вибрати якусь із існуючих моделей оцінювання і застосувати власне її, увесь час пам'ятаючи про те, що вихідним пунктом є відповідь на питання "чому ми хочемо проводити оцінювання".

Розглянемо такий приклад:

Для потреб кількох інвесторів, спонсорів ми хочемо провести евалюацію юридичної клінки “ X ”. Розпочати ми повинні від запитання, якою є ця юридична клініка, чим вона займається і якими е її складові елементи.

Насамперед необхідно відповісти на питання чи нас цікавить евалюація програм, реалізованих цією “клінікою”, чи процес-прийняття рішень, наприклад, щодо того, які програми реалізовано, чи прийнята в юридичній клінці модель відносин між її працівниками і клієнтами або між персоналом та добровольцями.

Ми можемо піддати оцінці також систему реалізації конкретної програми юридичної клініки, у тому числі й роль членів, працівників чи робочих груп, виділених спеціально для цієї мети. В останньому випадку важким може виявитись питання наскільки діяльність робочої групи спричинилась до успіху програми і наскільки вона служить інтересам “клініки”, як єдиного цілого.

Подібні роздуми можна проводити до нескінченності, бо життя е режисером з необмеженою фантазією. Однак все-таки з'являється одна небезпека. Чим більше прикладів та гіпотетичних питань, тим більше сумнівів. Але не про це мова. Ми ж намагаємось будувати модель, а не розглядати детальні питання.

Ми вже сказали раніше, що для того, аби провести оцінювання правильно, слід знати, чому воно нам потрібне. Це відправна точка. Якщо ми це вже знаємо, то повинні відповісти на чергове питання, що таке те "щось", що цікавить нас як потенційний предмет оцінювання? Якщо знаємо і це, то можемо зробити наступний крок, але зараз припустимо, що маємо труднощі з відповіддю на це питання. Чи є якісь критерії, які б дозволили перевірити, чи суттєвим є те, що, на нашу думку є потенційним предметом оцінювання і чи воно повинно бути цим предметом. Немає таких критеріїв, ані готових рецептів, бо в кожному випадку вони є похідною першого питання.

Розглянемо черговий приклад.

Юридична клініка “ V ” реалізує у Києві певну програму чи здійснює певну діяльність. Залежно від завдань оцінювання можемо наголосити на тому, якою мірою програма досягне визначеної мети, або на тому, яким чином здійснюється її керівництво і реалізація. На практиці це може означати як дослідження ефективності, так і оцінку чи насправді в рамках реалізації програми надаються такі послуги, які очікувалось.

Подібно виглядає ситуація з оцінкою робочих груп. Ми можемо досліджувати те, чи така група реалізує визначену мету чи ні, або чи робить це ефективно. В цьому випадку скористаємось прикладом групи експертів, скликаних для приготування концепції розвитку якоїсь програми, наприклад розвитку мережі юридичних клінік в місцевості Z. Не маючи спеціальних знань про цю програму, ми не будемо оцінювати експертизу як таку, натомість у процесі оцінювання ми можемо дослідити наскільки робота цієї групи спричинилась до успіху організації або якою мірою ефективність роботи цієї групи служить реалізації вдосконаленню й поширенню даної програми у даній місцевості чи регіоні. З другого боку, значно важливішим може виявитись визначення, що саме було причиною низької ефективності роботи цієї групи. Слабкість може полягати в принципах підбору членів групи або в прийнятій процедурі роботи.

Як?

Після відповіді на запитання: "чому" і "що" прийшов час на питання "як". З-поміж ряду моделей оцінювання тут, продемонструємо три найпопулярніші моделі, а саме - оцінювання результату, оцінювання процесу та оцінювання послуг.

Щоб говорити про оцінювання результату, варто спочатку продемонструвати т.зв. системний підхід. Простіше кажучи, існують якісь складники, що входять до системи, там підлягають різним впливам і виходять із системи у формі результатів. Прийнято, що у випадку, коли в системі відбувається якийсь процес, кінцевим продуктом цього процесу є перетворення його складників у якийсь якісний результат. Це означає, що оцінка результатів полягає у порівнянні їх зі складниками.

Цей тип оцінювання на практиці полягає у вимірі, якою мірою очікуваний результат був досягнутий. Іншими словами йдеться про оцінку рівня реалізації завдань і намірів, сформульованих на початку програми. Може, однак, здатись і так, що предметом виміру та оцінки будуть результати, які не були ані очікуваними, ані внесеними в програму, тому що є побічним ефектом або випадковістю.

З метою зображення цієї моделі повернемось юридичних клінік які реалізує програму підвищення кваліфікаційного рівня молодих правників. У цьому випадку оцінювання може полягати у дослідженні, чи ці працівники насправді підвищили кваліфікаційний рівень і тим самим, чи це завдання програми було реалізоване.

Дещо інший характер має оцінювання процесу. Якби ще раз повернутись до системного аналізу, то цього разу слід було б звернути увагу на процеси, які відбуваються у системі, змінюючи складники на результат.

Вибір тих процесів, які повинні бути піддані оцінюванню, завжди залежить від потреб зацікавленої сторони. В нашому прикладі з робочою групою, яка працює над концепцією розвитку програми юридичних клінік, оцінювати можна підбір членів, процес роботи групи, її ефективність, відносини між членами, а також відносини між членами і персоналом організації.

Оцінювання послуг можна передати досить простою формулою, бо ми запитуємо, чи одержувачами послуг були ті, для кого вони призначались?, чи послуги були такими, як планувалось? і чи надання цих послуг відбувалось ефективно?

У зв'язку з представленими моделями оцінювання з'являється кілька проблем, про які варто згадати.

По-перше, один вид оцінювання не виключає інший, тому що на практиці оцінка надання послуг пов'язана з аналізом результатів, а оцінювання процесу може торкатись завдань і намірів. Більше того, часто на практиці може виявитись, що оцінка наданих послуг пов'язується з аналізом результатів, а оцінювання процесу торкається проблематики завдань і намірів.

По-друге, незалежно від того, який вид оцінювання застосовується, воно повинно відбуватись, опираючись на чітко описані процедури.

Щоб здійснити належний вибір моделі оцінювання, завжди потрібно пам'ятати про те, чому воно розпочалось. Якщо метою є перманентна оцінка діяльності юридичної клініки чи будь-якої іншої програми, то слід використовувати однакову процедуру, підібрану таким чином, щоб відбувалась постійна оцінка отриманої інформації та прийнятих рішень, а сформульовані пропозиції оперативно використовувались для перевірки функціонування юридичної клініки. При такому підході оцінювання і управління тісно пов'язані між собою.

Якщо ж нашою метою є підготовка звіту на якомусь етапі діяльності, тоді процедура оцінювання повинна бути зовсім іншою. У цьому випадку оцінка проводиться в конкретний момент, а дослідженню підлягає певний замкнутий цикл функціонування юридичної клініки. Тут безпосередні зв'язки з управлінням не є вже такими явними, бо пропозиції можуть, але не повинні використовуватись.

Звичайно, якщо це необхідно, можна уявити собі застосування обох схем одночасно.

По-третє, оцінювання повинно відбуватись за заздалегідь розробленим планом. Він віддзеркалює причини, через які розпочалось оцінювання, окреслює його предмет, а також вибраний тип (модель) оцінювання.

Не будемо заглиблюватись у подробиці планування процесу оцінювання, але слід звернути увагу на наслідки недопрацювань у цій площині. Припустимо, що ми хочемо порівняти дві юридичні клініки. Не можна, наприклад, стверджувати, що юридична клініка “ Х ” є більш ефективною, ніж юридична клініка “ V ”, якщо ми не маємо даних про останню. Це означає, що в процесі планування була допущена помилка. Не можна стверджувати, що програма Р принесла користь особам А,В,С і D, якщо немає інформації про цих людей від того часу, коли програма Р була розпочата.

У вступі я зазначав, що до питань "чому" і "що" додаємо питання "як". Як легко зрозуміти - кожне питання наближає нас до відповіді на найважливіше питання: чим є оцінювання і як його проводити?

Аналізуючи окремі питання і відповіді, ми переконуємось, що переходимо від речей загальних до детальних і від речей абстрактних до конкретних. Ми починали від дуже загального визначення евалюації, потім був його предмет, а зараз ми оперуємо детальними типами (моделями) цього процесу. Черговий крок веде нас до нагромадження інформації, яка дозволяє проводити оцінювання. Як самої інформації, так і методів її нагромадження може бути дуже багато. Приділимо трохи уваги обидвом цим питанням.