Има ли абсурди в новата рейтингова класация на университетите?

Мирослав Карабалиев, Иван Танев – преподаватели в Тракийски университет

Преди около седмица на сайта на Министерството на образованието и науката беше публикувана рейтингова система за висшите училища в България - http://rsvu.mon.bg/. Автор на системата е консорциум „ИОО- МБМД –С” обединяващ МБМД-Консултинг, Сирма Груп и Фондация “Институт отворено общество”. Отделните специалности са оценявани по 51 различни показатели. По всеки показател се поставя оценка, а допълнително всяка оценка се умножава с тегловен коефицент. Определянето на тези тегловни коефиценти е била „най-деликатната" задача по думите на авторите на класацията. 47 % от използваните данни за класацията са анкетни. Например, авторите на класацията са избрали „престижът” и „реализацията след завършване” да са най-важни за оценката, въпреки че данните за тях се получават по анкетен път. Така например, като най-важен от всички критерии, те са определили дохода след завършване и съответно са му дали 15 % тежест. Всъщност, престижът и доходите на завършилите зависят главно от престижа на града и икономиката на областта, където се намира университета. Какво е виновен Медицинският факултет на Тракийски университет, който дава 30 % от импакт-фактора и 50 % от цитиранията на университета, че неговите студенти са родени и се реализират главно в Кърджалийска, Хасковска, Ямболска, Сливенска и Старозагорска области, където нивото на доходите е доста под това в София и Софийска област.

Когато един студент се явява на изпит, той знае, че изпитването се извършва по строго определен регламент и е съгласен с него: известни са му въпросите, знае къде се намира учебния материал и най-важното, той знае технологията на изпитване. Примерно, ако покаже 40% знания (на практика много по-малко), ще получи среден (3). Както беше казано по-горе, системата за оценяване на рейтинга на университетите включва три етапа. Първо, всяка специалност се оценява по 51 различни показателя. На второ място, по всеки показател се поставя оценка и трето, всяка оценка се умножава с тегловен коефицент. Накрая получените точки се събират. При тази система на оценяване отделните университети се третират като неодушевени предмети. Никой не ги е питал, въпреки че в България има закон за академична автономия, съгласни ли са да бъдат оценявани по тази система или имат възражения и предложения. Просто в един момент някой решава да ги изпитва, почва да ги проучва както се преглежда един кон на пазара (има ли зъби, дали не куца и т.н.) и накрая обявява на всеослушание своето мнение кой е добър и кой лош! В науката за управление (нарича се кибернетика и нейн създател е Норберт Винер) това се нарича управление без обратна връзка. По-точно, в науката за управление това се нарича отсъствие на управление, защото за да има управление на някакъв обект, трябва задължително да има обратна връзка между управляващата и управляемата части на системата. Същият начин на "управление" беше вече приложен по отношение на БАН и към т.н. общност от академични кадри.

Резултатите от "изпитването" едва ли са изненадали някого. Столичните университети са в челото, провинциалните - в дъното. Какви ще бъдат последствията от тези рейтинги тепърва ще става ясно. Дали класацията ще бъде „всяко чудо за три дни”, или министърът на образованието ще я използва, както се закани, за да намалява субсидията на изоставащите с по 10 % на година. Ако е второто, очевидно е, че веднъж изостанали, по-слабите университети ще се „набълбукат” (думата е взаимствана от премиера). Който си спомня играта на карти 3-5-8, известна още като „блато”, може лесно да направи аналогия между нея и това, което се очертава за университетите. Вместо на „изоставащите” да им се помогне, защото те сигурно имат причини да са такива, те ще бъдат окончателно натикани в блатото. Все едно да лекуваш болен като го лишаваш от храна.

Тепърва ще се чуват протести и несъгласия с един или друг аспект на рейтинговата класация и на системата за оценяване – изборът на консорциум за оценител, изборът на критерии, изборът на тежестите за отделните критерии, начините на събиране на информацията, субективни влияния и т.н. Тук ще прескочим всички подобни възражения и ще обърнем внимание на едно единствено - методиката, по която са поставени оценките по отделните показатели, след като са събрани конкретните резултати,  колко тя е неясна, и до какви абсурдни резултати води това.

Авторите на класацията от консорциума „ИОО- МБМД –С” ни предоставят няколко изречения, обясняващи методиката –  „стандартизиране на стойностите на индикаторите по статистическа процедура, наречена z-точки”, като „стандартизирането се извършва по класически метод, който използва средна претеглена стойност и стандартно отклонение”. С тези общи приказки се демонстрира желание да се създаде представа за обективност и безпристрастност. Но така ли е в действителност?

Нека да видим до къде е довел „класическият метод” при построяването на скалите, по които са оценявани отделните показатели на университетите. Както ще се види от анализа, те са определени доста неясно. Най-вероятно границите за оценките са фиксирани след като вече са събрани резултатите, а не предварително. Авторите на класацията са приложили в едни случаи разтягане на скалите, а в други свиване, като по този начин са довели да заличаване на разликите в някои много съществени и важни показатели, или обратно, до огромни разлики в рейтинговите точки при несъществени разлики в показателите.  

Посочените по-долу примери са за медицинските специалности, но заключенията важат за всички – направихме си труда да проверим и други.

1. Първият вид манипулиране на скалата води до големи разлики в оценките, при малки разлики в постиженията.

При някои от „най-важните” и „тежки” критерии не са ясно дефинирани границите по които се правят оценките – долна и горна граница на показателите по даден критерий, необходими за получаването на миниманата и максимална оценка.

Особено характерни в това отношение са показателите:

- Среден успех от дипломата за завършено средно образование – тежест 3.5%.

- Осигурителен доход на завършилите – с тежест 15%.

- Безработица сред завършилите – 7.5%.

И в трите случая имаме много тесни интервали между долната и горна граница, което води до много големи разлики в приписаните оценки, при минимални разлики в самите показатели на отделните университети.

Така например при показателя „Среден успех от дипломата за завършено средно образование” стойностите за отделните университети са в много тесен диапазон – от 5.51 до 5.67.

При екстраполация на данните се вижда, че 0 точки се дават за успех 5.42, а максимумът от 3.75 точки - за успех 5.75. Т.е. целият интервал е заключен в 33 стотни на дипломата. Не е ясно нито защо долната граница е толкова висока оценка, нито защо не е взета оценка 6.00 за максимална. При реално 10 пъти по-голям допустим интервал на дипломите, от 3.00 до 6.00, приетият от рейтинговата агенция 10 пъти по-тесен интервал на практика завишава допълнително 10 пъти разликите в отделните университети. Така първият университет има среден успех от дипломата само с 6% по-висок от последния, и то ако смятаме само над „тройката”, но получава почти три пъти по-висока оценка от него.

Друг такъв пример е показателят „Осигурителен доход на завършилите” – с тежест 15%. И тук разликите в стойностите на този индикатор за отделните университети са в сравително тесен диапазон.

Агенцията, извършваща класацията не е посочила как е избрала долната и горна граница на осигурителния доход. Можем да гадаем дали долната граница от 791 лева е всъщност минималния осигурителен доход за работещи в болниците (колкото и да е спорен такъв избор), но по никакъв начин не можем да се досетим откъде е взета горната граница от 1138 лв. Защо не е максималния осигурителен доход или 10-кратната минимална работна заплата (какъвто коментар има в описаната от фирмата методология). При така определената скала реалните 20% разлики в показателя се превръщат в 280 % разлики в оценките, а както споменахме, този показател формира 15% от комплексната оценка.

От горните примери може да се прозре методиката на консорциума. Изчисляват средната стойност и стандартно отклонение на стойностите в показателя на избраната група университети и на средната стойност минус 2.5 пъти стандартното отклонение дават 0 точки, а на средната стойност плюс 2.5 пъти стандартното отклонение дават максимум точки. Класика...Ако някой не е разбрал, ще го обясня с пример. Да си представим, че завършващите нашите пет университета получават заплати с разлики в рамките на един 1 %, да кажем 100 лв., 100.25 лв., 100.50 лв., 100.75 лв., и 101 лв. Средната стойност тук е 100.50 лв. а стандартното отклонение е 40 стотинки. Като приложат своята „класическа методика” нашите оценители ще дадат 3.71 точки на този, който печели 100 лева, а на този който печели с един лев повече, 101 лева, ще дадат 11.3 точки. Т.е. за 1 лев разлика в заплатата ще се генерира 7.6 точки разлика в оценката.

Поставянето на долните и горни граници в такива тесни диапазони, е достигнало абсурдни измерения при показателя безработица. Тук специалностите по медицина нямат право на повече от един безработен на 125 завършили, защото получават 0 точки от 7.5 възможни, ако безработицата надвиши 0.8%. Тук най-високо оценения университет получава 5.88  точки за 0 безработни, а четвъртият получава  с цели 2.9 точки по-малко, защото има 1 безработен на 250 завършили. Най-ниско оценения университет пък получава  с 3.6 точки по-малко, защото си е позволил цял един безработен на 210 завършили.

Само на тези три показателя – успех от диплома от средното образование, осигурителен доход след започване на работа, и безработица след завършване – са дадени 26.25 % тежест в общата оценка. При така сложените граници на оценяване обаче, те генерират около 55% от разликите в оценките.... Не може да не вметнем, че нито един от тези показатели все пак не касае пряко качеството на преподаване и научната дейност в университета.

2. Вторият вид манипулиране на скалата води до малки разлики в оценките, при големи разлики в постиженията.

При една друга голяма група от показатели установяваме с изненада вдигане на долната граница на оценката, която се дава. Вместо 0 точки, минимумалната оценка на много показатели е вдигната до 0.37, 0,62 или дори 1 точка. Процедурата за това не е описана. Така например ако имате 0 публикувани статии, вие все пак ще получите 1 точка. Ако нямате нито една акредитирана специалност за докторанти, все пак ще получите 0.37 точки. Пак толкова ще получите и ако не сте привлекли нито един лев за научни изследвания.

При тези случаи на завишаване на долната граница на оценката, се омаловажават реално съществуващи разлики в показателите. Така например при 40 пъти повече привлечени допълнителни средства за наука, вие сте „възнаградени” само с 1.4 пъти по-висока оценка. Тук вече явно не става дума за статистика, безпристрастна и обективна, а за стъкмистика, която има за цел да изтика напред тези университети, които са по-наши.

По горния неясен и субективен начин са третирани изключително голям брой показатели. Например показателите, в които „нашият университет” е слабо представен са оценени така, че да привнасят малко точки, а тези показатели, в които той е добре представен, обратно, носят много точки.

Системата за оценка на университетите е не само необективна, но в нея има явни недомислия. Така например, от класацията излиза, че един хипотетичен университет с медицинска специалност, който:

- има слаба акредитационна оценка

- няма библиотечен фонд

- няма информационно обезпечаване

- няма учебна площ, където да си учи студентите

- преподавателите не публикуват статии

- не издават книги

- никой не ги цитира

- никой не им дава пари за научни изследвания

- нито пък те могат да привлекат сами такива средства

- не обучават докторанти

- не предоставя общежитие на студентите

- и не им дава стипендии

- университета няма никакъв престиж сред студентите

- няма никакъв престиж сред завършилите

- няма никакъв престиж сред преподавателите

- няма никакъв престиж сред работодателите

- няма никакъв престиж сред общественото мнение

- и нито един работодател не иска да наеме завършилите в него -      

та този хипотетичен университет няма да има рейтинг 0, а ще има рейтинг 13.53. Така че скалата на рейтинга изобщо не е от 0 до 100 както твърдят създателите и, а започва от 13.53.

3. Има и такива случаи, в които максимална оценка е невъзможно да се получи, поне според здравия разум. Например по шестобална система трябва да получите оценка 6.40 за „Актуалност на учебния материал” за да ви оценят максимално по този показател; 130 от 100 студенти да отидат на стаж; а безработицата сред завършилите трябва да е отрицателна за максимума от 7.5 точки – може би някои трябва да работят на две места.

В крайна сметка, може да се каже, че определените по тези неясни и според нас некоректни начини долни и горни граници на скалите на оценките и на стойностите на индикаторите довеждат до изкривяване на рузултатите, тъй като на практика се скрива едно второ поставяне на „тежести”, като за едни показатели разликите в постиженията се омаловажават, а в други се раздуват до неимоверност.

Един известен учен беше казал, че математиката е най-добрия начин да водите сам себе си за носа. Предполагам, че и статистиката върши работа в това отношение, особено за носовете на другите. Идеята за класиране на университетите сама по себе си е нещо положително и не бива да бъде опорочавана от лошо изпълнение. А такова очевидно има по много показатели. Каква ли оценка биха получили за изпълнението си авторите на класацията, ако трудът им бъде подложен на строго и безпристрастно (peer review) рецензиране? Или може би задачата трябва да се възложи на чуждестранна група от безпристрастни специалисти, а не на българска фирма, която още преди да започне работа вече знае какъв ще бъде резултата.

15 ноември 2010

Стара Загора