Jak szacujemy EWD?
Gdyby wszystkie szkoły w Polsce pracowały z uczniami o tym samym poziomie uprzednich osiągnięć szkolnych, tych samych zasobach rodzinnych i dysponowały tymi samymi zasobami materialnymi, wyniki egzaminu końcowego byłyby dobrą miarą efektywności. Ale tak nie jest. Metoda EWD pozwala uwzględnić zróżnicowanie szkół ze względu na zasoby „na wejściu”. W wypadku gimnazjów najlepszą, dostępną miarą zasobów na wejściu są wyniki uczniów na sprawdzianie po szkole podstawowej. Wyniki sprawdzianu mówią nie tylko o poziomie osiągnięć szkolnych ucznia na progu gimnazjum, ale są też „nośnikiem” informacji o środowisku rodzinnym dziecka, o jego poziomie zdolności i motywacji szkolnej. Dzieje się tak dlatego, że wyniki sprawdzianu są uwarunkowane podobnymi czynnikami, co rezultaty egzaminu gimnazjalnego.
Wskaźnik EWD dla gimnazjum mówi o tym, na ile wysokie/niskie wyniki egzaminu gimnazjalnego uzyskali uczniowie w porównaniu do gimnazjów w całej Polsce o danym poziomie zasobów na wejściu. Wskaźnik ma charakter względny, czyli służy do porównywania szkół. W skali kraju wskaźnik EWD ma z definicji wartość równą zeru. Wartość dodatnia EWD wskazuje na ponadprzeciętną efektywność nauczania, wartość ujemna na niższą niż przeciętna efektywność.
Dlaczego wskaźniki trzyletnie?
W szacowaniu wskaźników wykorzystujemy wyniki z trzech kolejnych lat. Dlatego mówimy o wskaźnikach trzyletnich. Bazujemy na wynikach testów egzaminacyjnych w wersji standardowej dla uczniów zdających w terminie głównym. W analizach nie uwzględnia się też uczniów drugorocznych. To ostatnie ograniczenie wynika z przekonania, że wydłużenie cyklu kształcenia do 4 czy nawet większej liczby lat, sprawia, że szacowanie efektywności nauczania dla tej grupy uczniów nie może dokonywać się w ten sam sposób, co w wypadku normalnego, trzyletniego cyklu kształcenia.
Obliczanie trzyletnich wskaźników uzasadnione jest z kilku powodów. Najważniejszy to fakt, że wyniki egzaminacyjne obarczone są niepewnością pomiarową. Im większą pulą danych dysponujemy, tym mniejszy wpływ tej niepewności na szacowanie wskaźników dla szkoły. Używając wyników z trzech kolejnych lat, zyskujemy trzy razy więcej danych, a duża ilość informacji oznacza większą precyzję szacowania. Ewaluacja szkoły nie jest dzięki temu uzależniona od chwilowych zmian, jednorazowych „statystycznych kaprysów” zwiększających lub zmniejszających wartość wskaźników.
Jak już wspominaliśmy wyniki wszelkich pomiarów, też testów egzaminacyjnych, cechuje niepewność pomiarowa. Lokując gimnazjum na wykresie należy wziąć to pod uwagę. Robimy to wyznaczając dla każdego gimnazjum obszar, w którym z 95% pewnością znajduje się gimnazjum ze względu na dwa interesujące nas wskaźniki: wynik egzaminu i EWD. Obszar ten ma kształt elipsy. Rezygnacja z dokładnego (tzw. punktowego) szacowania interesujących nas wartości nie jest wynikiem asekuranctwa, czy „statystycznej bojaźliwości”, jest normalną procedurą statystyczną stosowaną wszędzie tam, gdzie na podstawie wartości szacunkowych musimy formułować odpowiedzialne oceny lub podejmować kosztowne działania.
Na jakiej skali prezentowane są wyniki?
Korzystanie z wyników z różnych edycji egzaminów zewnętrznych rodzi znaczący problem. Surowe wyniki egzaminów nie są porównywalne między kolejnymi edycjami egzaminu. Przed przystąpieniem do analiz efektywności nauczania musieliśmy więc je sprowadzić do porównywalnej postaci.
W pierwszej fazie wyniki każdej edycji egzaminu tak przekształcono, by ich rozkłady maksymalnie zbliżyły się do rozkładu normalnego (normalizacja). W drugim kroku znormalizowane wyniki egzaminacyjne w każdym roku przeliczono na wspólną skalę, tak by średnia krajowa wyniosła 100 punktów, a odchylenie standardowe wyniosło 15 punktów (standaryzacja). Taka procedura umożliwia wykorzystywanie w ewaluacji szkół wyników z rożnych lat.
Znormalizowana i wystandaryzowana skala wyników uczniowskich służy zarówno do prezentacji wyniku egzaminacyjnego danego gimnazjum, jak i do prezentacji wartości wskaźnika edukacyjnej wartości dodanej. W wypadku EWD skala ma swój środek w punkcie 0. Wynik EWD równy np. 5 pkt, oznacza, że przeciętny uczeń tego gimnazjum otrzymał na egzaminie gimnazjalnym o 5 punktów więcej, niż by to wynikało z jego rezultatu na sprawdzianie po szkole podstawowej.