Jak AI ocenia zadania otwarte na maturze

Zadanie zamknięte sprawdza algorytm: porównuje odpowiedź z kluczem i tyle. Zadanie otwarte to inna historia. Rozwiązanie dzieli się na etapy, a każdy etap ocenia się osobno wobec gotowej rubryki. Właśnie to znaczy, jak AI ocenia zadania otwarte: krok po kroku, względem rubryki zadania, nie za ogólne wrażenie całości.

Co egzaminator ma w ręku, gdy ocenia?

Egzaminator dostaje rubrykę konkretnego zadania: listę etapów i warunków, za które przyznaje się punkty. Nie ocenia „na oko", tylko odhacza etapy z tej listy. System pracuje na tej samej zasadzie: rubryka zadania trafia do niego jako jedyne źródło punktacji. Jak wyglądają zasady oceniania i co egzaminator uznaje za zapis, opisaliśmy w tekście jak egzaminator przyznaje punkty na maturze.

Droga od kartki do wyniku ma cztery etapy. Najpierw oddajesz rozwiązanie: zdjęciem, na tablicy online albo wpisane wprost. Potem system odczytuje Twój zapis i zawsze pokazuje, co odczytał, zanim padnie ocena. Dalej każdy krok trafia na rubrykę punktową tego konkretnego zadania. Na końcu dostajesz punkty i komentarz do każdego etapu z osobna, nie jedną zbiorczą ocenę. Pełny opis metody stoi na stronie Jak oceniamy.

Które kroki sprawdzi algorytm bez modelu?

Kroki o jednoznacznym kluczu ocenia algorytm, bez udziału modelu językowego. Zadania zamknięte i proste podstawienia mają dokładnie jedną poprawną formę, więc porównanie z wzorcem wystarczy.

Zanim dojdzie do porównania, zapis trzeba ujednolicić: inny sposób zapisania tej samej liczby albo tego samego wyrażenia nie może zaniżyć wyniku. Po normalizacji algorytm sprawdza zgodność z kluczem i przyznaje punkt albo nie. Zaletą tej ścieżki jest powtarzalność. Ten sam zapis dostanie ten sam wynik za każdym razem, niezależnie od pory dnia czy obciążenia serwera.

Przykład z zadania rachunkowego: zapis „x = 2" i „x = 2,0" to dla algorytmu ta sama wartość po normalizacji, więc oba warianty dostają ten sam punkt. Różnica w zapisie, która nie zmienia treści matematycznej, nie obniża wyniku.

Gdzie potrzebny jest model językowy?

Model wchodzi tam, gdzie jednego klucza nie da się napisać: przy uzasadnieniach, dowodzeniu i przekształceniach z kilkoma poprawnymi drogami. Dostaje rubrykę zadania i rozwiązanie wzorcowe, a potem porównuje z nimi zapis ucznia etap po etapie. Przykład z zeszytu: dwoje uczniów uzasadnia tę samą obserwację inaczej, jedno opisuje zmianę barwy, drugie odwołuje się do przesunięcia równowagi reakcji, a rubryka daje im tyle samo punktów, jeśli oba trafiają w tę samą przyczynę.

Zasady oceniania zadań otwartych są etapowe. Najpierw sprawdza się, czy uczeń pokonał zasadniczą trudność zadania, a dopiero potem drobniejsze kroki przed nią i po niej. Rozwiązanie inne niż wzorcowe, ale poprawne merytorycznie, dostaje tyle samo punktów co droga podręcznikowa, o ile spełnia te same etapy. Model ma to wpisane w kontekst, więc nie ocenia, czy zapis „wygląda znajomo", tylko czy etap rubryki jest spełniony.

Rubryka uwzględnia też błąd konsekwentny. Jeśli wcześniejszy etap jest błędny, ale dalsze kroki są poprawne względem tego błędu, model ocenia je względem tego, co uczeń faktycznie zapisał, a nie względem wzorca. Dzięki temu jedna pomyłka na starcie nie zabiera punktów za poprawne rozumowanie, które następuje po niej.

Dlaczego suma punktów nie przekroczy rubryki?

Model liczy punkty za etap, ale sumy pilnuje osobna warstwa (prosty licznik, nie kolejny model), niezależna od tego, co model odpowie. Nawet gdyby model pomylił się przy kilku etapach naraz, wynik zadania nie przekroczy jego maksymalnej punktacji.

To rozwiązuje konkretne ryzyko. Model językowy potrafi się pomylić w jedną albo drugą stronę, ale ograniczenie od góry likwiduje najgroźniejszy z tych błędów: zawyżenie punktacji ponad to, co zadanie w ogóle daje. Zaniżoną ocenę naprawia zgłoszenie, o którym niżej. Sufit nie jest ustawieniem, które można wyłączyć per zadanie: obowiązuje tak samo w każdym przedmiocie i na każdym poziomie, niezależnie od tego, jak długa jest rubryka.

Kiedy AI się myli i co wtedy?

AI się myli w dwóch miejscach: przy odczycie pisma i przy ocenie złożonego kroku. Nie znam systemu oceniania, który myli się zero razy, więc ważniejsze od samej pomyłki jest to, co się dzieje zaraz po niej. Oba mają tę samą odpowiedź: zgłoszenie oceny, które sprawdza człowiek. Żaden z tych błędów nie jest ukryty, bo zawsze widzisz odczyt zapisu i zawsze widzisz przyznane punkty, więc masz na czym oprzeć zgłoszenie.

AI myli się z trzech głównych powodów:

• Nieczytelne pismo: odczyt ze zdjęcia bywa niedokładny, dlatego zawsze widzisz, co system odczytał, i możesz to poprawić przed oceną.
• Nietypowa, ale poprawna droga: rubryki opisują typowe metody, więc rzadsza, choć poprawna, może zostać niedoceniona.
• Błąd samego modelu: w złożonych przekształceniach model czasem błędnie ocenia krok.

W żadnym z tych przypadków ocena nie jest ostateczna: przy każdym wyniku stoi zgłoszenie, a poprawioną ocenę wystawia człowiek, nie kolejne uruchomienie modelu.

Czego AI nie ocenia?

Model nie ocenia charakteru pisma, tempa pracy ani estetyki zapisu, tylko to, czy treść kroku spełnia etap rubryki. Nie wymyśla też własnych kryteriów: poza rubryką zadania nie ma dla niego żadnego innego wzorca.

System nie porównuje Cię z innymi uczniami i nie wystawia prognozy wyniku egzaminu: ocena dotyczy jednego zadania, nie ciebie jako osoby. Nie ocenia też wyboru metody samego w sobie. Jeśli droga jest poprawna merytorycznie i spełnia etapy rubryki, forma zapisu inna niż podręcznikowa nie jest karana.

Model nie zmienia też treści zadania ani sposobu jego zapisania. Ocenia wyłącznie to, co uczeń napisał, wobec gotowej rubryki, i nie tworzy własnej wersji polecenia ani własnych kryteriów w jego miejsce.

Najczęstsze pytania

Czy AI może zaniżyć ocenę bez powodu?

Zaniżenie zdarza się głównie przy nietypowej, ale poprawnej metodzie albo błędnym odczycie zapisu. W obu wypadkach masz dostęp do zgłoszenia oceny, a to najszybsza droga do poprawki, szybsza niż zgadywanie, co poszło nie tak.

Kto sprawdza zgłoszoną ocenę?

Zgłoszenie ocenia człowiek, nie kolejne uruchomienie modelu. Poprawiona ocena aktualizuje Twój wynik zadania po weryfikacji, a Ty widzisz, co dokładnie się zmieniło.

Czy inna niż podręcznikowa metoda dostanie pełną punktację?

Tak, jeśli jest merytorycznie poprawna i spełnia te same etapy co rozwiązanie wzorcowe. Rubryka ocenia etapy rozumowania, nie zgodność z jednym konkretnym zapisem, więc nie musisz zgadywać, jakiej dokładnie kolejności kroków oczekuje system.

Co się dzieje, gdy system źle odczyta pismo z kartki?

Zawsze widzisz, co system odczytał, zanim padnie ocena. Błędny odczyt poprawiasz sam, a rozwiązanie trafia do ponownej oceny z Twoją poprawką.

Czy ocena z AI liczy się tak samo jak ocena egzaminatora?

Rubryka jest ta sama, lecz to nie jest ocena urzędowa: to narzędzie do ćwiczenia przed egzaminem. Dlatego stoi przy niej zgłoszenie, czyli sposób sprawdzić wątpliwy wynik, zanim uznasz go za pewnik.

Jak to sprawdzisz w zdawce

W zdawce ocena idzie krok po kroku według rubryki zadania: proste kroki liczy algorytm, złożone przekształcenia ocenia model. Suma punktów nie przekroczy rubryki, a każdą ocenę możesz zgłosić do sprawdzenia przez człowieka. Zobaczysz też komentarz do każdego etapu z osobna, nie jedną zbiorczą liczbę.

Sprawdź to na własnym rozwiązaniu: weź zadanie otwarte, które masz akurat przed sobą, oddaj je do oceny i zobacz, który krok dostał punkt, a który nie. To samo możesz zrobić z całym arkuszem, o czym pisze tekst o nauce z arkuszy maturalnych, albo najpierw sprawdź, na co zwrócić uwagę przy wyborze aplikacji do nauki.