Med hårt arbete löpte examen bra

Med hårt arbete löpte examen bra

September är en hektisk tid. Fritidsintressena kör igång, vardagen löper kanske redan av gammal vana och veckosluten är fyllda med program. Också i gymnasierna brukar höstens första period vara en bråd tid. Med Abitti började brådskan redan i början av september, när det började komma in meddelanden från gymnasierna om belastningstestning för provlokalsservrarna.

För den här hösten hade belastningstestet förändrats radikalt. Det nya belastningstestet förorsakar en betydligt större belastning på servern och det har visat sig att det för med sig många dolda problem när det gäller servrarna för provlokalen och för provnätets inställningar och sammansättning. De här problemen löste vi tillsammans med gymnasierna i Abitti-stödet och i utvecklingsteamet hela början av september. Vi fick också besöka gymnasier när vi var tvungna att tillsammans försöka lösa några besvärliga problem på plats eller per distans.

Vi i nämnden ser bara indirekt de krav som vi ställt på servrarna och på provnätet. Belastningstestningen medför mycket arbete, vilket vi är väl medvetna om. I slutet av lektionerna eller under den enda håltimmen borde man bygga upp provnätet, ställa in och uppdatera servrarna och dessutom köra testet i över en timme, vilket dessutom kräver att man är närvarande, eftersom man först måste vänta på synkroniseringen och sedan ännu tolka resultaten med hjälp av examensanvisningarna som är längre än livet självt. Ändamålet med all den vånda som vi har förorsakat har trots allt varit gott, och i gymnasierna har man med mycket stor pietet följt våra anvisningar. Vi vill här tacka alla dem som svarat för provnätet och servrarna från Hangö till Utsjoki och från Solkusten till Joensuu. Tack vare det arbete ni gjort har tiotals problem upptäckts och vi har kunnat lösa dem redan före provdagen.

Största delen av de problem som kom fram vid belastningstesten berodde på problem med nätets prestanda, vilka påverkats av valet av virtuellt nätverkskort. Receptet för hur man byter ut Virtio har därför blivit bekant för många gymnasier. Vi fick försmak av dessa problem med nät och nätverkskort i våras, men nu först fick vi ordentligt grepp om dem. Dessutom upptäckte man i flera gymnasier nyanser som gäller enskilda nätverkskort, som t.ex. hur de fungerar när man plötsligt drar ut nätsladden. I många situationer klarnar detta först när man testar.

Det besvärligaste problemet när det gällde prestanda har visat sig gälla fördelningen av den virtuella serverns belastning på vissa processorer. Vid belastningstestet kunde det visa sig att också mycket effektiva datorer med fel inställningar inte klarade av ens den minsta belastning. Jag vill därför sända mitt varmaste tack till de belastningstestare som redan i god tid tog kontakt med oss. Genom att många tagit kontakt och vi aktivt utrett saken hittade vi en alternativ konfiguration för den virtuella servern. Denna ”under disken”-version av serverns Vagrantfil, den så kallade v131, var nyckeln till lösningen på problemen för många av de gymnasier som tagit kontakt med oss. Dessa belastningstestare hade en viktig roll också vid testningen av inställningarna. Samtidigt avslöjades att man i vissa gymnasier redan i åratal haft problem med prestanda i mycket effektiva servrar. Denna nya version av den virtuella serverns inställningar, som i själva verket använder färre virtualiserade trådar, men försöker fördela belastningen av den virtuella serverns trådar på separata fysiska processorkärnor, används redan i de nyaste Abitti-servrarna.

Under examensdagarna klarade vi oss i hög grad utan prestandaproblem.

De värsta situationerna som vi i våras råkade ut för var prestandaproblem med nätverken. Nu förekom inte just alls dessa problem under examensdagarna, och några små problem lyckades vi snabbt lösa. De mest invecklade problemen berodde på elavbrott och på att en nätanläggningar gått sönder. Sådana problem kan man inte just undvika genom att förbereda sig på förhand. Abitti-stödet fick också ett meddelande om elavbrott, under vilket man kunde fortsätta avlägga proven som normalt. Ni gymnasier är verkligt skickliga på att reda ut och lösa problem!

Det största antalet kontakter gällde störningar i den tekniska övervakningen. Under de senaste veckorna har detta sysselsatt några personer i Studentexamensnämndens utvecklingsteam och vi är säkra på att problemhärvan blir löst till denna del. Vi utreder dock ännu utreda situationen i Abitti-proven, där förhoppningsvis antalet anmälningar minskar i framtiden. Det skulle nu, liksom också i framtiden, vara viktigt att meddela oss om dessa anmälningar under proven i examen.

Vi hoppas att tröskeln att kontakta Abitti-stödet också annars, särskilt under examen, ska vara mycket låg. Även om man kan lösa problemen i gymnasiet, så är vi här i nämnden ovetande om dessa situationer, ifall vi inte får information om problemen. Anvisningstexter på servern och speciellt på reservservern var i vissa fall vilseledande.  Dessa texter har nu uppdaterats för att bättre motsvara speciellt de virtuella servrarna och anvisningarna i den nyaste utgåvan av Abitti. Den virtuella servern är ett problemtåligt system, men även om servern skulle råka ut för problem, lönar det sig mycket sällan att köra i gång den virtuella reservservern som server. Om ni inte kontaktar Abitti-stödet i problemsituationer kan vi inte ge bästa möjliga anvisningar. Att reservservern startas upp för att användas som server äventyrar inte i och för sig att provsvaren bevaras, men förorsakar ett mycket beklagligt avbrott på minst en halv timme i provet. 

Naksu lyckades i vissa fall trassla in sig vid säkerhetskopieringen. En förbättring av situationen väntas inom kort. Lyckligtvis har examinanderna inte just märkt Naksus fel, men de orsakar gråa hår för rektorerna.

Fryste GeoGebra till i kemiprovet?

Under provdagen i kemi kontaktades kansliets stödnummer flera gånger gällande problem med Geogebra. Eftersom det är ganska vanligt att enskilda examinanders datorer fryser till eller att det uppstår problem i användningen av enstaka program, verkade de första anmälningarna inte alltför alarmerande. Snart framgick det dock att de vanliga sätten, som till exempel att starta om datorn eller att byta till reservdator, inte hjälpte till. I det här skedet började man i Abitti-stödet ge det standardsvar som passar nästan varje provsituation: ”Vi rekommenderar examinanden att på det bästa möjliga sättet visa sitt kunnande och producera sitt svar i svarsfältet. Vid behov kan rektorn skicka in en anmälan om teknisk störning ifall situationen har inverkat betydligt på provprestationen.”

Varenda störning är beklaglig och otrevlig för examinanden. Under provdagen är det dock viktigt att se till att alla examinander fortsätter med att utföra proven och producerar sina svar och visar sitt kunnande, och att prestationerna kan tas tillvara. Situationen undersöks och reds ut senare. Utgående från anmälningar som gymnasierna gjort har ungefär 200 examinander i 36 gymnasier stött på problem av olika grad under provet i kemi. 3755 examinander hade anmält sig till provet i kemi.

I uppgift 10 gällde det att rita ett titreringsdiagram och fastställa förbrukningen av NaOH-lösning vid kurvans ekvivalenspunkt med två signifikanta siffrors noggrannhet. Materialet bestod av 216 mätningspunkter. Enligt gymnasiernas situationsbeskrivningar uppstod examinandernas problem huvudsakligen då de försökte fastställa värdena ur det ritade diagrammet. Efter att ha anpassat en spline kunde man inte lägga till punkter på diagrammet. Någon hade problem även med att öppna materialet eller rita diagrammet. Problem uppstod både med version 5 och version 6 av Geogebra. Att byta dator eller version av Geogebra hjälpte en del av examinanderna. I flera gymnasier hade Geogebra använts även utan några som helst problem.

Situationen såg alltså färggrann ut, och det tycktes vara svårt att hitta någon entydig faktor som skulle ha förklarat situationen. Lösningsstrategin som hade rapporterats vara problematisk testades i efterhand med både långsamma och snabba datorer, med olika versioner av Geogebra och genom att genomföra de olika stegen i uppgiften i olika ordning. I de första testerna fick man inte fenomenet upprepat. Först i senare tester kom det fram situationer där programmet inte betedde sig på det förväntade sättet. De situationer som examinanderna har varit med om har antagligen varit varierande kombinationer av saker som har att göra med prestanda och programmets funktionalitet. 

Problemen som examinanderna har haft kan ha uppstått till exempel på följande sätt:

  1. Programmet har blivit långsammare eller fryst till när de kommandon som användaren har gett har varit belastande. I testet som nämnden utförde fungerade datorn långsamt eller väldigt långsamt, ifall datorns prestanda var nära nedre gränsen och flera program kördes samtidigt på den. Typen av kurva som anpassas samt antalet punkter eller avgränsandet av området inverkar på programmets hastighet. Det finns även flera sätt att hitta det brantaste stället på kurvan, från att räkna ut tangentens vinkelkoefficient till ungefärlig uppskattning med ögonmått. 
  2. Efter att ha öppnat materialet måste man skilt öppna de lämpliga funktionaliteterna i programmet, eftersom man i materialet endast ger mätningspunkterna. Efter anpassningen av kurvan kan man inte placera punkten på kurvan om inte det rätta fönstret är aktiverat. Eftersom punkterna i materialet ligger så tätt måste området som ska ritas på vara förstorat på ett sådant sätt att det inte är möjligt att peka på andra objekt med musen. Examinandernas färdigheter i att använda dessa funktionaliteter i programmet är antagligen sådana att det gått en kort stund till att pröva sig fram. 
  3. I några testsituationer var det inte möjligt att placera punkten på kurvan efter att kurvan anpassats. Man fick fenomenet upprepat först efter flera testomgångar och även då framkom det oregelbundet. Vilken ordning funktionaliteterna används i, typen av kurva och förstoring av mätningsområdet kan möjligen påverka fenomenet. Det kan handla om en egenskap eller ett fel i programmet. 
  4. En kombination av de ovannämnda, eller övriga problemsituationer som uppkommit som följd av andra strategier.

Utgående från våra tester kan man även med Geogebra utan större problem konsekvent behandla och analysera uppgiftens titreringsmaterial med olika strategier. Till exempel avgränsning av datat eller anpassning av en polynomfunktion är mycket lättare operationer för programmet att utföra och behandla vidare än den väldigt invecklade splinefunktionen.

Innan provdagarna prövar nämnden öppna alla filer med testdatorer. I en enskild uppgift kan examinanden använda sig av flera olika program och för vart och ett av dem flera olika korrekta och felaktiga lösningsstrategier. Tyvärr är det inte möjligt att testa allt. Problem och fel kan uppstå i vilket program som helst på examinandens dator. Vad som än händer, är det i allmänhet bäst att anvisa examinanden att på det bästa möjliga sättet visa sitt kunnande i svarsfältet.

Bedömningen är ännu på hälft och kan därför kommenteras endast på ett allmänt plan. Censorsmötet kan ta i beaktande hur en eventuell problemsituation har påverkat besvarandet av uppgiften i fråga. Man kan till exempel godkänna alternativa svar och svarssätt i vilka examinandens kunnande framgår. En störning under provsituationen kan tas i beaktande vid bedömningen utifrån rektors meddelande om störning. I sådana fall bedöms huruvida situationen haft en betydande inverkan på prestationen och hur saken kan beaktas i det totalapoängtalet. Exempelvis kan flera avbrott hos en examinand i någon mån påverka prestationen och leda till enstaka tilläggspoäng beroende på provets maximipoäng. 

En tämligen problemfri examen

Under höstens examen utfördes sammanlagt 78 452 prestationer i 398 skolor. Abitti-stödet kontaktades cirka 400 gånger under provdagarna. 

Det förekom några enskilda problem som störde examinandernas prestationer. Också matematiskt är sannolikheten för att sådana problem ska förekomma stor då det är fråga om tillräckligt många provprestationer, även om själva problemet skulle vara mycket osannolikt. För varje examinand är naturligtvis det problem som han eller hon råkat ut för stort och man försöker just i det ögonblicket hitta en fungerande lösning på problemet samt hitta metoder och korrigeringar för att undvika att samma situation uppstår i framtiden. 

Det fanns inte just några fall som berodde på tekniken eller sådana fall som skulle ha förblivit mystiska problem. Den allmänna bilden är att examen hösten 2019 var den lugnaste hittills. Så här ska en digital examen löpa. Detta är det nya normala. På våren upprepas samma sak, men med ett litet större antal examinander.