tisdag 5 maj 2015

Hur är det med validiteten och reliabiliteten i NP?

Nu är äntligen nationella proven i NO både genomförda och färdigbedömda....

Äntligen för att då har jag fått "kvittot" på min undervisning de senaste 3 åren och kan analysera och förändra så att jag blir ännu bättre inför nästa läsår då nästa kull elever kommer.

Eller har jag verkligen det? Hur är det egentligen med validiteten och reliabiliteten på nationella provet i ett ämne som biologi i år 9?

Så här står det på skolverkets hemsida vad gäller de nationella provens konstruktion

"All bedömning ska vara valid (giltig och trovärdig). Det här innebär att den ska pröva rätt saker och göra det på ett sådant sätt att resultaten blir så informativa och användbara som möjligt. De nationella proven ska täcka så stora delar av kursplanen som möjligt, även om de av praktiska skäl inte kan göras så omfattande att allt finns med." http://www.skolverket.se/bedomning/nationella-prov/hur-konstrueras-de-nationella-proven

För mig är det en gåta hur man tänker att man ska lyckas med detta i ett ämne där man uttalat gett läraren rätt att vikta det centrala innehållet. Jag måste nog säga att jag har lyckats vikta både bra och dåligt med tanke på att några av frågorna i A1 delen var mer eller mindre exakt likadana som de frågor jag använt tidigare när jag undervisat om just det innehållet men andra frågor var för mina elever helt nya.

För mig är det ytterligare en gåta hur man tänker när man väljer att fråga på innehåll som inte ingår i årskurserna man avser att testa av. En av frågorna handlade om en ekosystemtjänst som finns uttalad i årskurs 4-6 men inte i år 7-9. På Facebook skrev en lärare som svar på mitt ifrågasättande som svar att meningen med nationella provet är ju att testa av elevernas samlade kunskaper men det stämmer ju inte.

Så här skriver skolverket:

"Syftet med de nationella proven är i huvudsak att stödja en likvärdig och rättvis bedömning och betygssättning, och ge underlag för en analys av i vilken utsträckning kunskapskraven uppfylls på skolnivå, på huvudmannanivå och på nationell nivå." http://www.skolverket.se/bedomning/nationella-prov

Meningen är alltså att se till att min betygssättning är likvärdig och rättvis. Detta går ju omöjligt att kontrollera om man ställer frågor på sånt som jag inte ska undervisa om. Alltså saknas validitet.

Reliabiliteten då, hur är det med den? Jag och mina ämneskollegor har under samrättningen på flera ställen varit frågande när det gäller reliabiliteten.

Så här skriver skolverket:

"Bedömningen ska också vara tillförlitlig, det vill säga ha hög reliabilitet eller mätsäkerhet. För att säkerställa hög reliabilitet krävs att uppgifterna är utprövade i större grupper av elever. De nationella proven är alla utprövade i stor skala och därefter utvecklade med hjälp av vetenskapliga metoder. Därmed kan man säga att provuppgifterna i stor utsträckning är rensade från eventuella slumpmässiga fel som kan påverka resultatet."
http://www.skolverket.se/bedomning/nationella-prov/hur-konstrueras-de-nationella-proven

Jag har fått lära mig att reliabilitet handlar om att du bör ha en tydlig koppling mellan frågan du ställer och svaret du är ute efter dvs. att bedömningen stämmer med frågan.

På en av frågorna svarade ca 70% av mina elever på något annat än vad som stod i bedömningen att de skulle ha skrivit. De resonerade rad efter rad kring något helt annat än vad som avsågs.
70% är en hög siffra! Man hade kunnat slänga ur sig att det beror på läsförståelsen, men på vår skola har eleverna ett högt resultat på denna del av de nationella proven i svenska. Alltså beror det på att reliabiliteten mellan ställd fråga och önskat svar var låg.

På en annan fråga hade man i uppmaningen till eleverna skrivit att de skulle ha med fördelar och nackdelar. Men i bedömningen stod ingenting om detta utan endast att eleverna skulle resonera utifrån flera aspekter och i flera steg. Varför då inte be om detta i frågan? Har man under utprovningen märkt att man inte kan testa av elevernas förmåga att resonera genom att räkna för- och nackdelar och ändrat bedömningsanvisningen men glömt ändra frågan? Ja, inte vet jag men det är låg reliabilitet.

Jag är inte emot nationella prov som så. Tanken med dem är god, det är bara omöjligt att säkerställa en likvärdig betygssättning på det här sättet. Vill man ha likvärdighet behöver man börja med undervisningen. Ett sätt att göra detta är att släppa sekretessen på proven så att man som lärare får fler övningsuppgifter att arbeta med i klassrummet.

Både i NO och SO har vi stor nytta av de frisläppta prov som finns. Vi använder de flesta av uppgifterna antingen som dom är eller för att göra om och göra liknande upplägg som passar till innehåll och årskurs. Det är så synd att det inte finns fler!

Hur gick det för mina elever då? Helt OK faktiskt. De fick strålande resultat på A2 delen och B delen. På A1 delen missade de en fråga pga av att de inte haft behörig NO-lärare på mellanstadiet och de missförstod vad man skulle skriva i svaret på 2 frågor. En del kom inte ihåg sånt vi arbetat med tidigare och en del kom ihåg allt. Inga nyheter med andra ord! Inga elever kommer att sänka sig, 2 av 109 elever kommer att höja sig.

Nästa termin möter jag nya 7or och kommer påbörja mina 3 år med dem som jag började med de elever jag lämnar ifrån mig. Genom att läsa tillsammans med dem från skolverkets sida:

"De nationella proven är inte examensprov, utan ska vara en del av lärarens samlade information om en elevs kunskaper." http://www.skolverket.se/bedomning/nationella-prov

Hoppas att nästa årskurs kan ta mig på orden och förstå att lära gör man för att få kunskaper, inte för att få bra poäng på nationella proven.