AI-hulp voor docenten
Docenten helpen bij het voorbereiden van lessen en het nakijken van open antwoorden in LearningBox.
Waar helpt AI echt?
Ik onderzoek twee taken van docenten in LearningBox: lesmateriaal toevoegen en open antwoorden van studenten nakijken. Voordat we deze functies verder ontwikkelen, moeten we weten of ze werk besparen. Daarbij telt ook de tijd mee die docenten nodig hebben om het resultaat te controleren en te verbeteren.
Sommige antwoorden zijn met eenvoudige regels te controleren. Bij andere taken kan een AI-model helpen, zoals het maken van vragen bij een les. In dit project onderzoeken we waar die extra hulp waarde heeft.
Een assistent in de leseditor
Ik plaatste de assistent naast de les. Zo kunnen docenten het resultaat controleren en bewerken zonder de editor te verlaten. Ze kunnen een document importeren of vragen laten maken op basis van de les.
Bij het importeren moet de oorspronkelijke tekst behouden blijven in bewerkbare blokken. Vragen die AI maakt, vragen meer controle: kloppen ze, passen ze bij het niveau en zijn de antwoordopties logisch?
- 01Kies de bronEen document of lesinhoud
- 02Controleer het conceptControleer tekst, vragen en juiste antwoorden
- 03Bewerk en publiceerDe docent bepaalt wat klaar is
Twee details moeten nog worden uitgewerkt: de docent vragen om een ontbrekend juist antwoord te kiezen, en laten zien welke bron is gebruikt voor de gemaakte vragen.
Open antwoorden nakijken
Het voorgestelde proces begint met het goedgekeurde antwoord. Daarna controleert het verschillen in opmaak en spelling. Antwoorden die dan nog niet beoordeeld zijn, gaan naar AI voor een voorstel.
- Precies gelijkVergelijk met goedgekeurde antwoorden
- TekstregelsControleer onschuldige verschillen in opmaak
- Gelijke klankControleer spellingvarianten in hun context
- AI-controleStel een oordeel voor bij onbeoordeelde antwoorden
We moeten zowel de regels als het model testen. Woorden die op elkaar lijken of hetzelfde klinken, betekenen niet altijd hetzelfde.
Hier keurt AI ‘een klein deeltje’ goed, terwijl het voorbeeldantwoord ‘het kleinste deeltje’ zegt. De docent kan de uitleg lezen en het antwoord alsnog fout rekenen. Ik wil testen of dit scherm docenten helpt dat ontbrekende detail op te merken.
Voorbeeldgegevens in het prototype.
Waarom we een API gebruiken
We hebben een klein ontwikkelteam. Een lokaal AI-model zou voor ons moeilijk te onderhouden zijn. We gebruiken Claude via een API, een koppeling met de dienst. Zo kunnen we die tijd aan het product besteden.
We vergelijken verschillende Claude-modellen. We moeten nog uitwerken hoe we omgaan met verstuurde gegevens, mislukte verzoeken en de manier waarop docenten de voorstellen zien.
Wat we controleren
Ik ontwierp dit dashboard om gebruik, correcties van docenten, fouten, reactietijden en kosten op één plek te zien. Het laat ook zien wanneer we van model wisselen. Zo kunnen we veranderingen achteraf onderzoeken.
Dashboardmockup · Voorbeeldgegevens, geen pilotresultaten.
Verkeerde of ontbrekende inhoud
Foute antwoorden die worden goedgekeurd, tekst die bij import verdwijnt en onduidelijke vragen.
Tijd voor controle
De tijd om een les af te maken of antwoorden na te kijken, inclusief correcties.
Modellen vergelijken
Test dezelfde voorbeelden met elk model. Vergelijk reactietijden, fouten en kosten.
Correcties van docenten laten op zichzelf niet zien hoe nauwkeurig de voorstellen zijn. We moeten voorbeelden ook onafhankelijk controleren, inclusief voorstellen die docenten niet aanpassen.
De EU AI Act en antwoorden nakijken
Het nakijken van antwoorden kan invloed hebben op de beoordeling van een student. De EU AI Act noemt systemen die leerresultaten beoordelen als toepassingen met een hoog risico in het onderwijs. We moeten per functie en bedoeld gebruik beoordelen hoe de regels gelden. Een knop waarmee een docent akkoord geeft, bepaalt die indeling niet op zichzelf.
Voor het ontwerp betekent dit dat docenten een voorstel moeten begrijpen, de beperkingen moeten zien en het moeten kunnen afwijzen of aanpassen. Dit hoort ook bij de wettelijke eisen voor menselijk toezicht bij systemen met een hoog risico. Ik wil testen of docenten dit in de praktijk kunnen, ook als een voorstel overtuigend lijkt maar toch fout is.
De beoordeling van de risicoklasse en de wettelijke eisen moet nog worden afgerond. Het prototype laat zien welke controlemogelijkheden we onderzoeken.
Volgende stappen
We hebben nu een verzameling voorbeelden nodig die door docenten is gecontroleerd. Ook willen we hetzelfde werk met en zonder assistent vergelijken. We hebben nog geen beste model gekozen en nog geen tijdwinst vastgesteld.