Update 2.0 onderzoek AI-richtlijnen voor studenten Software Development

Sinds de vorige update (hier te lezen) zijn er veel ontwikkelingen geweest in het onderzoek naar AI-richtlijnen voor de studenten Software Development, mboRijnland Leiden.

Na het ontwikkelen van de eerste versie van de flowchart hebben wij een pilot gedraaid, door de richtlijnen te koppelen aan een schoolproject (DISHDEV) in periode drie van eerstejaars studenten. Voor de periode startte, zijn twee studenten uit het onderzoeksteam langs alle eerstejaars klassen gegaan om voorlichting te geven over generatieve kunstmatige intelligentie en de flowchart. Deze voorlichting gaven zij op basis van de onderzoeksresultaten van de AI-experts, beleidmakers van mboRijnland en programmeurs uit het bedrijfsleven. De twee studenten uit het onderzoeksteam hebben de eerste versie van de flowchart aan de eerstejaars uitgelegd.

Vanaf daar werd er door de docenten die verantwoordelijk waren voor het project van periode drie, aangegeven dat de eerstejaars studenten categorie twee moesten aanhouden: ‘Je mag een AI tool deels gebruiken voor deze opdracht’. Vanuit daar volgden de studenten de flow die daar onder hangt:

1. Zelf starten met de opdracht uit te werken, daarna een AI-tool vragen stellen (zoals zij bij een docent zouden doen)
2. Gebruik de anatomie van een effectieve prompt
3. Check je prompt op bedrijfs- en persoonsgegevens, haal deze er uit
4. Denk na over de uitkomst, controleer of het klopt
5. Zorg er voor dat je kunt uitleggen (zonder comments) wat er in het gemaakte werk staat

Mochten zij hieraan voldoen, dan zouden zij correct gebruik hebben gemaakt van AI. Anders niet, met bijbehorende gevolgen

Tijdens een tussenevaluatie met de studenten is gebleken dat zij de richtlijnen fijn en nuttig vinden om aan te houden. Zij hebben ook aangegeven het fijn te vinden dat zij voorlichting hebben gekregen over AI en het gebruik hiervan op de opleiding. De feedback die zij meegaven aan de eerste versie van de flowchart:

• Gebruik makkelijke taal in de flowchart (anatomie vinden zij een lastig woord, dit hebben wij vervangen voor opbouw)
• De flow bij categorie twee en drie moest opgesplitst worden, studenten vonden het niet logisch dat je bij beide categorieën de opdracht eerst zelf zo ver mogelijk uit moest werken en dan pas AI gebruiken. Deze stap vinden zij logischer om alleen onder categorie twee te hangen.
• De studenten vinden het fijn om het overzicht van de opbouw van een effectieve prompt in de flowchart zichtbaar te hebben.

Hieruit is de tweede versie van de flowchart ontwikkeld:

In week 9 van periode drie, hebben wij als docententeam Curriculum Gerichte Interviews gehouden bij alle projectgroepen. Het bood de studenten de kans om hun werk te presenteren en uit te leggen, en voor ons docenten de mogelijkheid om vragen te stellen over het werk en de code.

Eindevaluatie studenten over de CGI’s en de AI-richtlijnen flowchart:

• De studenten hebben aangegeven het fijn te vinden om hun werk te kunnen presenteren en uitleg te geven over keuzes in code die zij maken.
• De studenten hebben aangegeven het fijn te vinden dat het rooster was aangepast naar de CGI’s, in de vorige periode moesten zij in week 10 voor een kwartier naar school toe komen.
• Sommige studenten ervaarden het wel als vervelend als zij als laatste moesten presenteren en een paar uur moesten wachten tot zij aan de beurt waren.
• De studenten hebben aangegeven, door de voorlichting en de flowchart, bewuster gebruik te maken van AI. De richtlijnen zijn behulpzaam en duidelijk.

Eindevaluatie docenten over de CGI’s en de AI-richtlijnen flowchart:

• Met behulp van samenwerking met collega’s en de rubrics waren de CGI’s een intensieve, maar fijne manier om na te kijken. De docenten konden direct een cijfer meegeven aan de studenten.
• De mogelijkheid om door te vragen op code. Bij het zien van code dat niet in het lesmateriaal van die periode voorkwam, en daarop doorvragen, vielen een aantal studenten door de mand dat zij hun code niet konden uitleggen. Hierbij gaven zij eerlijk aan dat zij een AI-tool hadden gebruikt.
• Direct (vooral positieve) feedback geven aan de studenten!
• CGI’s zijn het beste om op school uit te voeren in plaats van online. Bij online CGI’s houden, kunnen de studenten oplezen wat de code inhoudt, of iemand kan helpen met de code uitleggen.
• De flowchart is fijn om aan vast te houden en om een statement naar de studenten te maken, maar niet alles kan tijdens de CGI’s eruit gefilterd worden.
• De ontwikkelingen van AI blijven spannend, we moeten er op blijven anticiperen.

Vanuit het onderzoeksteam willen wij de volgende adviezen meegeven:

• De flowchart blijven koppelen aan toekomstige projecten.
• De flowchart blijven ontwikkelen op basis van onderzoek.
• De aanstaande eerstejaars in de introductieweek voorlichten, door ouderejaars studenten, over het gebruik van AI en onze richtlijnen kenbaar maken met behulp van de flowchart.
• Bij Loopbaan en Burgerschap lesgeven over verantwoord en ethisch gebruik van AI (en alle andere technologische ontwikkelingen).
• Prompt engineering als vak of keuzedeel bij de opleiding Sofware Development.

“Betrek studenten bij technologische ontwikkelingen die impact hebben op hún onderwijs.”

De komende tijd staat in het teken van ons onderzoek en de conclusies presenteren, onlangs hebben wij voor het managementteam van college Techniek & ICT gepresenteerd. Binnenkort (woensdag 18 juni) zullen wij op de onderwijsconferentie bij Het Wapen van Zoetermeer presenteren.

Het onderzoek krijgt volgend schooljaar een vervolg. Linde gaat door als practor voor CIV Smart Technology, en gaat verder onderzoek doen naar generatieve kunstmatige intelligentie en het college Techniek & ICT. Het onderzoek wordt hierin breder getrokken met de vraag: Hoe ziet de Technicus en ICT’er van de toekomst eruit?

Wordt vervolgd!

Flowchart: Software Development (MICT4), mboRijnland – Community of Practice

Foto blog: Steve Johnson – Unsplash