Uncategorized – nise81.com

Am 2. September 2025 habe ich bei der Learning AID in Bochum unseren SRL-Agenten präsentiert. In der vorgestellten Version dient der Agent der Erhebung von Lernstrategien mit Hilfe eines Interviewprotokolls von Zimmerman und Martinez-Pons. Im CATALPA Reallabor untersuchen wir Interaktionen dieser Erhebungsmethode mit etablierten SRL-Messmethoden.

Abstract

Während das Potenzial von Large Language Models (LLMs) in jüngster Zeit in verschiedenen
Bereichen des Bildungswesens untersucht wurde, ist ihre Anwendung bei der Messung der
Fähigkeiten Studierender im Bereich des selbstgesteuerten Lernens (SRL) noch nicht ausreichend
erforscht. Aktuelle Initiativen zur Messung von SRL (Befragungen, digitale trace data) stehen vor
mehreren Herausforderungen, die die Entwicklung effektiver SRL-Maßnahmen direkt behindern.
Um diese komplexe Bildungsherausforderung anzugehen, untersucht diese Studie die
Implementierung und Evaluierung eines generativen KI-Agenten, der entwickelt wurde, um
Interviews auf der Grundlage des Self-Regulated Learning Structured Interview (SRLSI) von
Zimmerman und Martinez-Pons durchzuführen. Das System wurde mit 13 Teilnehmern hinsichtlich
Effizienz, Effektivität und Zufriedenheit zu untersuchen. Die Ergebnisse zeigen, dass der Agent das
SRLSI-Interview erfolgreich durchführen kann und eine effiziente Automatisierung von SRL-
Bewertungen demonstriert. Die Lernenden fanden das in Discord und Moodle integrierte Tool
benutzerfreundlich und schätzten die Genauigkeit und Qualität der Gespräche. Die Rückmeldungen
zum Nutzen und zur Relevanz der Empfehlungen waren jedoch uneinheitlich, was
Verbesserungsmöglichkeiten und das Potenzial zur Verbesserung der personalisierten
Lernunterstützung unterstreicht. Diese Ergebnisse bieten direkte Einblicke für zukünftige
Fortschritte bei der SRL-Messung und SRL-Interventionen.

Folien:

Voices from the CSEDU’25

02/04/202510/04/2025 nise Leave a comment

It was the first time that I had participated in the CSEDU conference. The conference is B-ranked in the Australian core ranking, so I felt it was worth going there. Among the few inspiring talks I’ve seen at the conference, I would highlight the following three because they are relevant to my work at CATALPA:

Katharina Simbeck: Audits for Trust: An Auditability Framework for AI-Based Learning Analytics Systems. Katharina made strong arguments for making an educational model and even systems audible. A model or system is considered as audible if is accessible for auditors, documented, and available. She presented a framework for audibility that consists of three pilars: claim (e.g. validity, utility, ethics), evidence (e.g. documentation, model details, data incl. edge cases), and means of validation (e.g, API, monitoring tools, dashboards, explainability tools). This framework was demonstrated in a case study about the Moodle Learning Analytics API. For me, the frameworks provide meaningful guidelines for defining minimum requirements for publishing open source models and systems.
Barbara Pampel: Regaining Control: Enabling Educators to Build Specialized AI Chat Bots with Retrieval Augmented Generation. Barbara presented an interesting setup for implementing RAG in higher education. While RAG is a potential killer-app for using LLM in higher education, it is not very common yet. The main reason for low utilisation is technical hurdles in the implementation. RAG requires a good command of Python, including the main libraries that provide RAG functionality (e.g., langchain) and some web engineering knowledge for suitable integrations into existing tools. Barbara, however, came up with Flowise to implement RAG in a workflow-like manner. Furthermore, she and her colleagues taught teachers how to set up processing pipelines and tweak parameters to get satisfying results. To my surprise, teachers accepted the technical complexity. As a side effect, they learnt much more about the technology behind than anyone else playing with prompts in the chats.
Tina John: Implementing European Digital Credentials in Non-Formal Education: A Prototype for the Digital Learning Campus. Tina presented a straightforward solution for the technical implementation of Micro-Credentials. Everyone using Moodle at their institution can jump on the train, buy a seal for EU authorities, and become an issuer of Micro-Credentials.

In the following, I provide the slides of the three talks we had at CSEDU’25.