Category: Tech

ECTEL 2024: A Speech-Based Dialogue System for Training Oral Examinations

nise Leave a comment

Oral exams have several advantages over written exams, including flexibility to meet individual student needs, reduced time pressure, and fairness. They allow students to express knowledge differently, clarify misunderstandings immediately, and make cheating difficult. Oral exams also train students to engage in technical discussions, requiring clear, precise expression and explanation of concepts using correct terminology. However, due to limited practice opportunities, preparing for oral exams can be challenging, and the unfamiliar format may cause anxiety.

To address this, we have proposed a dialogue model that simulates realistic conversations with an examiner to practice the required skills. It aims to generate context-relevant questions covering exam topics, understand and accurately assess student responses, and incorporate these into subsequent questions, ultimately providing constructive feedback on overall performance. The interaction occurs in natural, spoken language. According to research, Dialogue-based Tutoring Systems have been successfully used in educational programs for Socratic dialogues, aiming to deepen knowledge through questioning and investigation. This leads to the research question: How can a conversational exam between students and examiners be modelled and implemented? To answer this question, the investigation focuses on several key aspects. It explores how oral exams can be structured practically, including the methodologies for identifying, selecting, or generating appropriate questions and their corresponding answers.

Additionally, it examines the process of comparing student responses with correct solutions to evaluate their performance. Finally, it considers how constructive feedback can be generated based on the analysis of an exam conversation. To implement the dialogue system, an architecture based on various components must be defined. The concept involves integrating and using pre-trained language models and providing educational materials as data for the system. Validating and critically assessing the system requires suitable metrics and evaluation techniques, which pose a challenge and must be tailored to the specific system.

Citatuion:
Niels Seidel and Luna Hammesfahr. 2024. A Speech-Based Dialogue System for Training Oral Examinations. In Technology Enhanced Learning for Inclusive and Equitable Quality Education: 19th European Conference on Technology Enhanced Learning, EC-TEL 2024, Krems, Austria, September 16–20, 2024, Proceedings, Part II. Springer-Verlag, Berlin, Heidelberg, 254–259. https://doi.org/10.1007/978-3-031-72312-4_36

Read the full article at the ACM digital library

Anleihen der Bauhaus-Pädagogik für die Lehre in der Informatik

nise Leave a comment

Das Bauhaus steht bis heute als Symbol für Innovation, interdisziplinäres Arbeiten und praxisnahe Bildung. Die Methoden, die Walter Gropius und Hannes Meyer in den 1920er Jahren etablierten, könnten Impulse für die heutige universitäre Lehre geben – insbesondere in der Informatik. Ähnlich wie in der Architektur werden hier Artefakte gestaltet, die technische und soziale Anforderungen erfüllen müssen. Die Gründung des Bauhauses jährte sich 2019 zum 100. mal. Aus diesem Anlass hatte ich mir einige Bücher besorgt und Bauten von Bauhausarchitekten in Hagen, Bonn und Löbau angesehen. Ich wollte wissen, wie am Bauhaus gelehrt und gelernt wurde und fragte mich, wie diese Ansätze auf die heutige universitäre Lehre in der Informatik übertragen werden können.

Praxisorientiertes Lernen

Am Bauhaus war der Unterricht eng mit der Praxis verknüpft. Studierende begleiteten reale Bauprojekte von der Konzeption bis zur Fertigstellung, wie Meyer betonte: Richtiger Unterricht über Gestaltung ist nur im Zusammenhang mit der Praxis am Bau durchführbar (Oswalt, 2021, S. 145). Projekte wurden im internen Wettbewerb ausgeschrieben, und Studierende arbeiteten entweder im Rahmen von Praktika, Arbeitsverträgen oder Anstellungen in Meyers Architekturbüro an deren Umsetzung (Oswalt, 2021, S. 131–133). Älteren Semester wurde dabei auch die Bauleitung und Projrktleitung übertragen. Diese konsequente Orientierung an realen Aufgabenstellungen förderte nicht nur technische Fähigkeiten, sondern auch Eigenverantwortung und die finanzielle Unabhängigkeit der Lernenden (Oswalt, 2021, S. 141).

Für die Informatik könnte dies bedeuten, Studierende stärker in die Entwicklung realer Softwareprojekte einzubinden. Ähnlich wie am Bauhaus könnten Projektideen in internen Ausschreibungen präsentiert und in Gruppen umgesetzt werden. Solche Projekte könnten sich auf die Entwicklung von Anwendungen konzentrieren, die gesellschaftlichen Mehrwert bieten, etwa im Bereich nachhaltiger, inklusiver oder quelloffener Softwareentwicklung.

Vertikalen Brigaden: Lernen in Gruppen

Am Bauhaus arbeiteten Studierende in Gruppen, die je nach Interessengebiet zusammengestellt wurden. Diese Gruppen analysierten Beispiele, führten Vergleiche durch und präsentierten ihre Ergebnisse (Oswalt, 2021, S. 140). Besonders hervorzuheben sind die sogenannten „vertikalen Brigaden“, in denen Studierende unterschiedlichen Alters, Semesters und unterschiedlicher Spezialisierung (z.B. Weberei, …) gemeinsam lernten. Diese Zusammenarbeit förderte den Wissensaustausch und die Eigenverantwortung der Studierenden.

In der Informatik könnte ein ähnliches Konzept umgesetzt werden, indem Projektteams aus Bachelor-, Master- und Promotionsstudierenden gebildet werden. Diese alters- und erfahrungsübergreifenden Teams könnten nicht nur technische, sondern auch soziale Kompetenzen stärken. Die klare Anleitung durch Dozierende würde den Einstieg erleichtern.

Werkstattprinzip als didaktischer Ansatz

Das Bauhaus sah die Werkstatt nicht nur als physischen Ort, sondern als pädagogisches Prinzip: ein Raum für experimentelles, selbstgesteuertes und zielorientiertes Lernen. Meyer und Gropius verstanden Architektur – und damit auch den Lernprozess – als „Gestaltung von Lebensvorgängen“ (Oswalt, 2021, S. 140).

In der Informatik könnten Labore und virtuelle Arbeitsumgebungen als moderne Werkstätten dienen. Hier könnten Studierende frei experimentieren, Prototypen entwickeln und ihre Ergebnisse kontinuierlich reflektieren und verbessern. Lehrende würden dabei weniger als Wissensvermittler, sondern vielmehr als Berater agieren, die den Lernprozess begleiten und unterstützen.

Fokus auf den Menschen

Ein zentrales Anliegen der Bauhaus-Pädagogik war die Gestaltung für den Menschen. Dieser Ansatz betonte nicht nur ästhetische und funktionale Aspekte, sondern auch die soziale Verantwortung des Designs. Informatikprojekte könnten in ähnlicher Weise darauf abzielen, die gesellschaftliche Relevanz der entwickelten Artefakte zu berücksichtigen. Dies könnte durch Projekte realisiert werden, die beispielsweise Barrierefreiheit, Usability, User Experience, oder soziale Inklusion adressieren.

Fazit: Inspiration für die Informatik-Lehre

Die Bauhaus-Pädagogik bietet wertvolle Anregungen für die universitäre Lehre in der Informatik. Die Verbindung von Theorie und Praxis, die Förderung von Eigenverantwortung und Gruppenarbeit sowie das Werkstattprinzip könnten helfen, Studierende besser auf die komplexen Anforderungen der Berufswelt vorzubereiten.

Insbesondere die praxisorientierte Ausrichtung des Bauhauses könnte die Informatik-Lehre bereichern, indem sie Studierende ermutigt, innovative und gesellschaftlich relevante Lösungen zu entwickeln – ganz im Sinne der Bauhaus-Maxime, Kunst, Technik und Gesellschaft miteinander zu verbinden.

Quellen

re:publica 2024: Reversed Big Brother Principle for Learning Analytics

nise Leave a comment

Am 29 Mai hielt ich einen Vortrag bei der re:publica 2024 in Berlin. Ich habe ja schon an einigen seltsamen Orten wie Kirchen, Schlössern, Punk-Clubs und Friedhöfen Vorträge halten dürfen, aber eine Freilichtbühne vor dutzenden Liegestühlen war noch nicht dabei. Bei leichtem Sonnenschein wirkte das Publikum dann auch entsprechend entspannt.

Das Thema des Vortrags war bewusst provokativ gewählt. Mit dem Reversed Big Brother Principle wollte ich ein Konzept zur Diskussion stellen, was mir vor über 20 Jahren bei der Arbeit im AK Vorrat zum ersten Mal begegnet ist. Es beschreibt einen Weg, staatliche Überwachung gegenüber den betroffenen Bürgern transparent zu machen. In Estland wird dieses Prinzip zur Anwendung gebracht, indem behördliche Zugriffe auf Daten von Bürgern in einem Verzeichnis aufgelistet sind. Eine Bürgerin kann dort beispielsweise einsehen, wann welche Steuerbehörde oder Polizeidienststelle welche Daten von ihr abgerufen hat. Durch den Einsatz von Monitoring-Instrumente im Kontext von der universitären Lehre können wir freilich nicht von einem Big Brother sprechen, da Lehrende teilweise nur durch die Hilfe von Learning-Analytics-Instrumente in die Lage versetzt werden, die Lernprozesse und -ergebnisse von größeren Studierendengruppen zu beobachten und ggf. darauf zu reagieren. Sofern diese Instrumente zum Einsatz kommen, wissen Studierende auch, welche Daten von ihnen erfasst und den Lehrenden zusammengefasst angezeigt werden. Es ist jedoch gerade in Forschungskontexten den betroffenen Studierenden nicht immer klar, welche der vielen erhobenen Daten überhaupt durch Lehrpersonen verwendet werden und welche nicht. Studierende haben mir diese Frage schon einige Male gestellt und damit indirekt angedeutet, dass sie nicht so recht wissen, was die Lehrperson in einem Onlinekurs macht und nicht macht. Lehrpersonen sind in (asynchronen) Onlinekursen nämlich kaum sichtbar. Studierende sehen nicht, wenn Lehrende ihr Teacher Dashboard benutzen. Sie sehen die Lehrpersonen aber auch nicht, wenn sie Kursmaterialien ändern, den Kursraum betreten, an den Aufgabenkorrekturen arbeiten oder in irgendeinem Kursforum einen Betrag hinterlassen haben. Das Reversed Big Brother Principle in Learning Analytics richtet sich also darauf, die Lehraktivitäten von Lehrpersonen gegenüber Studierenden sichtbar zu machen.

In dem Vortrag habe ich vorläufige Ergebnisse einer Befragung von 372 Studierenden und 69 Lehrenden vorgestellt, in der sie darlegen, welche Lehraktivitäten sie gern sehen möchten bzw. gegenüber Studierenden preisgeben möchten. Überraschenderweise liegen die Zustimmungswerte zwischen Studierenden und Lehrenden nah beisammen. Lehrende sind also durchaus bereit im Sinne der Reziprozität ihr Lehrverhalten tracken zu lassen, sodass es Studierenden in einem Teaching Dashboard auf einem Blick einsehen können. Für die Forschung im Bereich Learning Analytics ergibt sich damit ein neues Forschungsfeld, in dem grundsätzlich auch Methoden der Visualisierung, Selbstregulationsunterstützung und Vorhersagen zum Einsatz kommen können. Wichtig zu erwähnen ist jedoch, dass es hierbei nicht um die Leistungsbewertung Lehrenden geht und auch ein Vergleich von Lehrenden ausgeschlossen wird.

Die vollständigen Ergebnisse dieser Untersuchung werden im Laufe des Junis als Preprint veröffentlicht.

Zeig mir wo ich nicht gendergerecht schreibe!

nise Leave a comment

Ich freue mich, dass Theodor Diesner-Mayer seine Bachelorarbeit nun auf deposit_hagen, unserem Open Access Server, veröffentlichen konnte. In der Bachelorarbeit berichtet er von Analysewerkzeug zur Identifikation von generischen Maskulinformen inkl. Koreferenzanalyse und einen Editor, der Korrekturvorschläge im Sinne des gendergerechten Schreibens unterbreitet.

https://doi.org/10.18445/20220301-175739-0

Aus der Bachelorarbeit möchten wir nun einen Beitrag für die Mensch und Computer schreiben.

Workshop Learning Analytics 2021

nise Leave a comment

Im Rahmen der DELFI veranstalte ich zusammen mit Clara Schumacher und Nathalie Rzepka in diesem Jahr den Workshop Learning Analytics. Der Workshop findet seit 2017 jährlich statt und steht diesmal unter dem Motto “Learning analytics considering student diversity with regard to assessment data and discrimination“.

Termin: 13. September 2021 – online via WebEx (Link wird noch bekannt gegeben)

Neben vier Lang und zwei Kurzbeiträgen freuen wir uns Ryan Baker in einer Keynote begrüßen zu dürfen.

Die Teilnahme ist kostenlos und kann ohne Registrierung oder Anmeldung erfolgen.

Dreikönigsgespräch zur Digitalen Lehre an JGU Mainz: Emergenz im digitalen Wandel der Hochschullehre

nise Leave a comment

In meinem Vortrag zum Dreikönigsgespräch zur Digitalen Lehre an der Johannes Gutenberg Universität Mainz möchte ich auf einige Irrwege der Digitalisierung der Hochschullehre eingehen anhand von Beispielen verdeutlichen.

Abstract: Die Digitalisierung der Hochschullehre ist in mehrfacher Hinsicht durch starre technische Strukturen geprägt, die Lehr-Lern-Prozesse beeinträchtigen. Diese Starrheit reduziert einerseits die Komplexität der sozio-technischen Systeme und gewährt andererseits ein hohes Maß an Vorhersagbarkeit und Sicherheit. Das Zusammenspiel der Akteure mit den digitalen Artefakten erfolgt in definierten Bahnen, so dass sich nur selten emergente, d.h. neue, lebendige und sich selbst organisierende Strukturen in den digitalen Sphären herausbilden. Dieser Mangel an Emergenz ist auf geschlossene Systeme, atomare Repräsentationen von Artefakten und auf kurze zeitliche Horizonte zurückzuführen. Im Vortrag werden einige diese “failed pracitices” bzw. Anti-Pattern anhand von Beispielen und Gegenbeispielen vorgestellt.

Der Vortrag und die anschließende Diskussion am 6. Januar 2021 ist leider nur hochschulöffentlich, weshalb ich meine Folien an dieser Stelle als PDF und Bilddateien nachreiche: