re:publica 2024: Reversed Big Brother Principle for Learning Analytics

Am 29 Mai hielt ich einen Vortrag bei der re:publica 2024 in Berlin. Ich habe ja schon an einigen seltsamen Orten wie Kirchen, Schlössern, Punk-Clubs und Friedhöfen Vorträge halten dürfen, aber eine Freilichtbühne vor dutzenden Liegestühlen war noch nicht dabei. Bei leichtem Sonnenschein wirkte das Publikum dann auch entsprechend entspannt.

Das Thema des Vortrags war bewusst provokativ gewählt. Mit dem Reversed Big Brother Principle wollte ich ein Konzept zur Diskussion stellen, was mir vor über 20 Jahren bei der Arbeit im AK Vorrat zum ersten Mal begegnet ist. Es beschreibt einen Weg, staatliche Überwachung gegenüber den betroffenen Bürgern transparent zu machen. In Estland wird dieses Prinzip zur Anwendung gebracht, indem behördliche Zugriffe auf Daten von Bürgern in einem Verzeichnis aufgelistet sind. Eine Bürgerin kann dort beispielsweise einsehen, wann welche Steuerbehörde oder Polizeidienststelle welche Daten von ihr abgerufen hat. Durch den Einsatz von Monitoring-Instrumente im Kontext von der universitären Lehre können wir freilich nicht von einem Big Brother sprechen, da Lehrende teilweise nur durch die Hilfe von Learning-Analytics-Instrumente in die Lage versetzt werden, die Lernprozesse und -ergebnisse von größeren Studierendengruppen zu beobachten und ggf. darauf zu reagieren. Sofern diese Instrumente zum Einsatz kommen, wissen Studierende auch, welche Daten von ihnen erfasst und den Lehrenden zusammengefasst angezeigt werden. Es ist jedoch gerade in Forschungskontexten den betroffenen Studierenden nicht immer klar, welche der vielen erhobenen Daten überhaupt durch Lehrpersonen verwendet werden und welche nicht. Studierende haben mir diese Frage schon einige Male gestellt und damit indirekt angedeutet, dass sie nicht so recht wissen, was die Lehrperson in einem Onlinekurs macht und nicht macht. Lehrpersonen sind in (asynchronen) Onlinekursen nämlich kaum sichtbar. Studierende sehen nicht, wenn Lehrende ihr Teacher Dashboard benutzen. Sie sehen die Lehrpersonen aber auch nicht, wenn sie Kursmaterialien ändern, den Kursraum betreten, an den Aufgabenkorrekturen arbeiten oder in irgendeinem Kursforum einen Betrag hinterlassen haben. Das Reversed Big Brother Principle in Learning Analytics richtet sich also darauf, die Lehraktivitäten von Lehrpersonen gegenüber Studierenden sichtbar zu machen.

In dem Vortrag habe ich vorläufige Ergebnisse einer Befragung von 372 Studierenden und 69 Lehrenden vorgestellt, in der sie darlegen, welche Lehraktivitäten sie gern sehen möchten bzw. gegenüber Studierenden preisgeben möchten. Überraschenderweise liegen die Zustimmungswerte zwischen Studierenden und Lehrenden nah beisammen. Lehrende sind also durchaus bereit im Sinne der Reziprozität ihr Lehrverhalten tracken zu lassen, sodass es Studierenden in einem Teaching Dashboard auf einem Blick einsehen können. Für die Forschung im Bereich Learning Analytics ergibt sich damit ein neues Forschungsfeld, in dem grundsätzlich auch Methoden der Visualisierung, Selbstregulationsunterstützung und Vorhersagen zum Einsatz kommen können. Wichtig zu erwähnen ist jedoch, dass es hierbei nicht um die Leistungsbewertung Lehrenden geht und auch ein Vergleich von Lehrenden ausgeschlossen wird.

Die vollständigen Ergebnisse dieser Untersuchung werden im Laufe des Junis als Preprint veröffentlicht.

Workshop Learning Analytics 2021

Im Rahmen der DELFI veranstalte ich zusammen mit Clara Schumacher und Nathalie Rzepka in diesem Jahr den Workshop Learning Analytics. Der Workshop findet seit 2017 jährlich statt und steht diesmal unter dem Motto “Learning analytics considering student diversity with regard to assessment data and discrimination“.

Termin: 13. September 2021 – online via WebEx (Link wird noch bekannt gegeben)

Neben vier Lang und zwei Kurzbeiträgen freuen wir uns Ryan Baker in einer Keynote begrüßen zu dürfen.

Die Teilnahme ist kostenlos und kann ohne Registrierung oder Anmeldung erfolgen.

Dreikönigsgespräch zur Digitalen Lehre an JGU Mainz: Emergenz im digitalen Wandel der Hochschullehre

In meinem Vortrag zum Dreikönigsgespräch zur Digitalen Lehre an der Johannes Gutenberg Universität Mainz möchte ich auf einige Irrwege der Digitalisierung der Hochschullehre eingehen anhand von Beispielen verdeutlichen.

Abstract: Die Digitalisierung der Hochschullehre ist in mehrfacher Hinsicht durch starre technische Strukturen geprägt, die Lehr-Lern-Prozesse beeinträchtigen. Diese Starrheit reduziert einerseits die Komplexität der sozio-technischen Systeme und gewährt andererseits ein hohes Maß an Vorhersagbarkeit und Sicherheit. Das Zusammenspiel der Akteure mit den digitalen Artefakten erfolgt in definierten Bahnen, so dass sich nur selten emergente, d.h. neue, lebendige und sich selbst organisierende Strukturen in den digitalen Sphären herausbilden. Dieser Mangel an Emergenz ist auf geschlossene Systeme, atomare Repräsentationen von Artefakten und auf kurze zeitliche Horizonte zurückzuführen. Im Vortrag werden einige diese “failed pracitices” bzw. Anti-Pattern anhand von Beispielen und Gegenbeispielen vorgestellt.

Der Vortrag und die anschließende Diskussion am 6. Januar 2021 ist leider nur hochschulöffentlich, weshalb ich meine Folien an dieser Stelle als PDF und Bilddateien nachreiche:

rC3 talk: Demokratische Entscheidungen in Online Communitys

Ich bin hoch erfreut, auch in diesem Jahr wieder einen Vortrag bei der CCC Jahrestagung halten zu dürfen. Zusammen mit Alexander Hacker werde ich euch Probleme und Lösungsansätze für die demokratische Entscheidungsfindung in Online Communitys vorstellen. Alexander hat zu dem Thema seine Bachelorarbeit bei mir geschrieben. Das Thema selbst beschäftigt mich aber schon ein paar Jahre: Zum einen in meinem Kurs »Gestaltung Kooperativer Systeme« an der FU Hagen und zum anderen auch ein klein wenig in der Forschung.

Termin: 29.12.2020, 12:00

Folien zum Download

Abstract Viele soziale Netzwerke und kooperative Systeme bieten Räume für den öffentlichen Diskurs und die Meinungsbildung. Dabei fällt auf, dass die Betreiber allein darüber bestimmen, wie diese Räume gestaltet sind, wer sie betreten darf und welche Regeln für ihre Nutzung gelten. Obwohl diese Systeme und Plattformen Online Communitys beherbergen, entziehen sie sich weitgehend dem Einfluss der jeweiligen Gruppe oder Gemeinschaft. Im Vortrag vergleichen wir Online Communitys und virtuelle Gruppen mit demokratisch organisierten Strukturen und stellen die Frage, warum wir uns immer noch als “Nutzer” der Gunst von Plattformbetreibern unterwerfen, anstatt als mündige Bürger im Web demokratisch Einfluss auszuüben.

Agile Software Entwicklung in der Lehre

Agile Software Entwicklung im Team kann man nicht anhand von Lehrbüchern vermitteln. Die Prinzipien, Regeln und die Gebrauch entsprechender Werkzeuge muss vielmehr in einem realen Szenario über einen längeren Zeitraum erfahren werden.

Am Lehrgebiet Kooperative Systeme haben wir uns in diesem Wintersemester wieder dieser Herausforderung gestellt und sind mit 17 auf drei Teams verteilte Studierende an den Start gegangen. Der Kickoff zur Vorbereitung musste Corona-bedingt virtuell stattfinden. Über vier Tage hinweg gab es sieben Impulsvorträge der Studierenden, einen Design Workshop, mehrere Akte eines Rollenspiels mit einem fiktiven Auftraggeber, ein Planning Game, kurze Demonstrationen zur Nutzung von Git, GitLab, VS Code und Docker sowie ein paar Spiele zur Verdeutlichung von Problemen in der digitalen Zusammenarbeit.

Ziel der Veranstaltung war es, die Teams auf eine umfangreiche Programmieraufgabe vorzubereiten, die sie im Anschluss über 7 Iterationen bzw. 14 Wochen bearbeiten. Damit das gelingen kann, mussten sich die Mitglieder der Teams kennenlernen, die notwendigen technischen Voraussetzungen auf ihrem lokalen Rechner und einer Virtuellen Maschine schaffen, sich technische Grundlagen gegenseitig beibringen, ein gemeinsames Verständnis der Aufgabenstellung erlangen und User Stories bzw. GitLab Issues für die 1. Iteration festlegen. Zur Erreichung dieser Ziele hatten wir – Marc Burchart und ich – knapp 26 Stunden zu Zeit.

Aufgabenstellung

Die Aufgabenstellung eines jeden Teams bestand darin, eine kooperative Anwendung für die Lernplattform Moodle zu entwickeln. Welche Art von Anwendungen das sind, werde ich zu Beginn des nächsten Jahres an dieser Stelle vorstellen.

Lessons learned

Das grundlegende Konzept dieser Lehrveranstaltung wird schon seit vielen Jahren an unserem Lehrgebiet erfolgreich eingesetzt. Ich selbst hatte nun zum vierten mal das Vergnügen. Für die gänzlich virtuelle Gestaltung der Veranstaltung hatte ich meine Erfahrungen aus den EuroPLoP 2020, DELFI/ECTEL, der CSEDM und dem Workshop Next Generation LMS einfließen lassen. Folgende Ansätze haben sich grundsätzlich bewährt, sind jedoch auch noch nicht technisch perfekt gelöst:

  • Startpunkt: Es braucht ein Dokument, von dem aus alle verwendeten Werkzeuge erreichbar sind, die Agenda nachvollzogen und Neuigkeiten mitgeteilt werden können. Besser wäre es, wenn man eine Anwendung hätte, die die nachfolgenden Tools in sich vereint.
  • Kollaboratives Schreiben via Sciebo/OnlyOffice: Sowohl im Plenum, als auch in den Teams müssen Ergebnisse schriftlich manifestiert werden. Ein Shared-Text-Editor ist essentiell.
  • Dateiablage via Sciebo/OwnCloud
  • Shared Whiteboard via miro: Nicht alles lässt sich in Worte fassen. Flussdiagramme, Schaubilder der Software Architektur oder auch das Teambuilding mittels Standogrammen erfordern flexible Zeichenwerkzeuge. In miro konnte man Zeichnungen auf Papier als Foto einstellen und mündlich (via Zoom) wie schriftlich diskutieren. In miro verliert man manchmal die Orientierung und arbeitet auf unterschiedlichen Zoomstufen. Pfeile lassen überhaupt nicht nutzen und die Markierung mehrerer Objekte ist sehr umständlich. Für das Schreiben von Texten ist miro abgesehen von den Sticky Notes gänzlich ungeeignet.
  • Kommunikationsräume via Zoom (durch die FernUni (vor)gegeben): Die Beteiligten müssen sich im Plenum und auch innerhalb ihrer Teams austauschen können. Leider kann sich in Zoom nur der Host frei zwischen den Räumen bewegen, während die teilnehmenden Studierenden und Lehrenden wie eine Kindergartengruppe von Raum zu Raum bugsiert werden muss. Nervig waren auch die häufigen Session-Abstürze, unter denen alle Beteiligte zu leiden hatten. Alternativen wie Discord oder Wonder.me bieten leider nicht die notwendige Bild und Tonqualität oder, wie MS Teams, verfügen über keine Gallerieansicht aller Teilnehmenden.

Spiele, oder besser serious games

Um mögliche Probleme einer räumlich getrennten Zusammenarbeit im Hinblick auf die Aufgabenstellungen zu verdeutlichen, haben wir uns in diesem und in den letzten Jahren eine Reihe von Spielen überlegt. Grundsätzlich nehmen die Studierenden hierbei die Rolle der Spielenden und der Beobachtenden ein. Letztere Rolle ist wichtig, um das Erlebte zu reflektieren und Erkenntnisse für die Gestaltung sozio-technischer Systeme zu ziehen.

  • Zählen bis 20: Alle Teilnehmer können sich in einem Konferenzsystem sehen und hören. Sie sollen nun abwechselnd von 1 bis 20 zählen. Sobald sich mehrere Personen einander ins Wort fallen, muss wieder bei eins zu zählen begonnen werden.
    Lernziel: Dieses Spiel ist in Präsenz bereits ein Herausforderung. Im Digitalen kommt die Latenz bei der Übertragung von Bild- und Toninformationen erschwerend hinzu. Latenz ist ein Problem in der synchronen Zusammenarbeit. Die Beteiligten erfahren zudem die Bedeutung von Group Awarenss (dt.: Gruppenwahrnehmung) für die Koordination von Aktivitäten in der Gruppe. Mangels Absprachen gibt es keine festgelegte Reihenfolge und auch keine Konvention darüber, wie eine zeitliche Sperre für die Beanspruchung des Audio-Kanals den anderen kommuniziert werden kann.
  • Irrdeka: In einem Labyrinth sind verschiedene Objekt platziert, zu denen ein Spieler einem zweiten Spieler, der ein leeres Labyrinth vor sich sieht, leiten muss.
    Lernziel: Ohne eine Verständigung über die Vorgehensweise (Orientierung, Bezugspunkte, Kommandos) und eine präzise Kommunikation gelingt die Navigation durch das Labyrinth nicht.
  • Kreuzsatzrätsel: Man nehme eine 3×3 Matrix und lassen den neun Teilnehmenden jeweils ein Kästchen der Matrix mit einem Satz füllen, so dass die Sätze je Zeile (von rechts nach links) und Spalte (von oben nach unten) einen sinnvollen Zusammenhang ergeben. Während des Schreibprozesses können sich alle Beteiligten per Audio (in dem Fall Zoom) abstimmen, während Sie in einem kollaborativen Schreibwerkzug (miro oder Sciebo) die Matrix in Form einer Tabelle ausfüllen.
    Lernziel: Beim kollaborativen Schreiben folgt ein Text einer lineare Abfolge von Absätzen und Sätzen. Orthogonal dazu muss jedoch ein Abgleich mit der Argumentation und der verwendeten Begrifflichkeit erfolgen. Diese orthogonal verlaufenden Dimensionen sind durch die Spalten und Zeilen der Kreuzsätze repräsentiert.
Ergebnis eines Kreuzsatzrätsels
Das Anfertigen von Papier-Prototypen stellen wir als zentrale Entwurfsmethode in Mittelpunkt der Lehrveranstaltung. Papier ist geduldig, unkompliziert, schnell nutzbar. Änderungen lassen sich einfach umsetzen und, zumindest in Präsenz, können sich alle Beteiligten in den Gestaltungsprozess einbringen, ohne ein Zeichenwerkzeug am Rechner erlernen/bedienen zu müssen. Wir haben via Zoom alle gemeinsam Entwürfe erstellen können. Die besten drei von zehn Entwürfen je identifizierten Gestaltungsproblem wurden in miro hochgeladen.

Vortragsankündigung: Verarbeitung kontinuierlicher und periodischer Datenströme in adaptiven Lernumgebungen, CampusSource 2020, TU Dortmund

CampusSource e.V. ist ein Zusammenschluss von Hochschulen in NRW, der die Entwicklung und den Einsatz von Open Source Produkten im Bildungsbereich zum Ziel hat. Die beteiligten Hochschulen arbeiten gemeinsam an Anwendungen und stellen Quellcode sowie ihre Erfahrungen der Allgemeinheit zur freien Verfügung.

NEUER Termin: 24. September 2020

Einmal jährlich treffen sich die an der Initiative beteiligten Menschen zu einer Tagung. In diesem Jahr findet die CampusSource Tagung an der TU Dortmund statt. Ich werde dort etwas über unsere Projekte APLE und auch LA-Diva berichten:

Verarbeitung kontinuierlicher und periodischer Datenströme in adaptiven Lernumgebungen
– Niels Seidel, FernUniversität in Hagen –

In einer Lernplattform wie Moodle lässt sich das Verhalten der Lernenden in Form von detaillierten Logdaten erfassen. Adaptive Lernumgebung können anhand dieser kontinuierlichen Datenströme und den daraus berechneten Kennzahlen, Clustern und erkannten Mustern regelbasierte Entscheidungen treffen, um die Lernenden durch Empfehlungen und Interventionen in ihrem individuellen Lernprozess zu unterstützen. Neben den Logdaten können auch weniger veränderliche und periodisch anfallende Daten wie etwa Prüfungsleistungen oder Kursbelegungen in den Adaptionsregeln Berücksichtigung finden.

Die Herausforderung besteht jedoch darin, die kontinuierlichen und periodischen Datenströme auch für große Studierendenkohorten mit geringer Latenz zu verarbeiten und dabei auch umfangreichere Berechnungen durchzuführen. In dem Vortrag stellen wir unseren Lösungsansatz vor und berichten von unseren Erfahrungen im Projekt Adaptive Personalized Learning Environment (APLE) an der FernUniversität in Hagen.