3. Methoden der Evaluation
In diesem Kapitel erfahren Sie, welche Möglichkeiten es gibt, um Evaluationen durchzuführen. Dafür lernen Sie verschiedene Evaluationsmethoden kennen und erhalten Hinweise dazu, wie Sie eine oder mehrere geeignete Evaluationsmethoden auswählen.
3.1 Einführung
Um das Erreichen der Lehr-/Lernziele einzuschätzen sowie förderliche oder hinderliche Aspekte eines VA-Projekts zu erfassen, können wir informell vorgehen oder formell evaluieren. Dabei sollte immer die Sicht der Lernenden einbezogen werden. Informell können wir z. B. durch eigene (unsystematische) Beobachtungen feststellen, dass etwas nicht funktioniert oder ein Lernziel nicht erreicht wurde. Das ist bei Virtuellen Austauschprojekten jedoch oft nicht möglich, weil Interaktionen zwischen Lernenden asynchron und über Kommunikationskanäle stattfinden, auf die wir als Lehrende keinen Zugriff haben (z. B. Kommunikation der Lernenden über Messenger-Apps) oder weil mehrere Gruppen virtuell parallel (von zu Hause aus) arbeiten und wir daher keinen Einblick in den Austausch haben. Folglich müssen wir Möglichkeiten finden, um in die Projekte der Lernenden und in die stattfindenden Lernprozesse hineinzuschauen.
Überlegen Sie, wie Sie Einblicke in Lehr- und Lernprozesse von VA-Projekten bekommen können. Gleichen Sie Ihre Überlegungen anschließend mit dem Lösungsvorschlag ab.
Ein Projekt oder eine Lehrveranstaltung lässt sich auf unzählige Arten evaluieren. Am bekanntesten und am häufigsten genutzt werden (Online-)Fragebögen mit denen Lernende Feedback zur Lehre an ihre Dozierenden geben können. Aber auch ein Teaching Analysis Poll (TAP) – eine Gruppendiskussion, die durch eine externe Person angeleitet wird – kann wertvolle Hinweise zur eigenen Lehre und dem VA-Projekt bringen. Zudem bieten sich oft auch informellere Formen an, wie bspw. Feedbackgespräche, die durch visuelle Rückmeldungsformen (z. B. Zielscheibe) gestützt werden können. Die Wahl der Evaluationsmethode(n) hängt dabei immer vom angestrebten Ziel und der Funktion der Evaluation ab. Im Prinzip können alle qualitativen und quantitativen empirischen Forschungsmethoden auch im Rahmen von Evaluationen genutzt werden.
Wie oben bereits angesprochen, ist eine rein quantitative Überprüfung des Erreichens von Lehr-/Lernzielen oder des Kompetenzerwerbs oft nicht sinnvoll, da dabei individuelle Unterschiede und Lernprozesse aus dem Blick geraten (vgl. Arnold et al. 2018: 395ff.). Besser geeignet ist eine ganzheitliche Evaluation durch qualitative Verfahren, bzw. die Kombination von qualitativen und quantitativen Verfahren (ggf. zu mehreren Zeitpunkten), um die Sichtweisen, Urteile und Vorschläge aller Teilnehmenden zu erfassen, verschiedene Lehr-/ Lernziele, Materialien, Aufgaben(-stellungen) zu evaluieren etc. So lassen sich sowohl objektive als auch subjektive Lernerfolge sichtbar machen.
3.2 Methoden der Evaluation
Da eine umfassende Einführung von (empirischen) Methoden zur Evaluation hier nicht möglich ist, finden Sie im Folgenden eine Übersicht verschiedener Evaluationsmethoden mit deren Vor- und Nachteilen. Anschließend wird die Evaluationsmethode Fragebogen herausgegriffen, da diese besonders häufig eingesetzt wird. Anschließend wird kurz diskutiert, welche Aspekte bei der Auswahl der Evaluationsmethoden berücksichtigt werden müssen.
Methoden formeller Evaluation
Methoden informeller Evaluation
Sie wollen weitere Informationen?
Lesen Sie hierzu:
- Die eigene (Online)Lehre formativ evaluieren. Beispiele für Ebenen, Fragen und eTools von Nathalie Pöpel (2021).
Das PDF zum freien Download finden Sie hier: Handreichung Pöpel (2021) - Feedback-Instrumente zur Steuerung und Bilanzierung von Prozessen der Hessischen Lehrkräfteakademie (2018).
Das PDF zum freien Download finden Sie hier: Feedback-Instrumente HLA (2018)
3.3 Im Detail: Fragebogen als Evaluationsmethode
Auf den folgenden Präsentationsfolien finden Sie hilfreiche Tipps und Hinweise zur Erstellung von Evaluationsfragebögen. Lesen Sie sich die Informationen aufmerksam durch.
Im anschließenden kurzen Quiz können Sie Ihr neu gewonnenes Wissen testen.
Wenn es Ihnen um die Evaluation der methodisch-didaktischen Gestaltung Ihres VA-Projekts geht, sind die folgenden didaktischen Dimensionen hilfreich. Viele standardisierte und erprobte Evaluationsfragebögen von Bildungsinstitutionen enthalten Fragen zu diesen Dimensionen. Die Dimensionen können aber natürlich auch bei der Nutzung anderer Evaluationsformen berücksichtigt werden.
Didaktische Dimensionen bei der Evaluierung von Lehre (in Anlehnung an den TUM-Evaluationsbogen):
- Konzeption & Strukturierung: klare, transparente Struktur der Lehrinhalte, logisch nachvollziehbarer Aufbau der Lehrveranstaltung und gute Konzeption als Grundlage für Lehr-/Lernerfolg
- Vermittlung: kompliziertes verständlich und auf verschiedenen Wegen erklären, Nutzung von verschiedenen Methoden, flexibler Umgang mit Studierenden
- Medieneinsatz: klare und attraktive Gestaltung von Lehr- und Lernmaterialien, passende und fokussierende Visualisierungen, didaktisch unterstützender Einsatz von Materialien und Tools
- Dozierenden-Engagement und Lernklima: eine positive und vor allem angstfreie Stimmung in der Lerngruppe ist – insbesondere bei herausfordernden VA-Projekten – Grundvoraussetzung. Hauptfaktor hierfür sind die Lehrenden und ein offener und verständnisvoller Umgang mit den Lernenden.
- Anforderungen an die Studierenden: Komplexität / Schwierigkeitsgrad und Umfang der Inhalte, Geschwindigkeit / Fortschritt, Arbeitsaufwand
- Wissens- und Kompetenzerwerb der Studierenden: Erarbeitung und Erprobung praxisrelevanter Kompetenzen und 21st Century Skills, fachlicher Input, aktive Beteiligung der Lernenden
Ordnen Sie die folgenden Evaluationsitems den entsprechenden Dimensionen zu. Die meisten Aussagen sollten auf einer 5-stufigen Skala von „trifft gar nicht zu“ zu trifft voll zu“ bewertet werden.
(Die Items sind an Evaluationsfragebögen verschiedener Universitäten angelehnt.)
3.4 Wie wähle ich eine oder mehrere geeignete Evaluationsmethoden aus?
Da einzelne Methoden immer Vor- und Nachteile mit sich bringen, bietet sich in der Regel eine Kombination von Methoden an. Wollen Sie langfristige Wirkungen oder starke Evidenz für die Wirkung Ihres VA-Projekts erhalten, sind zudem andere Erhebungsmethoden notwendig, als wenn Sie kurz- oder mittelfristige Wirkungen untersuchen wollen. Viele der oben aufgelisteten formellen Methoden sind auch im Rahmen von standardisierten Vergleichsstudien (mit Kontrollgruppen) und / oder in Längsschnittstudien einsetzbar.
Grundsätzlich ist eine Entscheidung für eine Methode oder eine Kombination an Evaluationsmethoden vor allem davon abhängig, was Sie damit erreichen wollen, deshalb haben wir oben ausführlich über die Funktionen und Ziele von Evaluationen gesprochen. Überlegen Sie also zuerst, welche Konsequenzen und Schlussfolgerungen aus der geplanten Evaluation gezogen werden sollen oder müssen. Wenn Sie entschieden haben, welches Ziel Sie mit der Evaluation verfolgen, ergibt sich daraus, ob Sie eher eine formelle oder eine informelle Evaluation durchführen sollten. Wollen Sie beispielsweise belastbare, detaillierte Ergebnisse für eine grundlegende Überarbeitung Ihres VA-Projekts bekommen, sind formelle Methoden sicher besser geeignet als informelle. Geht es Ihnen aber darum, einen grundlegenden Eindruck vom Gelingen des Projektes und der Zufriedenheit der Lernenden zu erhalten, sind informelle Methoden vermutlich ausreichend.
Formulieren Sie nach dieser Entscheidung immer eine oder mehrere Fragestellungen bevor Sie eine Erhebungsmethode auswählen. Oft ergeben sich aus der Fragestellung passende Erhebungsmethoden. Fragen Sie beispielsweise nach den stattfindenden Lernprozessen, macht es keinen Sinn eine summative Methode anzuwenden. Sollten Sie aber ausschließlich an messbaren Kompetenzen oder am Wissenszuwachs Ihrer Lernenden interessiert sein, sind Methoden der Lernstandsmessung (ggf. mit Prä- und Posttest) sinnvoll. Eine Evaluation mit qualitativ-empirischen Verfahren bietet sich dann an, wenn Sie Lern- oder Kommunikationsprozesse, individuelle bzw. gruppenbezogene Lernwege oder Zusammenhänge von komplexen Handlungssituationen nachvollziehen wollen. Auch der Zeitpunkt der Evaluation (formativ oder summativ) ergibt sich aus der Fragestellung.
Nachdem Sie eine Fragestellung formuliert haben, sollten Sie überlegen, welche zeitlichen und andere Ressourcen Ihnen zur Verfügung stehen. Entscheiden Sie auch auf dieser Grundlage, welche Art der Evaluation Sie durchführen können.
Überlegen Sie im Folgenden, mit welchen Methoden Sie die Evaluationsfragestellungen jeweils am besten beantworten könnten.
Hinweis: Oft kommen natürlich auch andere / weitere Methoden für die Beantwortung dieser Fragen in Betracht. Aus der hier vorliegenden Auswahl passt aber immer nur einer der Methodenvorschläge gut zu den gestellten Fragen.
This work © 2024 by Dr.in Almut Ketzer-Nöltge is licensed under CC BY-NC-ND 4.0
