7.3 Ergebnisse und Fallstricke

4. Auswertung und Ergebnisse von Evaluationen

In diesem Kapitel geht es um die letzten Schritte einer Evaluation: der Datenauswertung und dem Umgang mit den Evaluationsergebnissen. Manche der Ausführungen beziehen sich insbesondere auf die Auswertung formeller Evaluationen. Die Hinweise zum Umgang mit (negativen) Evaluationsergebnissen im zweiten Abschnitt sind aber auch für informelle Ergebnisse hilfreich, um passende Schlussfolgerungen aus Evaluationen zu ziehen.

4.1 Wie werte ich Evaluationsdaten aus?

Häufig müssen Sie die erhobenen Daten zunächst so aufbereiten, dass Sie mit der Analyse beginnen können, z. B. (automatische) Transkription von Aufnahmen, Anonymisieren / Pseudonymisieren, Systematisieren und Sortieren von verbalen Daten, Sortieren und Bereinigen von numerischen Daten, etc. Für die Analyse der Daten stehen Ihnen heute verschiedene Programme zur Verfügung (z. B. SPSS oder MAXQDA). Je nach Umfang reicht es jedoch oft auch, die Daten übersichtlich in Tabellen oder Textdateien zu transferieren, um sie auszuwerten.

„Die Auswertung der nach verschiedenen Methoden mit den jeweiligen Instrumenten erhobenen Daten ist immer eine besondere Herausforderung.“ (Arnold et al. 2018: 409).

Das liegt daran, dass wir i.d.R. versuchen, eine Rekonstruktion der Zusammenhänge zu erreichen. Das heißt, wir wollen Faktoren, Probleme oder Handlungsprozesse erschließen und Zusammenhänge verdeutlichen, um daraus Maßnahmen für eine positive (Weiter-)Entwicklung abzuleiten. Entsprechend geht es darum, aus diesen Zusammenhängen Voraussetzungen, Bedingungen und Ursachen für die Ergebnisse zu identifizieren. Darauf aufbauend wollen wir dann Konsequenzen und Empfehlungen ableiten (ebd.).

Um diese Rekonstruktion von Zusammenhängen zu erreichen, ist es sinnvoll bei der Auswertung mit anderen VA-Beteiligten zusammenzuarbeiten und die Ergebnisse gemeinsam zu interpretieren. – Insbesondere die Sicht Ihrer Projektpartner*inn*en (den anderen Dozierenden / Lehrenden) ist hier wichtig, da die erhobenen Äußerungen oder Handlungen von Lernenden aus unterschiedlichen (kulturellen, institutionellen etc.) Kontexten stammen und demnach auch in und aus diesen Kontexten heraus interpretiert werden sollten. Überlegen Sie immer: Was könnten alternative Interpretationen der Ergebnisse sein?

Erstellen Sie anschließend eine Dokumentation Ihrer Ergebnisse und Ihrer Interpretationen: Benennen Sie Probleme und positive Aspekte (auch der Datenerhebung selbst), stellen Sie zentrale Ergebnisse transparent dar und stellen Sie Bezüge zum VA her (Arnold et al. 2018: 411).

Leiten Sie daraus Konsequenzen ab, indem Sie Vorschläge und Verbesserungen formulieren. Diese stellen Sie idealerweise gegenüber allen Beteiligten zur Diskussion, um gemeinsam Maßnahmen festzulegen. Hier macht es auch Sinn über Verbesserung der Evaluation nachzudenken (Diskussion von Defiziten, etc.). Überlegen Sie, ob und in welcher Form Sie die Ergebnisse veröffentlichen möchten / können (in Ihren Bildungsinstitutionen, als praxisnahe oder wissenschaftliche Publikation etc.). Oft ist es für Andere hilfreich, wenn Sie Ihre Erfahrungen und Ihr Wissen weitergeben und Sie „vergolden“ sich damit auch den Aufwand, den Sie ggf. in die Evaluation Ihres VA-Projekts investiert haben.

4.2 Wie gehe ich mit Evaluationsergebnissen um?

Bei vielen Evaluationsergebnissen ist offensichtlich, wie Sie darauf reagieren können, da es sich um konkrete Probleme oder Herausforderungen handelt, die Sie identifizieren konnten. Zum Beispiel können Sie Tools, die sich schwer bedienen lassen oder zu technischen Schwierigkeiten führen, einfach austauschen. Aufgabenstellungen, die von vielen Lernenden falsch verstanden wurden und ggf. zu kompliziert formuliert waren, können angepasst werden. Andere Ergebnisse lassen vielleicht gar keine Reaktionen oder Maßnahmen zu, da bestimmte Umstände gegeben sind, die sich nicht verändern lassen (z. B. wenn eine zu kurze Projektlänge bemängelt wurde, sich aber die Semesterzeiten der beteiligten Gruppen nur für eine bestimmte Anzahl an Wochen überschneiden).

Oft lassen sich Ergebnisse auch erst im Vergleich mit anderen Evaluationen und Ergebnissen gut einordnen. Um einen Vergleich zu haben, könnte man z. B. gemeinsam mit Kolleg*innen, die auch VA-Projekte durchführen, Evaluationen entwickeln und dann über die Ergebnisse in einen Austausch kommen. Aber auch das wiederholte durchführen von Evaluationen in eigenen VA-Projekten kann eine gute Grundlage für das Reflektieren der eigenen Entwicklung und für die Verbesserung der VA-Projekte sein.

Unten sehen Sie beispielhaft Evaluationsergebnisse von (fiktiven) Lehrveranstaltungen, die in bestimmten Aspekten nicht gut ausgefallen sind. Sehen Sie sich jeweils zunächst die Beispielergebnisse an und überlegen Sie auf welche der in 3.3 beschriebenen didaktischen Dimensionen (ProLehre o. J.) sich diese Ergebnisse beziehen. Was denken Sie, worauf die entsprechenden Ergebnisse jeweils zurückgeführt werden könnten und was man machen könnte, um diese zu verbessern? Lesen Sie anschließend die Vorschläge für Verbesserungen “hinter” den jeweiligen Evaluationsergebnissen. (Bewegen Sie dafür den Schieberegler von rechts nach links.) Sie finden jeweils eine Übersicht an konkreten Handlungsoptionen.

Zur Erinnerung hier die o.g. didaktischen Dimensionen (ebd.): Konzeption und Strukturierung, Vermittlung, Medieneinsatz, Dozierenden-Engagement und Lernklima, Anforderungen an die Studierenden / Schwierigkeitsgrad, Kompetenzerwerb der Studierenden.

Hinweis: Die Evaluationsergebnisse stammen von unterschiedlichen Institutionen, daher sind die positiven Antworten z. T. nach rechts und z. T. nach links ausgerichtet. Sehen Sie sich die Skalen daher jeweils genau an.