Skip to content

2. Ziele, Funktionen, Formen und Schwerpunkte von Evaluationen

In diesem Kapitel geht es um Ziele und Funktionen, denen Evaluationen dienen können. Da unterschiedliche Ziele und Funktionen durch unterschiedliche Evaluationsformen erreicht werden können, werden wir uns anschließend mit der Unterscheidung von formativer und summativer Evaluation beschäftigen. Im Mittelpunkt der Ausführung dieses Kapitels steht immer die Selbstevaluation. Daher wollen wir auch klären, welche Voraussetzungen man erfüllen sollte, um eine solche Evaluation erfolgreich durchführen zu können. Im letzten Teil des Kapitels werden wir dann unterschiedliche Evaluationsschwerpunkte und -dimensionen in den Blick nehmen.

2.1 Welche Ziele und Funktionen können Evaluationen haben?

In der Regel geht es Ihnen bei einer Evaluation sicherlich darum, das eigene VA-Projekt (den eigenen Unterricht) zu verbessern. Dennoch kann es vorkommen, dass Ihre Selbstevaluation auch andere Funktionen erfüllen soll oder muss, z. B. wenn noch andere Interessensgruppen (z. B. Geldgeber / Förderer, Vorgesetzte) eine Rolle spielen. Es ist daher wichtig, sich dieser Funktionen und Ziele bewusst zu sein und in die Überlegungen zur Gestaltung der Evaluationsinstrumente mit einzubeziehen. 

Im Folgenden werden beispielhaft verschiedene Aspekte benannt, die in Evaluationen von VA-Projekten erfasst werden können. Überlegen Sie –  bevor Sie die jeweilige Dialogkarte umdrehen -, für welche Akteure und Interessensgruppen (Lernende, Lehrende, (Lehrende als) Forschende, Förderer/Geldgeber, Bildungsinstitutionen, E-Learning-/IT-Abteilung) die entsprechenden Ergebnisse relevant sein könnten und welche Funktionen diese jeweils erfüllen.

Grundsätzlich sollten Evaluationen nicht nur eine bewertende Funktion innehaben, sondern vor allem Grundlage für (Weiter-)Entwicklungen sein (Erkenntnis- und Entwicklungsfunktion). Dennoch dienen Evaluationen auch häufig als Evidenz für die Wirksamkeit eines VA-Projektes und erfüllen damit eine Kontroll- oder Legitimationsfunktion (Arnold et al. 2018: 395ff.). So wird durch eine Evaluation möglicherweise „…auch kontrolliert, ob alle Beteiligten ihre Leistungen erbracht haben, ihre Zusammenarbeit funktioniert hat und die Lernerfolge effizient erreicht wurden, und sie kann dazu dienen das Bildungsangebot und dessen Nutzungsweise zu legitimieren oder zu verändern“ (Arnold et al. 2018: 395).

Es ist wichtig, dass Sie sich der jeweiligen Funktionen von Evaluationen bewusst sind, denn so sinnvoll Evaluationen vor allem als Grundlage für die Weiterentwicklung von VA-Projekten sind, können sie auch negative Folgen haben. Das kann auch passieren, wenn bspw. eine Testorientierung entsteht, dadurch dass in einer Evaluation am Ende eines Projekts ausschließlich das Erreichen der (messbaren) Lernziele überprüft wird. Außerdem muss genau überlegt werden, in welchem Verhältnis Aufwand und Nutzen von Evaluationen stehen. 

2.2 Welche Formen von Evaluationen gibt es?

Es lassen sich zwei übergeordnete Formen von Evaluation unterscheiden:

Die formative Evaluation (auch Gestaltungsevaluation) findet während des Kurses oder Projektes statt, um direkt Änderungs- und Anpassungsbedarfe zu ermitteln, diese dient also prozessbegleitend als Grundlage für die Planung und Gestaltung von Lehre (Optimierungsfunktion; Döring / Bortz 2016: 990). Aber es kann auch ermittelt werden, welche Lernschritte bereits erreicht wurden und / oder welche weiteren Lernbedarfe es noch gibt (Arras / Kecker 2016: 393).

Die summative Evaluation (auch Bilanzevaluation) wird am Ende eines Kurses oder Projekts durchgeführt und nimmt häufig das Erreichen der Lehr- und Lernziele in den Blick (Kontroll- und Legitimationsfunktion; Döring /Bortz 2016: 990). Zudem können auch punktuelle Leistungsermittlungen, z. B. am Ende einer Unterrichtseinheit oder einer Lernphase hierunter gefasst werden (Arras / Kecker 2016: 393f.).

Zwar können beide Formen mit Fragebögen oder quantitativen Methoden der Datenerhebung (also durch Messen von Ergebnissen oder Einstellungen in Form von Zahlen) durchgeführt werden, jedoch werden für formative Evaluationen häufiger qualitative Methoden eingesetzt, um Einstellungen, Meinungen, Selbsteinschätzungen etc. der Beteiligten zu erfassen.

Auch wenn es uns oft einfacher durchführbar und interpretierbar erscheint, sind quantitative Methoden und die Erfassung von Lernständen in Evaluationen nicht immer sinnvoll. Lehren und Lernen sind Prozesse, die durch die individuellen Handlungen von Lehrenden und Lernenden bestimmt werden (Arnold et al. 2018: 399). Somit kann sich auch die Qualität, bzw. Passung von Bildungsangeboten wie VA-Projekten durch die Handlungen und den Lernprozess der jeweiligen Lernenden oder Lerngruppen verändern und ist abhängig von persönlichen und individuellen Voraussetzungen sowie von kontextuellen Gegebenheiten (ebd.). Entsprechend ist kein per se kausaler Zusammenhang von objektiven Merkmalen und subjektiven Lernerfolgen möglich. Evaluationen sollten daher eher lernerorientiert als technik- und outcome-orientiert sein und sich am Modell der Aktionsforschung (Handlungsforschung) orientieren.

Eine weitere Unterscheidung lässt sich zwischen interner (Selbstevaluation) und externer Evaluation (Fremd- oder Peerevaluation) treffen (vgl. Arnold et al. 2018: 404). Diese Formen bringen unterschiedliche Vor- und Nachteile mit sich, z. B. in Bezug auf die Nähe zur tatsächlichen Unterrichtspraxis. So ist bei einer Selbstevaluation kein wirklich objektiver Abstand zum Evaluationsgegenstand gegeben, wodurch ein distanzierter kritisch-reflexiver Blick umso notwendiger wird (s. Einführung).

Klären Sie für sich daher die folgenden notwendigen Voraussetzungen und Rahmenbedingungen, bevor Sie mit der (Selbst-)Evaluation beginnen (angepasst nach DeGEval 2004: 7f.):

      • Handelt es sich um einen ergebnisoffenen Prozess oder haben Sie bereits bestimmte Erwartungen an die Evaluationsergebnisse?
      • Sind Änderungen im VA-Projekt möglich (in Bezug auf die zu evaluierenden Aspekte) und sind alle Beteiligten bereit und in der Lage, Änderungen umzusetzen?
      • Können Entscheidungen (aufgrund der Evaluationsergebnisse) durch die Evaluierenden selbst getroffen werden?
      • Wer übernimmt welche Aufgabe in der Evaluation? Gibt es Externe (z. B. Kolleg*innen), die bestimmte Aufgaben (z. B. Auswertung / Interpretation) übernehmen können?
      • Existieren grundlegende Transparenz und Vertrauen zwischen den Beteiligten der Evaluation? (Vertrauen zwischen den Lehrenden und zwischen den Lehrenden und Lernenden, ggf. zu externen, beteiligten Personen ist z. B. Voraussetzung dafür, dass ehrliche Antworten gegeben werden.)
      • Welche Ressourcen (technische, personelle, zeitliche, ggf. finanzielle) stehen für die Evaluation zur Verfügung?
      • Welche Konsequenzen und Empfehlungen sollen aus der Evaluation abgeleitet werden und wer setzt diese um?

Sollten Sie die Evaluationsergebnisse für Forschung oder anderweitig weiterverarbeiten oder -verbreiten wollen, klären Sie zusätzlich folgende Punkte:

      • Welche Daten dürfen Sie erheben? (ggf. sind Genehmigungen notwendig, z. B. durch eine Ethikkommission)
      • Wer darf auf die erhobenen Daten zugreifen und diese nutzen? (Es sollte geklärt und vereinbart werden, wer welche Daten sehen und ggf. veröffentlichen darf. Dafür müssen dann auch Einverständniserklärungen der Lernenden und Lehrenden eingeholt werden.)
      • Sind der Datenschutz und die Anonymisierung gewährleistet? (personenbezogene Daten dürfen keine Rückschlüsse auf einzelne Lernende zulassen, Daten müssen anonymisiert an einem sichern Ort gespeichert werden, etc.)

2.3 Evaluationsschwerpunkte & -dimensionen

Auch wenn Evaluationen oft anstreben, einen übergreifenden Eindruck vom Erfolg eines VA-Projekts zu erhalten, können immer nur Ausschnitte, bzw. konkrete Aspekte eines VA-Projekts fokussiert werden. Daher ist es wichtig zu klären, welche Ziele mit einer Evaluation verfolgt und welche Schwerpunkte oder Dimensionen fokussiert werden sollen.

Im Folgenden finden Sie eine Liste von Dimensionen einer Evaluation (erweitert nach Arnold et al. 2018: 398).
Grundsätzlich können Sie entweder das Konzept / Design (Aufgabenstellungen, Materialien, etc.), die Ergebnisse (Outcomes oder Outputs) oder die Prozesse (Lernprozesse, Vorgehensweisen, Umgang mit Materialien, etc.) eines VA-Projekts in den Blick nehmen.
Überlegen Sie, welche dieser Dimensionen / Schwerpunkte Ihnen bei der Evaluation Ihres VA-Projekts besonders wichtig sind. Woran haben Sie bisher noch nicht gedacht?

Konzept / Design

  • Lerninhalte (entsprechen fachlichen Anforderungen und dem Vorwissen der Lernenden)
  • Gebrauchstauglichkeit (Nutzungs- und Bedienfreundlichkeit der Tools)
  • Akzeptanz und Zufriedenheit (bzgl. der Materialien, der Tools, der Zusammenarbeit, etc.)
  • Partizipationsmöglichkeiten (aktive Beteiligung und Einbeziehung aller Lernenden)
  • Kosten-Nutzen-Verhältnis (z. B. im Vergleich zu anderen Methoden / Projekten)
  • Mediendidaktik (lernförderliche Gestaltung und Einsatz von Medien / Materialien)

Ergebnisse / Lehr- & Lernziele

  • Erreichen der Lehr-/Lernziele
  • Medienkompetenz (wird gefördert)
  • kulturbezogene Kompetenzen werden gefördert
  • Lernkompetenz (wird entwickelt)
  • Lernleistung (es findet ein Lernfortschritt/-zuwachs statt)
  • Lernwirksamkeit (Übertragung und Anwendung erlernter Kompetenzen in anderen Kontexten)
  • Gruppenunterschiede (Unterschiede zwischen Untergruppen in Bezug auf Lernprozesse, Kommunikation, Kooperation, Partizipation etc.)

Prozess

  • Kommentierung der Lernprodukte (Lernprodukte können und werden von Lernenden und / oder Lehrenden kommentiert)
  • Lernzeit (Zeitaufwand ist für die Lernleistung / das Lernziel angemessen)
  • Lernhandlung (Lernende handeln zielführend und dem Lernprozess zuträglich)
  • Betreuung (angemessene Unterstützung der Lernenden im Lernprozess)
  • Kommunikation (angemessener Informationsaustausch zwischen Lernenden sowie zwischen Lernenden und Lehrenden)
  • Kooperation (erfolgreiches gemeinsames Lernen und Arbeiten an Aufgaben und / oder Projektprodukten)
  • Medien- / Toolnutzung (Medien und Tools werden zielführend von den Lernenden genutzt)

Wählen Sie für die Planung Ihrer Evaluation einzelne Dimensionen aus und konkretisieren Sie diese, in dem Sie zentrale Fragenstellungen und ggf. Hypothesen dazu formulieren. Die Auswahl der Dimensionen sollte theoretisch und praktisch begründet sein.  Wenn Sie bspw. Ergebnisse Ihres VA in den Blick nehmen möchten, überlegen Sie zunächst: Was könnten die Ergebnisse des VA sein? Was möchten Sie messen bzw. herausfinden?  Fokussieren Sie sich eher auf kurzfristige oder mittelfristige Ergebnisse und werden Sie konkret. Damit stellen Sie sicher, dass Ihre Fragestellung auch beantwortbar ist. Überlegen Sie z. B., welcher Aspekt der Medienkompetenz sich entwickeln soll (z. B. kritischer Umgang mit Internetquellen) und wie sich dieser im Rahmen der VA-Aufgaben zeigen könnte (z. B. durch die Thematisierung der Zuverlässigkeit einer Quelle in Gruppendiskussionen), statt Medienkompetenz allgemein als Ziel zu formulieren.

Notieren Sie drei Dimensionen, die Ihnen in Ihrem Virtuellen Austausch besonders wichtig sind und begründen Sie Ihre Auswahl kurz.

Zur Formulierung von Fragestellungen

Fragestellungen sind wichtig, damit Evaluationen zielgerichtet stattfinden und entwickelt werden können. Gute Fragestellungen fokussieren konkrete Schwerpunkte, sind beantwortbar und verständlich formuliert. Mit einer guten Fragestellung setzen Sie auch Grenzen: Was soll / kann im Rahmen der Evaluation nicht untersucht werden? (vgl. QS 29: 25).

2.4 Beispiel: Evaluation von Lehr-/Lernzielen

Im Sommersemester 2020 fand ein virtuelles Austauschprojekt zwischen zwei universitären Bachelorseminaren in Leipzig (Deutschland) und Athens, Ohio (USA) statt (siehe Best Pactice-Beispiel „…“). Übergeordnetes Ziel des VA-Projekts war die Förderung der kritischen Medienkompetenz (critical discourse literacy, CDL) der teilnehmenden Studierenden auf beiden Seiten: „The goal of the exchange was to jointly develop student’s CDL via several asynchronous online tasks including discussions, tutorials, and reflections“ (Ketzer-Nöltge / Markovic 2022: 126). Unter kritischer Medienkompetenz versteht man eine Teilkompetenz der allgemeinen Medienkompetenz. Der Begriff bezieht sich in diesem Beispiel vor allem auf die Fähigkeit faktenbasierte Berichterstattung von Fake News zu unterscheiden und kritisch zu diskutieren und reflektieren. Als übergeordnetes Lehr-/Lernziel wurde für die Studierenden konkret formuliert: „Sie kennen Strategien, um die Glaubhaftigkeit von Medienberichten zu beurteilen und können diese anwenden.“
Um dieses übergeordnete Ziel zu erreichen wurden für die Projektdauer von vier Wochen verschiedene Aufgabenstellungen und Materialien entwickelt, bzw. zur Verfügung gestellt, wie aus der folgenden Tabelle ersichtlich wird (vgl. auch Ketzer-Nöltge / Markovic 2022: 130). In der untersten der Tabelle Zeile sind zudem die jeweiligen Teillehr-/-lernziele zu finden.

Link zur SIFT-Tutorial (Mike Caulfield): https://www.notion.so/Check-Please-Starter-Course-ae34d043575e42828dc2964437ea4eed

Wurde ein Virtuelles Austauschprojekt so geplant, dass in unterschiedlichen Phasen Teillehr-/-lernziele erreicht werden, die vielleicht sogar aufeinander aufbauen, sollte sichergestellt werden, dass diese jeweils auch erreicht werden. Werden sie nicht erreicht, ist es notwendig herauszufinden, welche Änderungen in der Projektdurchführung notwendig und sinnvoll sind. Zudem wollen die Dozierenden am Ende eines Durchführungszyklus eines Virtuellen Austauschprojekts i.d.R. wissen, ob die übergeordneten Lehr-/Lernziele erreicht wurden, wie die Lernenden das Projekt insgesamt beurteilen und ob für den nächsten Zyklus Änderungen oder Verbesserungen notwendig sind.

Überlegen Sie, welche konkreten Fragen Sie für die Evaluation des beschriebenen Projektes stellen könnten. Welche Fragen könnten Sie bei einer formativen und welche bei einer summativen Evaluation stellen?

Je nach Projekt und Lehr-/Lernzielen können zu den Fragen jeweils Hypothesen aufgestellt werden, z. B.: Die Integration von kommunikativen Reflexionsaufgaben (z. B. Beantwortung einer Reflexionsfrage und diesbezügliche Lernendeninteraktion in einem Internetforum) führt zu besseren Lernergebnissen in Bezug auf die Förderung der kritischen Medienkompetenz.

This work © 2024 by Dr.in Almut Ketzer-Nöltge is licensed under CC BY-NC-ND 4.0