Research data and study information about „Data type: Test instrument” (18)

1

DESI - Deutsch Englisch Schülerleistungen International Die DESI-Studie untersuchte die sprachlichen Leistungen von Schülerinnen und Schülern in der 9. Jahrgangsstufe in den Fächern Deutsch und Englisch. Die Untersuchung wurde im Jahr 2001 von der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (KMK) als nationale Schulleistungsstudie in Ergänzung zu den PISA Studien in Auftrag gegeben. Unter Federführung des Deutschen Instituts für Internationale Pädagogische Forschung (DIPF) wurden von einem Konsortium aus Bildun ... Die DESI-Studie untersuchte die sprachlichen Leistungen von Schülerinnen und Schülern in der 9. Jahrgangsstufe in den Fächern Deutsch und Englisch. Die Untersuchung wurde im Jahr 2001 von der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (KMK) als nationale Schulleistungsstudie in Ergänzung zu den PISA Studien in Auftrag gegeben. Unter Federführung des Deutschen Instituts für Internationale Pädagogische Forschung (DIPF) wurden von einem Konsortium aus Bildungsforschern und Fachdidaktikern Tests für die sprachlichen Leistungen im Deutschen und im Englischen als erste Fremdsprache entwickelt, die sich an den Curricula der Länder für die 9. Jahrgangsstufe orientierten. Mit schriftlichen Befragungen von Schülerinnen und Schülern, Eltern, Lehrkräften, Mitgliedern der Fachkollegien Deutsch und Englisch sowie Schulleitungen wurden die individuellen, familiären, unterrichtlichen und schulischen Bedingungen sprachlicher Leistungen erfasst. Videoaufnahmen im Englischunterricht ergänzten das Erhebungsdesign. Insgesamt wurden rund 11.000 Schülerinnen und Schüler der 9. Jahrgangsstufe aller Schularten des allgemeinbildenden Schulwesens mit Ausnahme der Förderschulen aus 219 Schulen mit je zwei Klassen zu Beginn und am Ende des Schuljahres 2003/04 untersucht. Durch ihre breitgefächerte Anlage ermöglicht die Studie differenzierte Aussagen über individuelle, familiäre, unterrichtliche und institutionelle Bedingungen sprachlicher Kompetenzen, die für Unterrichtsentwicklung und Schulentwicklung sowie die Bildungspolitik gleichermaßen wichtig sind. (DIPF/Projekt)

2

Bewertungskompetenz für das Anwendungsfeld Energie Die Studie „Bewertungskompetenz für das Anwendungsfeld Energie" wurde von der Didaktik der Physik in Kooperation mit der Didaktik der Biologie an der Universität Göttingen realisiert. Untersucht wurde, inwieweit das Göttinger Modell der Bewertungskompetenz (Eggert & Bögeholz, 2006; Bögeholz, 2011), das bislang schwerpunktmäßig biologierelevante Fragen von Bildung für Nachhaltige Entwicklung (BNE; biodiversitäts- und konsum-relevante „socioscientific issues“) aufgreift, auch auf physikrelevante u ... Die Studie „Bewertungskompetenz für das Anwendungsfeld Energie" wurde von der Didaktik der Physik in Kooperation mit der Didaktik der Biologie an der Universität Göttingen realisiert. Untersucht wurde, inwieweit das Göttinger Modell der Bewertungskompetenz (Eggert & Bögeholz, 2006; Bögeholz, 2011), das bislang schwerpunktmäßig biologierelevante Fragen von Bildung für Nachhaltige Entwicklung (BNE; biodiversitäts- und konsum-relevante „socioscientific issues“) aufgreift, auch auf physikrelevante und interdisziplinär zu lösende Energiefragen zu BNE übertragbar ist. Hierzu wurde ein Test entwickelt, der die Teilkompetenz "Bewerten, Entscheiden und Reflektieren" des Göttinger Modells für die Anwendungskontexte Energiegewinnung, -speicherung und -nutzung aufbereitet.

3

Co²CA - Conditions and Consequences of Classroom Assessment Das im Rahmen des DFG-Schwerpunktprogramms "Kompetenzmodelle" durchgeführte Projekt "Conditions and Consequences of Classroom Assessment" (Co²CA) geht in vier Teilstudien der Frage nach, wie formatives Assessment im Unterricht gestaltet werden kann, um sowohl eine präzise Leistungsmessung zu ermöglichen als auch positive Wirkungen auf den Lehr-Lernprozess zu erreichen. Das Project Co²CA leistet damit einen wichtigen Beitrag zur Erforschung zweier Kernelemente formativen Assessments – der detaill ... Das im Rahmen des DFG-Schwerpunktprogramms "Kompetenzmodelle" durchgeführte Projekt "Conditions and Consequences of Classroom Assessment" (Co²CA) geht in vier Teilstudien der Frage nach, wie formatives Assessment im Unterricht gestaltet werden kann, um sowohl eine präzise Leistungsmessung zu ermöglichen als auch positive Wirkungen auf den Lehr-Lernprozess zu erreichen. Das Project Co²CA leistet damit einen wichtigen Beitrag zur Erforschung zweier Kernelemente formativen Assessments – der detaillierten Diagnose von Schülerleistungen und der Nutzung der gewonnenen Informationen in Form lernförderlichen Feedbacks. Zentrale Idee von formativem Assessment (Lernbegleitende Leistungsbeurteilung und –rückmeldung) ist es mit Hilfe von Leistungsmessungen Informationen über den Lernstand der Schülerinnen und Schüler zu gewinnen und diese Informationen für die Gestaltung des weiteren Lehr- und Lernprozess zu nutzen. Den Lernenden kann auf Basis der Leistungsbeurteilung lernförderliches Feedback gegeben werden, um so die Diskrepanz zwischen Lernstand und Lernziel zu verringern. Die Kernelemente formativem Assessments bestehen also aus einer detaillierten Diagnose des Lernstandes und der Nutzung der gewonnen Informationen – z.B. in Form von Feedback. In der ersten Förderphase (2007-2009) wurden Mathematikaufgaben entwickelt und erprobt, die als Grundlage für das darauf folgende Experiment und die Interventionsstudie dienten (1). In der zweiten Förderphase (2009-2011) wurde ‚Feedback‘ als ein zentrales Element formativer Leistungsmessung genauer untersucht. Hierzu wurden in einem Experiment verschiedene Arten schriftlicher Rückmeldung eingesetzt und in Bezug auf deren Wirkung auf kognitive und motivationale Prozesse verglichen (2). Um die Befunde aus den ersten beiden Teilstudien in einem ökologisch validen Setting zu überprüfen, wurde anschließend, ebenfalls im zweiten Förderzeitraum, eine Interventionsstudie durchgeführt. In dieser wurden Lehrkräfte geschult, ihren Schülerinnen und Schülern auf Basis einer Leistungsdiagnose lernförderliche Rückmeldungen zu geben (3). In der vierten und abschließenden Transferstudie wurde die Lehrerfortbildung der Interventionsstudie weiterentwickelt und geprüft, inwieweit eine intensive Fortbildung zu formativem Assessment allgemeines- und mathematikdidaktisches Wissen von Lehrkräften fördert (4).

4

Bautechnische Fachkompetenz - Kompetenzmodellierung und Kompetenzentwicklung in der bautechnischen Berufsgrundbildung Obwohl die berufliche Fachkompetenz in allen gängigen konzeptuellen Kompetenzstrukturmodellen der beruflichen Bildung als zentrale Facette und notwendige Bedingung zur erfolgreichen Bewältigung beruflicher Anforderungen charakterisiert wird, stehen in weiten Teilen beruflicher Domänen keine adäquaten und empirisch validierten Kompetenzmodelle zur Verfügung. Im gewerblich-technischen Bereich konnten für die kraftfahrzeug- und elektrotechnische Grundbildung durch die Forschergruppe um Nickolaus be ... Obwohl die berufliche Fachkompetenz in allen gängigen konzeptuellen Kompetenzstrukturmodellen der beruflichen Bildung als zentrale Facette und notwendige Bedingung zur erfolgreichen Bewältigung beruflicher Anforderungen charakterisiert wird, stehen in weiten Teilen beruflicher Domänen keine adäquaten und empirisch validierten Kompetenzmodelle zur Verfügung. Im gewerblich-technischen Bereich konnten für die kraftfahrzeug- und elektrotechnische Grundbildung durch die Forschergruppe um Nickolaus bereits erste Befunde zur Kompetenzmodellierung vorgelegt werden; für die bautechnische Grundbildung (erstes Ausbildungsjahr für die Berufe der Bauwirtschaft) steht die kompetenzdiagnostische Forschung hingegen noch am Anfang. Ziel des vorliegenden Projekts ist es, bestehende Lücken zu schließen und (1) ein auf der Basis probabilistischer Testtheorie geprüftes Instrument zur Erfassung der bautechnischen Fachkompetenz bereitzustellen, das die beruflichen Anforderungsstrukturen der Grundbildung Bautechnik adäquat abbildet, (2) ein Niveau- und Strukturmodell der bautechnischen Fachkompetenz zu entwickeln bzw. zu überprüfen, um Aussagen über die erreichten Kompetenzstände sowie die Dimensionalität der Fachkompetenz zu gewinnen,(3)die Zusammenhänge zwischen unterschiedlichen Dimensionen (fachspezifisches Wissen und fachspezifische Problemlösefähigkeit) und gegebenenfalls weiteren Subdimensionen zu analysieren, (4) ein Erklärungsmodell für die Ausprägung der bautechnischen Fachkompetenz am Ende der Grundbildung zu generieren und schließlich (5) Effekte der Berufszugehörigkeit (Fliesenleger/ Stuckateure vs. Zimmerer) auf die lernfeldspezifische Kompetenzausprägung zu klären.

5

Entwicklung physikalischer Kompetenz in der Sekundarstufe I Im Projekt wurde ein Testinstrument (Kompetenzentwicklungstest) entwickelt, mit dessen Hilfe die Kompetenzentwicklung der Schüler für das Basiskonzept Energie untersucht wurde. Dabei wurde eine Querschnittstudie über die Jahrgänge 6 bis 10 der Sekundarstufe I aus Nordrhein-Westfalen durchgeführt. Des Weiteren wurde ein Teil der Querschnittsstudiengruppe zu einem Längsschnitt ausgeweitet. Im Projekt wurde ein Testinstrument (Kompetenzentwicklungstest) entwickelt, mit dessen Hilfe die Kompetenzentwicklung der Schüler für das Basiskonzept Energie untersucht wurde. Dabei wurde eine Querschnittstudie über die Jahrgänge 6 bis 10 der Sekundarstufe I aus Nordrhein-Westfalen durchgeführt. Des Weiteren wurde ein Teil der Querschnittsstudiengruppe zu einem Längsschnitt ausgeweitet.

6

Modellierung der Beratungskompetenz von Lehrkräften unter besonderer Berücksichtigung der Diagnostischen Kompetenz Im Rahmen des Projekts wurden sowohl für die Beratungskompetenz als auch für die Diagnostische Kompetenz – jeweils bezogen auf die Domäne Selbstreguliertes Lernen – Kompetenzmodelle theoretisch entwickelt und empirisch überprüft, die jeweils verschiedene Kompetenzdimensionen und Prädiktorvariablen der jeweils beschriebenen Kompetenz umfassen. Zur Diagnostik der beiden Kompetenzbereiche wurden verschiedene Instrumentarien entwickelt und validiert. Weiterhin wurden aufbauend auf den entwickelten K ... Im Rahmen des Projekts wurden sowohl für die Beratungskompetenz als auch für die Diagnostische Kompetenz – jeweils bezogen auf die Domäne Selbstreguliertes Lernen – Kompetenzmodelle theoretisch entwickelt und empirisch überprüft, die jeweils verschiedene Kompetenzdimensionen und Prädiktorvariablen der jeweils beschriebenen Kompetenz umfassen. Zur Diagnostik der beiden Kompetenzbereiche wurden verschiedene Instrumentarien entwickelt und validiert. Weiterhin wurden aufbauend auf den entwickelten Kompetenzmodellen in quasiexperimentellen Studien Aus- und Weiterbildungsprogramme für Lehrkräfte im Vorbereitungs- und Schuldienst sowie für Lehramtsstudierende zur Förderung der jeweils spezifischen Kompetenzen entwickelt und durchgeführt. (Projekt)

7

Bewertungskompetenz - Bewertungskompetenz für systematisches Entscheiden in komplexen Situationen nachhaltiger Entwicklung Was befähigt Personen in komplexen Situationen im Sinne Nachhaltiger Entwicklung systematisch und begründet zu entscheiden, um kompetent am gesellschaftlichen Diskurs um Themen von ökologischer, ökonomischer und sozialer Relevanz teilhaben zu können (Bögeholz et al., 2004)? Dies ist eine zentrale Frage zur Umsetzung des Kompetenzbereichs Bewertung der nationalen Bildungsstandards für die naturwissenschaftlichen Fächer (KMK, 2004). Im Projekt wird Bewertungskompetenz definiert als die Fähigkeit, ... Was befähigt Personen in komplexen Situationen im Sinne Nachhaltiger Entwicklung systematisch und begründet zu entscheiden, um kompetent am gesellschaftlichen Diskurs um Themen von ökologischer, ökonomischer und sozialer Relevanz teilhaben zu können (Bögeholz et al., 2004)? Dies ist eine zentrale Frage zur Umsetzung des Kompetenzbereichs Bewertung der nationalen Bildungsstandards für die naturwissenschaftlichen Fächer (KMK, 2004). Im Projekt wird Bewertungskompetenz definiert als die Fähigkeit, komplexe Bewertungs- und Entscheidungssituationen erfolgreich bewältigen zu können. Zum einen ist dazu bereichsspezifisches und interdisziplinäres Wissen zu Nachhaltiger Entwicklung erforderlich, zum anderen sind prozedurale Kompetenzen im Hinblick auf Informationssuch- und -verarbeitungsprozesse sowie Bewertungs-, Argumentations- und Entscheidungsprozesse notwendig. Das Projekt wurde in allen drei Phasen des DFG-Schwerpunktprogramms 1293 „Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen“ gefördert. In den drei Förderphasen wurden zunächst die beiden prozeduralen Teilkompetenzen des Modells operationalisiert und validiert (Eggert & Bögeholz, 2010; Gausmann et al., 2010; Bögeholz, Eggert, Ziese & Hasselhorn, 2017). Zum Einsatz kamen Messmodelle der Item-Response-Theorie. Es wurden Testinstrumente auf Basis des Entwicklungszyklus von Wilson (2005) entwickelt. Die entwickelten Testinstrumente wurden im Anschluss in Interventionsstudien zur Förderung von Bewertungskompetenz bei Schüler*innen eingesetzt, um Kompetenzzuwächse zu untersuchen (Eggert, Bögeholz, Watermann & Hasselhorn, 2010; Eggert, Nitsch, Boone, Nückles & Bögeholz, 2016; Eggert, Ostermeyer, Hasselhorn & Bögeholz, 2013,). Des Weiteren wurde in der dritten Förderphase eine experimentelle Validierung mit allgemeinem, analytischem Problemlösen durchgeführt (Bögeholz et al., 2017). (Projekt)

8

MIRT - Modellierung von Kompetenzen mit mehrdimensionalen IRT-Modellen Im MIRT-Projekt werden verschiedene Modelle der Item-Response-Theorie (IRT) zur Modellierung von Kompetenzen miteinander verglichen und auf Testdaten zur Messung von Fremdsprachkompetenzen im Englischen angewandt. Zunächst wurden bereits vorliegende Daten aus abgeschlossenen Large Scale Assessments analysiert. In der zweiten Projektphase wurden darauf aufbauend neue Testaufgaben zum Lese- und Hörverstehen mit systematisch variierten Aufgabenanforderungen entwickelt und einer Schülerstichprobe vo ... Im MIRT-Projekt werden verschiedene Modelle der Item-Response-Theorie (IRT) zur Modellierung von Kompetenzen miteinander verglichen und auf Testdaten zur Messung von Fremdsprachkompetenzen im Englischen angewandt. Zunächst wurden bereits vorliegende Daten aus abgeschlossenen Large Scale Assessments analysiert. In der zweiten Projektphase wurden darauf aufbauend neue Testaufgaben zum Lese- und Hörverstehen mit systematisch variierten Aufgabenanforderungen entwickelt und einer Schülerstichprobe vorgegeben. In der dritten Phase steht die Auswertung der erhobenen Daten hinsichtlich Dimensionalität und Itemschwierigkeiten im Mittelpunkt. Ziel ist die Formulierung eines hinsichtlich Dimensionen und Niveaus empirisch fundierten Kompetenzmodells für rezeptive Fremdsprachkompetenzen. Darüber hinaus erfolgt eine Validierung der bei der Konstruktion verwendeten Merkmale durch unabhängige Einschätzungen sowie eine Anbindung der Skalen an die Niveaus des Gemeinsamen Europäischen Referenzrahmens für Sprachen (GER).(Projekt)

9

Beschreibung und Erklärung von Kompetenzveränderungen in Deutsch- und Mathematikleistungen Im Zentrum des Beitrags zum Schwerpunktprogramm stehen die Beschreibung und Erklärung sowie die Konsequenzen intraindividueller Veränderungen von Schülerleistungen in Deutsch und Mathematik in der 9. und 10. Jahrgangsstufe. Die Motivation, Veränderungen von Schülerleistungen zu untersuchen, rührt insbesondere daher, dass solche Veränderungen - rational und ohne methodische Sorgen betrachtet - die eigentlich interessierende Größe bei Schülerleistungen sind. Der Status quo von Schülerleistungen al ... Im Zentrum des Beitrags zum Schwerpunktprogramm stehen die Beschreibung und Erklärung sowie die Konsequenzen intraindividueller Veränderungen von Schülerleistungen in Deutsch und Mathematik in der 9. und 10. Jahrgangsstufe. Die Motivation, Veränderungen von Schülerleistungen zu untersuchen, rührt insbesondere daher, dass solche Veränderungen - rational und ohne methodische Sorgen betrachtet - die eigentlich interessierende Größe bei Schülerleistungen sind. Der Status quo von Schülerleistungen als Punktschätzung ist bei Selektionsentscheidungen eine relevante Größe. Bei der Beurteilung des Lernerfolgs von Schülerinnen und Schülern interessiert hingegen insbesondere die Veränderung gegenüber einem Referenzzeitpunkt bzw. der Verlauf solcher Veränderungen. Status quo und Veränderung lassen sich im Sinne intra- und interindividueller Vergleiche beim Vorliegen geeigneter Daten, insbesondere sogenannter intensiver Längsschnittdaten, simultan anstrengen. Bei der hier angestrebten Fokussierung auf intraindividuelle Veränderungen ist es wünschenswert, über eine größere Zahl an Messzeitpunkten zu verfügen. Das Projekt befasst sich mit methodischen Aspekten der Integration intra- und interindividueller Vergleiche in der Kompetenzdiagnostik. (Projekt)

10

Problemlösen - Kompetenzstrukturen fächerübergreifenden und fachlichen Problemlösens Ziel des Beitrags zum SPP ist die Entwicklung und Validierung von Kompetenzstruktur- und Niveaumodellen der „Problemlösekompetenz“ mit Blick auf Anteile, die fachspezifisch und fächerübergreifend, erfolgreiches Problemlösen ermöglichen. Theoretischer Hintergrund ist die Problemlöseforschung aus allgemein- und differential-psychologischer sowie fach¬didaktischer Perspektive. Sie beschreibt Prozesse des Problemlösens, ermöglicht aber noch nicht, Teilkompetenzen des Problemlösens zu diagnostizieren ... Ziel des Beitrags zum SPP ist die Entwicklung und Validierung von Kompetenzstruktur- und Niveaumodellen der „Problemlösekompetenz“ mit Blick auf Anteile, die fachspezifisch und fächerübergreifend, erfolgreiches Problemlösen ermöglichen. Theoretischer Hintergrund ist die Problemlöseforschung aus allgemein- und differential-psychologischer sowie fach¬didaktischer Perspektive. Sie beschreibt Prozesse des Problemlösens, ermöglicht aber noch nicht, Teilkompetenzen des Problemlösens zu diagnostizieren und in didaktische Maßnahmen umzusetzen, obwohl Problemlösen in Kerncurricula und Bildungsstandards als zentrale fachliche Kompetenz beschrieben und in Large-Scale-Assessments als fachliche und als fächerübergreifende Kompetenz erhoben wird. PISA 2003-Ergebnisse legen sogar nahe, dass deutsche Schüler/innen kognitives Potential haben, das beim fächer¬übergreifenden Problemlösen sichtbar, im Unterricht jedoch für fachlichen Kompetenzaufbau wenig genutzt wird. Zunächst werden die kognitiven Anforderungen von Aufgaben zum Problemlösen, zur Mathematik und Chemie anhand vorliegender Large-Scale-Daten untersucht und in die Konstruktion von Testskalen für Teilkompetenzen fachlichen und fächerübergreifenden Problemlösens umgesetzt. Mit diesen Tests werden neue Daten erhoben, um theoretisch ableitbare Kompetenzstrukturmodelle mittels Struktur¬gleichungs¬modellen zu überprüfen und die Skalierbarkeit von Kompetenzniveaus zu untersuchen. In anschließenden Phasen des SPP folgen experimentelle Studien zur Unter¬suchung von Entwicklungsmodellen der Problemlösekompetenz, die sich didaktisch nutzen lassen. (Projekt)

11

T-KnoX - Teacher Knowledge Experiment In Anlehnung an Shulman wird das professionelle Wissen von Lehrkräften in fachliches, pädagogisches und fachdidaktisches Wissen unterteilt. In einer experimentellen Studie untersuchten wir, welche Rolle verfügbares Fachwissen und verfügbares pädagogisches Wissen für die Entwicklung fachdidaktischen Wissens spielen. Drei Annahmen wurden geprüft: (1.) Fachwissen und pädagogisches Wissen verschmelzen zu fachdidaktischem Wissen („Amalgam-Hypothese“), (2.) fachdidaktisches Wissen entsteht „en passant ... In Anlehnung an Shulman wird das professionelle Wissen von Lehrkräften in fachliches, pädagogisches und fachdidaktisches Wissen unterteilt. In einer experimentellen Studie untersuchten wir, welche Rolle verfügbares Fachwissen und verfügbares pädagogisches Wissen für die Entwicklung fachdidaktischen Wissens spielen. Drei Annahmen wurden geprüft: (1.) Fachwissen und pädagogisches Wissen verschmelzen zu fachdidaktischem Wissen („Amalgam-Hypothese“), (2.) fachdidaktisches Wissen entsteht „en passant“ aus Fachwissen („Mitnahme-Hypothese“) und (3.) Fachwissen unterstützt die Nutzung von Lerngelegenheiten für fachdidaktisches Wissen („Unterstützungs-Hypothese“). Die teilnehmenden 100 Lehramtsstudierenden aus Berlin und Brandenburg wurden zufällig einem von fünf Kursen zugeteilt. Die Kurse bestanden aus je zwei Blöcken á vier Stunden. Die „Amalgam-Bedingung“ umfasste einen Block zum Fachwissen und einen Block zum pädagogischen Wissen, die „Mitnahme-Bedingung“ zwei Blöcke zum Fachwissen und die „Unterstützungs-Bedingung“ einen Block zum Fachwissen und einen Block zum fachdidaktischen Wissen. Darüber hinaus erhielt eine schwache Kontrollbedingung ausschließlich Blöcke zum pädagogischen Wissen, während eine starke Kontrollbedingung nur mit Blöcken zum fachdidaktischen Wissen konfrontiert wurde. Thematisch behandelten die fachdidaktischen Blöcke das Unterrichten von Bruchrechnung in der sechsjährigen Grundschule. Die fachlichen und pädagogischen Blöcke wiesen jeweils spezifische inhaltliche Überschneidungen mit den fachdidaktischen Blöcken auf: Die fachlichen Blöcke befassten sich mit Brüchen und Bruchrechnung ohne die Vermittlung dieser Inhalte im Schulunterricht zu thematisieren. Die pädagogischen Blöcke widmeten sich allgemein dem Thema Lernen und Lehren, d.h. sie behandelten Repräsentationsformen, Schülervorstellungen, Lernschwierigkeiten und Lehrstrategien ohne Bezug zur Mathematik herzustellen. Entsprechend gab es keine inhaltliche Überschneidung zwischen fachlichen und pädagogischen Blöcken. Die zentrale abhängige Variable, das fachdidaktische Wissen, wurde vor, zwischen und unmittelbar nach den beiden Kursblöcken sowie sechs Wochen nach Ende der Kurse erfasst. Der Itempool zur Erfassung des fachdidaktischen Wissens umfasste 41 Items, welche bei starker Verankerung teilrotiert über die Messzeitpunkte hinweg präsentiert wurden. Im Zuge der inferenzstatistischen Auswertung wurden die Antworten der Lehramtsstudierenden einer Analyse mit einem explanatory item response model mit kreuzklassifizierten Zufallseffekten für Personen und Items unterzogen. Es konnten statistisch signifikante Effekte sowohl für die „Amalgam-“ als auch für die „Mitnahme-Bedingung“ nachgewiesen werden. Diese waren jedoch im Vergleich zur starken Kontrollgruppe, welche in beiden Kursblöcken explizit zum fachdidaktischen Wissen unterrichtet worden war, und auch im Vergleich zur „Unterstützungs-Bedingung“ vergleichsweise schwach ausgeprägt. Unterstützende Effekte des verfügbaren Fachwissens im Sinne einer besseren Nutzung von Lerngelegenheiten für fachdidaktisches Wissen konnten nicht nachgewiesen werden; in der starken Kontrollgruppe und in der „Unterstützungs-Bedingung“ erwarben die teilnehmenden Studierenden in vergleichbarem Ausmaß fachdidaktisches Wissen. In Hinblick auf die interne Validität unserer Studie bestätigten Ratings von Ausschnitten aus Videoaufnahmen der durchgeführten Kurse die Umsetzung der intendierten Kursinhalte. Ebenso wiesen vor, zwischen und nach den beiden Kursblöcken eingesetzte Tests zum fachlichen und pädagogischen Wissen nach, dass die Studierenden in den fachlichen und pädagogischen Blöcken entsprechende Wissensbestände aufbauten. (Projekt)

12

Mak-adapt - Messung allgemeiner Kompetenzen - adaptiv Das Verbundvorhaben CoSMed zielte auf die Modellierung und Messung beruflicher Kompetenzen Medizinischer Fachangestellter (MFA) und die Generierung komplexer Erklärungsmodelle zum Einfluss individueller und institutioneller Faktoren. Ein besonderer Stellenwert kam auch der Messung schulischer Kernkompetenzen als bedeutsamen Determinanten beruflicher Fachleistungen zu. In diesem Teilvorhaben wurden ein Domänenmodell und ein Kompetenzmodell ausdifferenziert sowie ein technologiebasiertes Assessmen ... Das Verbundvorhaben CoSMed zielte auf die Modellierung und Messung beruflicher Kompetenzen Medizinischer Fachangestellter (MFA) und die Generierung komplexer Erklärungsmodelle zum Einfluss individueller und institutioneller Faktoren. Ein besonderer Stellenwert kam auch der Messung schulischer Kernkompetenzen als bedeutsamen Determinanten beruflicher Fachleistungen zu. In diesem Teilvorhaben wurden ein Domänenmodell und ein Kompetenzmodell ausdifferenziert sowie ein technologiebasiertes Assessment zur Messung von berufsfachlichen Kompetenzen entwickelt. In einem ersten Schritt wurden die beruflichen Anforderungen an die Medizinischen Fachangestellten herausgearbeitet und typische Handlungsabläufe expliziert. Parallel erfolgte die Entwicklung einer webbasierten Unternehmenssimulation, in der möglichst authentische Arbeitsprozesse und Geschäftsprozesse von MFA abgebildet wurden. Für die Niveaumodellierung wurde jede Testaufgabe im Vorfeld multipel klassifiziert, um kognitionspsychologisch begründet Kompetenzstufen unterscheiden zu können. Die Auswertung der Daten der Haupterhebung erfolgte auf der Grundlage probabilistischer Testmodelle und weiterer Analyseverfahren, die die Herausarbeitung von Zusammenhängen zwischen beruflicher Fachkompetenz und individueller Merkmale sowie Kontextbedingungen erlauben. (DIPF/Projektträger)

13

BilWiss-UV - Ertrag und Entwicklung des universitären bildungswissenschaftlichen Wissens – Validierung eines Kompetenztests für Lehramtsstudierende Das Anliegen des Projekts „BilWiss-UV“ war es, einen Test zur Erfassung des bildungswissenschaftlichen Wissens zu optimieren und zweitens durch eine Reihe an Validierungsstudien seine Einsatzmöglichkeiten für Forschung und Bildungsmonitoring zu überprüfen. Damit baut das Vorhaben auf die beiden Vorgängerprojekte „Bildungswissenschaftliches Wissen und der Erwerb professioneller Kompetenz in der Lehramtsausbildung“ (BilWiss; BMBF-Förderkennzeichen 01JH0910) sowie „Die Bedeutung des bildungswisse ... Das Anliegen des Projekts „BilWiss-UV“ war es, einen Test zur Erfassung des bildungswissenschaftlichen Wissens zu optimieren und zweitens durch eine Reihe an Validierungsstudien seine Einsatzmöglichkeiten für Forschung und Bildungsmonitoring zu überprüfen. Damit baut das Vorhaben auf die beiden Vorgängerprojekte „Bildungswissenschaftliches Wissen und der Erwerb professioneller Kompetenz in der Lehramtsausbildung“ (BilWiss; BMBF-Förderkennzeichen 01JH0910) sowie „Die Bedeutung des bildungswissenschaftlichen Hochschulwissens für den Berufseinstieg von Lehrkräften“ (BilWiss-Beruf; BMBF-Förderkennzeichen 01PK11007) auf. In diesen Projekten wurde ein Wissenstest entwickelt, der das bildungswissenschaftliche Wissen von Lehramtsstudierenden und -absolvent(inn)en mit den 6 Dimensionen Unterrichtsgestaltung, Lernen und Entwicklung, Diagnostik und Evaluation, Bildungstheorie, Schule als Bildungsinstitution und Lehrerberuf als Profession erfasst.

14

MultiTex - Prozessbasierte Diagnostik des Textverstehens mit multiplen Dokumenten (Multiple Documents Literacy) Um den Anforderungen im Studium und im späteren Beruf gerecht zu werden, müssen Studierende aller Fächer in der Lage sein, sich selbständig in verschiedene Themenbereiche einzuarbeiten und entsprechend der Aufgabenstellungen Wesentliches heraus- und aufzuarbeiten. Gerade im universitären Kontext sind sie dabei üblicherweise mit mehreren Quellen und somit (Text-)Dokumenten konfrontiert (z. B. als Ergebnis einer Datenbank- oder Internetrecherche), die sich je nach Ansicht der Verfasser gegebenenfa ... Um den Anforderungen im Studium und im späteren Beruf gerecht zu werden, müssen Studierende aller Fächer in der Lage sein, sich selbständig in verschiedene Themenbereiche einzuarbeiten und entsprechend der Aufgabenstellungen Wesentliches heraus- und aufzuarbeiten. Gerade im universitären Kontext sind sie dabei üblicherweise mit mehreren Quellen und somit (Text-)Dokumenten konfrontiert (z. B. als Ergebnis einer Datenbank- oder Internetrecherche), die sich je nach Ansicht der Verfasser gegebenenfalls widersprechen und aus denen sie relevante Informationen herausfiltern und ggf. integrieren müssen. Diese Anforderungen gehen insofern über das Verstehen einzelner Texte hinaus, als dass Informationen aus verschiedenen Quellen miteinander in Beziehung gesetzt werden müssen und dafür ggf. eine Bewertung der Glaubwürdigkeit der Informationen vorgenommen werden muss. Im Projekt MultiTex wurde ein computerbasiertes Instrument zur Erfassung der Kompetenz des Textverstehens multipler Dokumente (Multiple Documents Comprehension, MDC) für Studierende entwickelt und zum Teil validiert. Ein besonderer methodischer Fokus lag dabei auf der Verwendung zusätzlicher prozessbasierter Diagnostik. Dementsprechend wurden im Vorhaben prozessbasierte Maße zum einen als zusätzliche diagnostische Information genutzt, zum anderen werden sie für die Identifikation von Bearbeitungsstrategien sowie für die Überprüfung von Theorien des multiplen Textverstehens verwendet. (Projekt)

15

EVON - Evaluating Online Information Der computerbasierte EVON-Test wurde im Auftrag des Erasmus+ Projekts ILO (Information Literacy Online, https://informationliteracy.eu/) in sechs Sprachen entwickelt (EN, DE, ES, CA, HR, SL). Seitdem wird er im multilingualen Massive Open Online Course (MOOC) von ILO als Self-Assessment-Instrument eingesetzt. Der EVON-Test umfasst acht Items und ein Tutorial, die eine Suchmaschinenumgebung simulieren. Testteilnehmende werden bei der Bearbeitung der Items gebeten, für eine vorgegebene Suchaufgabe ... Der computerbasierte EVON-Test wurde im Auftrag des Erasmus+ Projekts ILO (Information Literacy Online, https://informationliteracy.eu/) in sechs Sprachen entwickelt (EN, DE, ES, CA, HR, SL). Seitdem wird er im multilingualen Massive Open Online Course (MOOC) von ILO als Self-Assessment-Instrument eingesetzt. Der EVON-Test umfasst acht Items und ein Tutorial, die eine Suchmaschinenumgebung simulieren. Testteilnehmende werden bei der Bearbeitung der Items gebeten, für eine vorgegebene Suchaufgabe den Link bzw. die Webseite zu identifizieren, die sowohl relevante als auch vertrauenswürdige Informationen zur Lösung der Suchaufgabe enthalten. Über den EVON-Test werden somit Bewertungsfähigkeiten im Umgang mit Online-Informationen abgebildet. Das gleichnamige Projekt EVON ist eine Zusatzstudie, die das Projekt ILO erweitert und zur Pilotierung und ersten Validierung des deutschsprachigen Instruments durchgeführt wurde. Das Projekt umfasst Daten aus einer etwa halbstündigen Online-Testung mit Studierenden. Dabei wurden sowohl die Testergebnisse der Teilnehmenden (Ergebnisdaten) als auch ihre Interaktionen mit dem Testsystem als Klickdaten mit Zeitstempeln aufgezeichnet (Logdaten). Anhand dieser Daten wurde die deutschsprachige Version des EVON-Tests skaliert und die Skalierungsergebnisse wurden zusammen mit einer ersten Validierung open access veröffentlicht (s.u.).

16

CavE-ICT - Computergestützte, adaptive und verhaltensnahe Erfassung informations- und kommunikationstechnologiebezogener Fähigkeiten (ICT-Skills) Ziel des Projekts CavE-ICT war es, eine stärkere theoretische Verankerung für das Konstrukt ICT-Skills (Informations- und kommunikationstechnologiebezogene Fähigkeiten) zu schaffen und darauf aufbauend einen verhaltensbasierten ICT-Skills-Test für 15-jährige Schülerinnen und Schüler zu entwickeln und zu erproben. Es wurden 70 simulationsbasierte Items mit dem Autorenwerkzeug CBA ItemBuilder implementiert. Dieser wurde an 766 15-jährigen Schülerinnen und Schülern kalibriert. 64 Items wurden für d ... Ziel des Projekts CavE-ICT war es, eine stärkere theoretische Verankerung für das Konstrukt ICT-Skills (Informations- und kommunikationstechnologiebezogene Fähigkeiten) zu schaffen und darauf aufbauend einen verhaltensbasierten ICT-Skills-Test für 15-jährige Schülerinnen und Schüler zu entwickeln und zu erproben. Es wurden 70 simulationsbasierte Items mit dem Autorenwerkzeug CBA ItemBuilder implementiert. Dieser wurde an 766 15-jährigen Schülerinnen und Schülern kalibriert. 64 Items wurden für den endgültigen Itempool des ICT-Skills-Test selektiert, welcher eine Reliabilität von .80 erreicht. Eine verkürzte Version des ICT-Skills Tests, wie auch ein adaptiver Testalgorithmus, wurden erprobt und die Validität der intendierten Testwerteinterpretation wurde untersucht.

17

COINS - Construction of instructionally sensitive test items Tests, beziehungsweise Testitems, werden als instruktionssensitiv bezeichnet, wenn diese in der Lage sind, Wirkungen von Unterricht auf die Leistungen der Schüler*innen abzubilden. Erfüllen die Tests diese Bedingung nicht genügend, kann Unterricht mit großem Zeitaufwand und in hoher Qualität durchgeführt werden, ohne dass sich dies in den Testleistungen der Schülerinnen und Schüler widerspiegelt. Bislang gibt es wenige Erkenntnisse darüber, wie instruktionssensitive Testaufgaben für einen Lei ... Tests, beziehungsweise Testitems, werden als instruktionssensitiv bezeichnet, wenn diese in der Lage sind, Wirkungen von Unterricht auf die Leistungen der Schüler*innen abzubilden. Erfüllen die Tests diese Bedingung nicht genügend, kann Unterricht mit großem Zeitaufwand und in hoher Qualität durchgeführt werden, ohne dass sich dies in den Testleistungen der Schülerinnen und Schüler widerspiegelt. Bislang gibt es wenige Erkenntnisse darüber, wie instruktionssensitive Testaufgaben für einen Leistungstest gezielt entwickelt werden können. Im Besonderen fehlt es an Wissen, welche Merkmale einer Testaufgabe ausschlaggebend für deren Instruktionssensitivität sind. Ziel des COINS-Projekts ist es, zentrale Merkmale instruktionssensitiver Testitems zu identifizieren, die in der Entwicklung von standardisierten Leistungstests berücksichtigt werden können.

18

TPL-basics - Bedingungen des Erwerbs von Handlungswissen zum Lösen technischer Probleme Beim Umgang mit technischen Alltagsgeräten – oder beim technischen Problemlösen (TPL) – können die oft zahlreichen Funktionen und nicht immer intuitiv verständlichen Bedienelemente eine Herausforderung darstellen. Das Projekt „TPL-basics“ untersucht, (1) in welcher Form Wissen über die Bedienung von Alltagsgeräten erworben wird und (2) welche Bedingungen den Erfolg einer späteren Anwendung dieses Wissens beeinflussen. Um diese Fragen zu beantworten, wurde im Projekt ein computerbasierter Test en ... Beim Umgang mit technischen Alltagsgeräten – oder beim technischen Problemlösen (TPL) – können die oft zahlreichen Funktionen und nicht immer intuitiv verständlichen Bedienelemente eine Herausforderung darstellen. Das Projekt „TPL-basics“ untersucht, (1) in welcher Form Wissen über die Bedienung von Alltagsgeräten erworben wird und (2) welche Bedingungen den Erfolg einer späteren Anwendung dieses Wissens beeinflussen. Um diese Fragen zu beantworten, wurde im Projekt ein computerbasierter Test entwickelt, der Testpersonen eine Reihe von Gerätesimulationen vorlegt. Mit diesem TPL-Test kann untersucht werden, wie erwachsene Personen mit technischen Geräten des Alltags umzugehen lernen und anschließende Bedienaufgaben lösen.