Research data and study information about „Keywords: Technologiebasiertes Testen” (8)

Modellierung und Messung domänenspezifischer Problemlösekompetenz bei Industriekaufleuten (DomPL-IK)

Das Verbundprojekt DomPL-IK modellierte und erfasste die Problemlösekompetenz angehender Industriekaufleute im dritten Ausbildungsjahr exemplarisch für das Handlungsfeld Planung, Steuerung und Kontrolle von Geschäftsprozessen (Controlling). Die Qualität der Bearbeitung praxisnaher und praxisrelevanter Problemstellungen wurde dabei mittels einer technologiebasierten Kompetenzerhebung bestimmt. (...) Um die Kompetenz zur Problemlösung valide zu messen, sollten nicht nur die Ergebnisse, sondern auc ... Das Verbundprojekt DomPL-IK modellierte und erfasste die Problemlösekompetenz angehender Industriekaufleute im dritten Ausbildungsjahr exemplarisch für das Handlungsfeld Planung, Steuerung und Kontrolle von Geschäftsprozessen (Controlling). Die Qualität der Bearbeitung praxisnaher und praxisrelevanter Problemstellungen wurde dabei mittels einer technologiebasierten Kompetenzerhebung bestimmt. (...) Um die Kompetenz zur Problemlösung valide zu messen, sollten nicht nur die Ergebnisse, sondern auch die entsprechenden Prozesse sichtbar gemacht werden. Hierbei wurden neben den kognitiven Voraussetzungen (Wissen) auch motivational-emotionale Aspekte berücksichtigt. Sie trugen dazu bei, die Leistung der Auszubildenden sowohl im Test als auch in der Praxis abzubilden. Resultat ist ein aus mehreren Problemszenarien bestehender Test, der es ermöglichen soll, die entsprechenden Kompetenzen auf unterschiedlichen Stufen zu erfassen und die gewonnenen Erkenntnisse für die Praxis zu nutzen. (DIPF/Projektträger)

CoBALIT - Kompetenzmessung aus Arbeits- und Geschäftsprozessperspektive

Im Verbundprojekt CoBALIT wurden berufliche und berufsnahe Kompetenzen in ausgewählten nationalen und internationalen kaufmännischen Ausbildungsgängen modelliert und gemessen. Auf Basis der empirischen Befunde wurden unter Rückgriff auf soziale und institutionelle Kontextfaktoren Erklärungsmodelle entworfen, um Aussagen insbesondere im Hinblick auf berufliche Lernprozesse und Instruktionsprozesse treffen zu können. Im Zentrum der Teilvorhaben standen einerseits die Entwicklung eines technologieb ... Im Verbundprojekt CoBALIT wurden berufliche und berufsnahe Kompetenzen in ausgewählten nationalen und internationalen kaufmännischen Ausbildungsgängen modelliert und gemessen. Auf Basis der empirischen Befunde wurden unter Rückgriff auf soziale und institutionelle Kontextfaktoren Erklärungsmodelle entworfen, um Aussagen insbesondere im Hinblick auf berufliche Lernprozesse und Instruktionsprozesse treffen zu können. Im Zentrum der Teilvorhaben standen einerseits die Entwicklung eines technologiebasierten Instruments, das dem Prinzip eines "authentic assessments" folgt, sowie andererseits die Modellierung und Messung von Kompetenzen aus der Perspektive von kaufmännischen Arbeitsprozessen und Geschäftsprozessen. Das Vorhaben verteilte sich auf sieben umfassende Arbeitspakete, die sich als komplexes Designmodell und Assessmentmodell interpretieren lassen: (1) Analyse und Spezifikationen kaufmännischer Geschäftsprozesse; (2) Grundlagenlegung für die Validität der zu erfassenden Konstrukte im Hinblick auf kaufmännische Geschäftsprozesse; (3) Entwicklung der Tests und Items sowie die Entwicklung möglicher Antwortformate im Rahmen der ALUSIM-Umgebung; (4) Pilotierung der Tests und Adaptation der Testitems vor dem Hintergrund der Ergebnisse; (5) Durchführung der Hauptstudie sowie im Anschluss daran (6) die Auswertung und Aufbereitung der Ergebnisse. Hierbei wurden verschiedene psychometrische Modelle geprüft. (7) Verbundkoordination (einschließlich der Steuerung der Wissenschaft-Praxis-Kooperation). (...) Die im Rahmen des Teilvorhabens konstruierte und validierte ALUSIM-Testumgebung kann als Personal Learning Environment (PLE) sowohl für Assessmentprozesse als auch Instruktionsprozesse genutzt werden. (DIPF/Projektträger)

CoBALIT - Transfer der Assessmentverfahren auf andere kaufmännische Berufe und Tätigkeitsbereiche

Im Verbundprojekt CoBALIT wurden berufliche und berufsnahe Kompetenzen in ausgewählten nationalen und internationalen kaufmännischen Ausbildungsgängen modelliert und gemessen. Auf Basis der empirischen Befunde wurden unter Rückgriff auf soziale und institutionelle Kontextfaktoren Erklärungsmodelle beruflichen Kompetenzaufbaus entworfen, um Aussagen insbesondere im Hinblick auf berufliche Lernprozesse und Instruktionsprozesse treffen zu können. (...) Die psychometrische Modellierung der berufsfac ... Im Verbundprojekt CoBALIT wurden berufliche und berufsnahe Kompetenzen in ausgewählten nationalen und internationalen kaufmännischen Ausbildungsgängen modelliert und gemessen. Auf Basis der empirischen Befunde wurden unter Rückgriff auf soziale und institutionelle Kontextfaktoren Erklärungsmodelle beruflichen Kompetenzaufbaus entworfen, um Aussagen insbesondere im Hinblick auf berufliche Lernprozesse und Instruktionsprozesse treffen zu können. (...) Die psychometrische Modellierung der berufsfachlichen Kompetenzen erfolgte auf der Grundlage probabilistischer Testmodelle. In dieser Teilstudie wiederum standen Fragen der Übertragbarkeit von Testinstrumenten, die für einen spezifischen Ausbildungsberuf, hier dem Beruf des Industriekaufmanns, entwickelt wurden, auf andere Berufe desselben Berufsfeldes im Zentrum des Forschungsvorhabens. Zu den quantitativ bedeutsamen kaufmännischen Berufen zählte [in diesem Kontext speziell] der Beruf des Kaufmanns für Spedition und Logistikdienstleistungen. (...) Ziel des Teilprojektes war es, gemeinsame Kompetenzbereiche in den beiden zur Diskussion stehenden Ausbildungsberufen zu identifizieren, ergänzend zu den Testaufgaben für Industriekaufleute berufsspezifische Aufgaben für die Speditionsbranche und Logistikbranche zu entwickeln und zu prüfen, inwiefern zentrale kaufmännische Anforderungen in verschiedenen wirtschaftlichen Kontexten berufsübergreifend relevant sind. Im Rahmen der psychometrischen Modellierungen wurde vor allem den Fragen der spezifischen Objektivität nachgegangen. (...) Zum Arbeitsplan gehörten curriculare Analysen und Vergleiche sowie die Testorganisation und Testdurchführungen in Niedersachsen. In geringem Umfang waren auch Testadaptationen und Pilotierungen für die erweiterten bzw. neuen Testkomponenten erforderlich. Die Testanalysen und Auswertungen umfassten statistische Modellierungen, insbesondere Prüfung von angemessenen Testmodellen, Itemanalysen sowie die Berichtslegung und Dokumentation der Testitems. (...) Die im Rahmen des Teilvorhabens konstruierte und validierte ALUSIM-Testumgebung zum Transfer der Assessmentverfahren auf andere kaufmännische Berufe und Tätigkeitsbereiche kann als Personal Learning Environment (PLE) sowohl für Assessmentprozesse als auch Instruktionsprozesse genutzt werden. (DIPF/Projekt/Projektträger)

KAT-HS - Auswirkungen einer computerisierten teiladaptiven Klausur auf das emotionale Erleben von Klausuren seitens Studierender

Im Projekt KAT-HS wurden sich aus der Bologna-Reform ergebende Herausforderungen für das Prüfen im Hochschulbereich wissenschaftlich bearbeitet. Kriteriumsorientiertes computerisiertes adaptives Testen wurde als Methode zur Konstruktion, Administration und Auswertung von Hochschulklausuren konzeptuell entwickelt, beispielhaft im universitären Lehrbetrieb erprobt, anhand von Rückmeldungen verschiedener Stakeholdergruppen (Studierende, Dozentinnen und Dozenten, Studiendekaninnen und Studiendekane, ... Im Projekt KAT-HS wurden sich aus der Bologna-Reform ergebende Herausforderungen für das Prüfen im Hochschulbereich wissenschaftlich bearbeitet. Kriteriumsorientiertes computerisiertes adaptives Testen wurde als Methode zur Konstruktion, Administration und Auswertung von Hochschulklausuren konzeptuell entwickelt, beispielhaft im universitären Lehrbetrieb erprobt, anhand von Rückmeldungen verschiedener Stakeholdergruppen (Studierende, Dozentinnen und Dozenten, Studiendekaninnen und Studiendekane, IT-Verantwortlich) evaluiert und auf Hinderungsgründe einer erfolgreichen Implementation hin untersucht. Darüber hinaus wurden verschiedene unterstützende Elemente wie eine Fortbildungsveranstaltung, ein Online-Portal zum gegenseitigen Austausch von Nutzerinnen und Nutzern des Konzepts und eine frei verfügbare Testsoftware entwickelt und im Hinblick auf ihre Wirksamkeit geprüft. Zusammenfassend wurde durch das Projekt ein empirisch erprobtes, innovatives Verfahren zur computerbasierten Messung von Kompetenzen für eine breite Nutzung an deutschen Hochschulen zugänglich gemacht. (IQB/ Projekt)

KAT-HS - Kalibrierungsstudie

Ko-NaMa - Simulationsbasierte Messung und Validierung eines Kompetenzmodells für das Nachhaltigkeitsmanagement

In der Hochschulbildung wird zunehmend gefordert, Fragen der Nachhaltigkeit systematisch in die Vermittlung betriebswirtschaftlicher Kompetenzen bei Studierenden der BWL zu integrieren. In dem Verbundprojekt Ko-NaMa wurde ein theoretisch begründetes und empirisch herausgearbeitetes Kompetenzstrukturmodell für das betriebliche Nachhaltigkeitsmanagement in der wirtschafts-wissenschaftlichen Hochschulbildung validiert. Dazu wurden bereits vorliegende Instrumente zur Kompetenzmessung um technologieb ... In der Hochschulbildung wird zunehmend gefordert, Fragen der Nachhaltigkeit systematisch in die Vermittlung betriebswirtschaftlicher Kompetenzen bei Studierenden der BWL zu integrieren. In dem Verbundprojekt Ko-NaMa wurde ein theoretisch begründetes und empirisch herausgearbeitetes Kompetenzstrukturmodell für das betriebliche Nachhaltigkeitsmanagement in der wirtschafts-wissenschaftlichen Hochschulbildung validiert. Dazu wurden bereits vorliegende Instrumente zur Kompetenzmessung um technologiebasierte Testformate erweitert. Damit konnten über authentische Unternehmenssituationen auch Dispositionen zur Interpretation von Situationen, Perspektivenübernahme und Entscheidungsfindung erfasst werden. In den Validierungsstudien standen folgende Aspekte im Zentrum: die curriculare Validität über Analysen von Studienmaterialien und eine Hochschullehrer- und Studierendenbefragung sowie die externe Validität über eine Unternehmensbefragung zur Angemessenheit der Testinhalte und die Konstruktvalidität. Für die Überprüfung der Konstruktvalidität wurden die verschiedenen Wissensbereiche (allgemeines Wissen über Nachhaltigkeit, deklaratives betriebswirtschaftliches Wissen und Begründungswissen sowie strategisches Wissen im betrieblichen Nachhaltigkeitsmanagement) konfirmatorisch auf konvergente und divergente Validität geprüft. Um die Interpretation der Testwerte als Learning Outcomes der Hochschulausbildung zu validieren, wurden Analysen zur Instruktionssensitivität der verschiedenen Dimensionen durchgeführt. Die Testpopulation waren Studierende der Wirtschaftswissenschaften ab dem 3. Bachelorsemester.(IQB/Projekt)

TeKoP - Quantitative Erprobungsstudie

Das Projekt TeKoP hatte zum Ziel, Prüfungspersonal und Lehrkräfte für die Ausbildungsberufe Industriekaufleute und Kaufleute für Büromanagement mit einem Training in die Lage zu versetzen, selbst kompetenzorientierte und technologiebasierte Prüfungsaufgaben zu erstellen. Die Teilnehmenden wurden geschult, kompetenzorientierte und technologiebasierte Prüfungsaufgaben für Industriekaufleute zu erstellen und die Qualität der Aufgaben anhand von Gütekriterien zu überprüfen. Weiterhin wurde untersuch ... Das Projekt TeKoP hatte zum Ziel, Prüfungspersonal und Lehrkräfte für die Ausbildungsberufe Industriekaufleute und Kaufleute für Büromanagement mit einem Training in die Lage zu versetzen, selbst kompetenzorientierte und technologiebasierte Prüfungsaufgaben zu erstellen. Die Teilnehmenden wurden geschult, kompetenzorientierte und technologiebasierte Prüfungsaufgaben für Industriekaufleute zu erstellen und die Qualität der Aufgaben anhand von Gütekriterien zu überprüfen. Weiterhin wurde untersucht, ob die Teilnehmenden kompetenzorientierte und technologiebasierte Prüfungsaufgaben auch für den Beruf Kaufleute für Büromanagement erstellen können. Die entwickelten Aufgaben für beide Berufe wurden bei Auszubildenden erprobt und hinsichtlich ihrer diagnostischen Güte beurteilt. Im Detail: Gegenstand der Erprobungsstudie war die Evaluation von problemlösekompetenzorientierten und technologiebasierten Aufgaben für die zwei kaufmännische Ausbildungsberufe Industriekaufleute und Kaufleute für Büromanagement. Das vorrangige Ziel lag neben der Prüfung der Aufgaben in der Itemparameterschätzung (Rasch-Modellierung). Neben der Aufgabenbearbeitung wurden weitere Daten (u. a. zur Sozioökonomie, zur Ausbildung, zu bestehenden Kompetenzen) über einen Fragebogen erhoben. Die Erhebungen wurden mit Berufsschulklassen an kaufmännischen Schulen verschiedener Standorte in Deutschland durchgeführt. Gegenstand der Trainingsstudie war die Evaluation des zuvor entwickelten Trainings zur Förderung der problemlösekompetenzorientierten und technologiebasierten Aufgabenerstellung für berufliches/berufsschulisches Ausbildungspersonal. Das Ziel der Erhebung lag in der Bewertung der Wirksamkeit des eingesetzten Trainings auf den Wissens- und Kompetenzzuwachs im Verlauf des Trainings. Im Rahmen der Erhebung wurden Daten zur Sozioökonomie, zur Erfahrungen mit / der Einstellung zu Lernmanagementsystemen, zur Trainingserwartung, zu einem Wissenstest zur problemhaltigen Aufgabenmerkmalen und Gütekriterien, zur Selbsteinschätzung der Medienkompetenz sowie weitere Daten (u. a. Technologieaffinität und Teilnehmerreaktion) erhoben. (Projekt/IQB)