König, Johannes ORCID: 0000-0003-3374-9408, Klemenz, Stefan ORCID: 0000-0003-3286-7381, Weyers, Jonas ORCID: 0000-0003-1804-4434 and Bremerich-Vos, Albert ORCID: 0000-0002-5131-3256 (2022). Wissenstest zum Sprach- und Textverständnis – Dokumentation zum Studiport-Test und Online-Selbsttestmodul für Studierende und Studienanwärter*innen. Documentation.

Full text not available from this repository.

Abstract

Im Projekt „Studiport-Test: Sprach- und Textverständnis – Testtheoretische Grundlegung und Pilotierung“ (ST:ST) wurde ein Testinstrument zur Erfassung des Wissens zum Sprach- und Textverständnis von Studierenden bzw. Studieninteressierten als Facette ihrer Studierfähigkeit entwickelt und erprobt. Der Test soll (angehenden) Studierenden als Online-Self-Assessment zur Verfügung stehen, sodass sie ihre sprachlichen Fähigkeiten überprüfen und – falls notwendig – passgenaue Förderangebote in Anspruch nehmen können. Auf diese Weise sollen mögliche Benachteiligungen zu Studienbeginn aufgrund gering ausgeprägter sprachlicher Fähigkeiten reduziert werden. Die Testinhalte verteilen sich auf sechs Dimensionen: (1) Rechtschreibung, (2) Kommaschreibung, (3) Grammatik, (4) Wortwahl, (5) Lesestrategien sowie (6) Textinhalte und -strukturen. Die Testitems der Bereiche (1) bis (4) fokussieren die Überarbeitung von Texten im Hinblick auf sprachliche Korrektheit und sind somit der Textproduktion zuzuordnen. Die Testitems der Bereiche (5) und (6) beziehen sich demgegenüber auf die Rezeption von Texten. Die Gestaltung des Tests orientiert sich somit an sprachlichen Anforderungssituationen, die typisch für das Studium sind. Das Instrument besteht aus insgesamt 235 Items, die sich auf die unterschiedlichen Dimensionen verteilen und ausschließlich geschlossene Antwortformate aufweisen (z. B. Single-Choice-Items, dichotomes Antwortformat, Wörter unterstreichen, Zuordnungsaufgaben). Die Pilotierung erfolgte mit einer Stichprobe von n = 841 Universitäts- bzw. Fachhochschulstudierenden zu Beginn ihres Bachelorstudiums. Anhand der Pilotierungsstichprobe konnte mittels Item Response Theory (IRT) Skalierungsmodellen hinreichende Reliabilität aller sechs Teilbereiche gezeigt werden (EAP-Reliabilität > .65). Ferner zeigten sich erwartungskonforme Korrelationen mit unterschiedlichen assoziierbaren Merkmalen, beispielsweise zum Selbstkonzept im Fach Deutsch. Der Test eignet sich somit für den Einsatz mit angehenden bzw. beginnenden Studierenden diverser Studienfächer und kann als Paper-Pencil-Test bzw. Online-Verfahren implementiert werden. Die vorliegende Dokumentation umfasst neben Informationen zum Projekt und zum Testkonzept insbesondere alle genutzten Items inklusive Kodieranleitung. Darüber hinaus werden ein Rotationsdesign mit 12 Testheften, das einen forschungsökonomischen Einsatz des Instruments erlaubt, sowie die Umsetzung des Instruments als Online-Self-Assessment beschrieben. Die Dokumentation ist auf Anfrage verfügbar bei Prof. Dr. Johannes König (johannes.koenig@uni-koeln.de).

Item Type: Preprints, Working Papers or Reports (Documentation)
Translated title:
TitleLanguage
Knowledge test for German language skills – Documentation of the Studiport-Test and its implementation as online self-assessment for (prospective) university studentsEnglish
Translated abstract:
AbstractLanguage
In the project “Studiport-Test: German language skills – theoretical foundations and pilot study” (ST:ST), a test instrument has been developed and implemented to assess (prospective) students’ German language skills as facet of their ability to study. The test shall be available as online self-assessment so that (prospective) university students can check their language skills and—if necessary—can make use of suitable self-learning courses. This procedure might prevent university students from disadvantages at the beginning of their studies. The test content comprises six dimensions: (1) orthography, (2) comma placement, (3) grammar, (4) choice of words, (5) reading strategies, and (6) text content and structures. The test items of the dimensions (1) to (4) address the revision of texts with regard to linguistic correctness and, thus, focus on text production. The dimensions (5) and (6) are, by contrast, related to the reception of texts. As a consequence, the test design was based on the language-related requirements of specific situations typical for higher education. The entire instrument encompasses 235 items, which are distributed across the six dimensions and which exclusively consist of closed item formats (e.g., single choice items, dichotomous items, underlining words, matching tasks). A pilot study was conducted with a sample of n = 841 students at the beginning of their bachelor studies enrolled in one university and one university for applied sciences. Regarding this sample, item response theory (IRT) scaling models revealed sufficient reliability estimates for all six subscales (EAP-reliability > .65). Moreover, empirical relationships to associated variables were in line with theoretical presumptions, for example, regarding the students’ self-concept with respect to German as school subject. Consequently, the test is suitable for the use with prospective and beginning university students of diverse study programs and can be implemented as paper pencil test or as online-based assessment. This documentation encompasses information on the research project and the test concept, and, especially, presents all items used including coding instructions. In addition, a balanced incomplete block design with 12 test booklets is described allowing for efficiently using the test for research purposes. Finally, the implementation of the instrument as online self-assessment is briefly presented. The documentation is available on request (contact: Prof. Dr. Johannes König; johannes.koenig@uni-koeln.de).English
Creators:
CreatorsEmailORCIDORCID Put Code
König, Johannesjohannes.koenig@uni-koeln.deorcid.org/0000-0003-3374-9408UNSPECIFIED
Klemenz, Stefanstefan.klemenz@uni-koeln.deorcid.org/0000-0003-3286-7381UNSPECIFIED
Weyers, Jonasjonas.weyers@uni-koeln.deorcid.org/0000-0003-1804-4434UNSPECIFIED
Bremerich-Vos, Albertalbert.bremerich-vos@uni-due.deorcid.org/0000-0002-5131-3256UNSPECIFIED
URN: urn:nbn:de:hbz:38-642670
Number of Pages: 106
Date: November 2022
Language: German
Faculty: Faculty of Human Sciences
Divisions: Faculty of Human Sciences > Department Erziehungs- und Sozialwissenschaften
Subjects: Education
Germanic
Uncontrolled Keywords:
KeywordsLanguage
Testinstrument; Sprach- und Textverständnis; Studierfähigkeit; Online Self-AssessmentGerman
Test instrument; German language skills; Ability to study; Online self-assessmentEnglish
Funders: Ministerium für Kultur und Wissenschaft des Landes Nordrhein-Westfalen
Projects: Testtheoretische Grundlegung und Pilotierung des Studiport-Wissenstests zum Sprach- und Textverständnis (ST:ST)
Refereed: No
URI: http://kups.ub.uni-koeln.de/id/eprint/64267

Downloads

Downloads per month over past year

Export

Actions (login required)

View Item View Item