AUTHOR
Safrudiannur

TITLE
Measuring Teachers’ Beliefs Quantitatively: Criticizing the Use of Likert Scale and Offering a New Approach

ABSTRACT
The motivation of this PhD thesis that consists of several studies is to develop and provide a questionnaire for measuring beliefs for large samples of teachers, particularly for the Indonesian context. A review of the literature has shown that most studies investigating teachers’ beliefs with large samples of teachers employ Likert scale (LS) instruments. Some researchers question and criticize the accuracy of LS instruments for measuring beliefs since LS items have weaknesses: (i) they may amplify social desirability, (ii) they may reduce the willingness of respondents to make differentiation between the items, and (iii) they often provide less or no contexts whereas social contexts at school may influence teachers’ beliefs and practices. Therefore, it is a need to create a new questionnaire, which may overcome those three weaknesses.
Before the creation of that instrument, I conducted two preliminary studies. The role of the first preliminary study is to have a first insight into the ways of teaching and learning related to problem solving implemented by Indonesian teachers. In the study, I conducted a content analysis to examine the role of problem solving in the intended learning process suggested by the Indonesian curriculum. The results show that the intended learning process seems to only highlight problem solving as a goal (teaching and learning mathematics to solve problems) instead of problem solving as a method (learning mathematics via problem solving).
The second preliminary study aims at investigating Indonesian teachers’ beliefs about mathematics as well as teaching and learning of mathematics and problem solving (in the sense of teaching and learning to solve problems, as suggested by the results of the first preliminary study). Two methods for measuring beliefs were conducted in this study: (1) by using interviews along with observations and (2) by using a LS instrument. The results show that the two teachers’ responses to the LS instrument seem to not reflect their beliefs interpreted from the interview. I suppose that the tendency of answering according to social desirability and not elaborating social contexts at school might distort the responses.
The results of the second preliminary study confirm that the weaknesses of LS items might distort teachers’ responses. Therefore, the design of the new questionnaire, which is for studying teachers’ beliefs on their practice (called the TBTP), aims at overcoming the weaknesses of LS items. In the TBTP, I employed rank-then-rate items (to minimize the first and second weaknesses) and considered that social contexts at school related to students’ abilities may affect teachers’ beliefs and practices (to minimize the third weakness).
After the construction of the TBTP, I conducted three validation studies. In the first validation study, I used the TBTP to measure beliefs of two teachers involved in the second preliminary study. The purpose is to evaluate whether teachers’ beliefs obtained with the TBTP are close to the beliefs interpreted by using interviews along with observations. The results show that teachers’ responses to the TBTP about mathematics seem to be consistent with their beliefs about mathematics interpreted from their interviews. Furthermore, their responses to the TBTP about their beliefs about teaching and learning also seem to be consistent with their beliefs (interpreted from the interviews) about the appropriate way to teach mathematics and problem solving in their classes. 
In the second validation study, I asked two other teachers to answer the TBTP and then interviewed them and observed one lesson of each of them. The purpose of this study is to investigate how teachers’ beliefs and the social context at school interact and may affect teachers’ practices. The results show that teachers’ responses to the TBTP indicate the effect of the social contexts related to students’ abilities on teachers’ beliefs. The two teachers that participated in the study seem to elicit different beliefs about teaching and learning in different contexts of students’ abilities (confirmed by the two teachers’ interviews). Furthermore, I also found that students’ abilities may affect the connection between beliefs about the nature of mathematics and teachers’ practice. In the cases of the two teachers, the connection can be seen in the context of low ability students rather than in the context of high ability students (confirmed by the two teachers’ interviews and lessons). 
In the third validation study, I used the TBTP to measure beliefs of 43 Indonesian teachers. The purpose of this study is to investigate the influence of students’ abilities on the relationship between teachers’ beliefs about mathematics and beliefs about teaching and learning on 43 teachers. The results show that teachers’ responses to the TBTP indicate that teachers seem to elicit different beliefs about teaching and learning in different contexts of students’ abilities. Furthermore, the results show that teachers’ beliefs about mathematics correlate with their beliefs about teaching and learning in the context of low ability students, but not in the context of high ability students. 
Overall, the results of all validation studies indicate that the TBTP successfully allows us to have more nuanced responses reflecting the interplay between teachers’ beliefs and teaching contexts focusing on students’ abilities on teachers’ practices.

KURZZUSAMMENFASSUNG 
Die Motivation dieser Doktorarbeit, die aus mehreren Studien besteht, ist die Entwicklung und Bereitstellung eines Fragebogens zur Messung von Überzeugungen für große Stichproben von Lehrerinnen und Lehrern, insbesondere für den indonesischen Kontext. Das Literaturstudium hat ergeben, dass die meisten Studien, die die Überzeugungen von Lehrerinnen und Lehrern mit einer großen Anzahl von Probanden untersuchen, Instrumente mit Likert-Skalen (LS) verwenden. Einige Forscher hinterfragen und kritisieren die Genauigkeit von LS-Instrumenten zur Messung von Überzeugungen, da LS-Items Schwächen aufweisen: (i) sie können die soziale Erwünschtheit verstärken, (ii) sie können die Bereitschaft der Befragten verringern, zwischen den Items zu unterscheiden, und (iii) sie bieten oft wenig oder keine Kontextbezüge, obwohl soziale Kontexte in der Schule die Überzeugungen und Praktiken der Lehrenden beeinflussen können. Daher ist es notwendig, einen neuen Fragebogen zu entwickeln, der diese drei Schwächen beseitigen kann.
Vor der Erstellung des Instruments habe ich zwei Vorstudien durchgeführt. Die Rolle der ersten Vorstudie besteht darin, einen ersten Einblick in die Lehr- und Lernmethoden im Zusammenhang mit dem Problemlösen zu erhalten, die von indonesischen Lehrerinnen und Lehrern umgesetzt werden. In der Studie habe ich eine Inhaltsanalyse durchgeführt, um die Rolle des Problemlösens für den angestrebten Lernprozess zu untersuchen, die der indonesische Lehrplan vorschlägt. Die Ergebnisse zeigen, dass der angestrebte Lernprozess das Problemlösen nur als Ziel zu markieren scheint (Lehren und Lernen der Mathematik für das Problemlösen) anstelle des Lernens durch Problemlösen (Problemlösen als Methode).
Die zweite Vorstudie zielt darauf ab, die Überzeugungen der indonesischen Lehrerinnen und Lehrer über Mathematik sowie das Lehren und Lernen von Mathematik und das Lösen von Problemen (im Sinne von Lehren und Lernen, um Probleme zu lösen, wie die Ergebnisse der ersten Vorstudie nahelegen) zu untersuchen. In dieser Studie wurden zwei Methoden verwendet, um Überzeugungen zu messen: (1) durch Interviews und Unterrichtsbeobachtungen; und (2) durch die Verwendung eines LS-Instruments. Die Ergebnisse zeigen, dass die Antworten der beiden Lehrer auf das LS-Instrument offenbar nicht ihre Überzeugungen widerspiegeln, die aus den Interviews interpretiert wurden. Ich gehe davon aus, dass die Tendenz, nach sozialer Erwünschtheit zu antworten und keine sozialen Zusammenhänge in der Schule zu berücksichtigen, die Antworten beeinflussen und verzerren könnte.
Die Ergebnisse der zweiten Vorstudie bestätigen, dass die Schwächen der LS-Items die Reaktionen der Lehrer verzerren könnten. Daher zielt die Erstellung des neuen Fragebogens, der die Überzeugungen der Lehrer von ihrer Praxis (Teachers’ Beliefs on Their Practice, Kurzform: TBTP) untersucht, darauf ab, die Schwächen von LS-Items zu überwinden. Im TBTP habe ich Rank-then-Rate Items verwendet (um die ersten und zweiten Schwächen zu minimieren) und berücksichtige, dass soziale Kontexte in der Schule, bezogen auf die Fähigkeiten der Schüler, die Überzeugungen und Handlungen der Lehrer beeinflussen können (um die dritte Schwäche zu minimieren).
Nach der Erstellung des TBTP habe ich drei Pilotstudien durchgeführt. In der ersten Pilotstudie habe ich den TBTP verwendet, um die Überzeugungen der an der zweiten Vorstudie beteiligten Lehrer zu messen. Ziel ist es, zu beurteilen, ob die mit dem TBTP gewonnenen Überzeugungen der Lehrer den interpretierten Überzeugungen nahe kommen, die durch die Interviews und Beobachtungen gewonnen wurden. Die Ergebnisse zeigen, dass die Antworten der Lehrer auf den TBTP über Mathematik mit ihren Überzeugungen über Mathematik übereinstimmen, die aus ihren Interviews interpretiert wurden. Darüber hinaus scheinen ihre Antworten auf den TBTP über ihre Überzeugungen über das Lehren und Lernen auch mit ihren Überzeugungen (interpretiert aus den Interviews) über die angemessene Art und Weise, Mathematik und Problemlösen in ihren Klassen zu unterrichten, übereinzustimmen. 
In der zweiten Pilotstudie habe ich zwei weitere Lehrer gebeten, den TBTP zu beantworten, sie dann interviewt und jeweils eine Unterrichtsstunde von ihnen beobachtet. Ziel dieser Studie ist es, zu untersuchen, wie die Überzeugungen der Lehrer und der soziale Kontext in der Schule zusammenwirken und die Handlungen der Lehrer beeinflussen können. Die Ergebnisse zeigen, dass die Reaktionen der Lehrer auf den TBTP auf die Auswirkungen der sozialen Kontexte im Zusammenhang mit den Fähigkeiten der Schüler auf die Überzeugungen der Lehrer hinweisen. Die beiden Lehrer, die an der Studie teilgenommen haben, scheinen unterschiedliche Überzeugungen über das Lehren und Lernen in verschiedenen Kontexten der Fähigkeiten der Schüler zu haben (bestätigt durch die Interviews der beiden Lehrer). Darüber hinaus habe ich auch festgestellt, dass die Fähigkeiten der Schüler den Zusammenhang zwischen Überzeugungen über die Natur der Mathematik und der Praxis der Lehrer beeinflussen können. In den Fällen der beiden Lehrer kann der Zusammenhang eher im Kontext der Schüler mit geringen Leistungen als im Kontext der Schüler mit hohen Leistungen beobachtet werden (bestätigt durch die Interviews und den Unterricht der beiden Lehrer). 
In der dritten Pilotstudie habe ich den TBTP verwendet, um die Überzeugungen von 43 indonesischen Lehrerinnen und Lehrern zu messen. Das Ziel dieser Studie ist es, den Einfluss der Fähigkeiten der Schüler auf die Beziehung zwischen den Überzeugungen der Lehrenden über Mathematik und die Überzeugungen über das Lehren und Lernen von Mathematik und Problemlösung, auf 43 Lehrern zu untersuchen. Die Ergebnisse zeigen, dass die Reaktionen der Lehrerinnen und Lehrer auf den TBTP darauf hindeuten, dass Lehrende unterschiedliche Überzeugungen über das Lehren und Lernen in verschiedenen Kontexten der Fähigkeiten der Schüler hervorzurufen scheinen. Darüber hinaus zeigen die Ergebnisse, dass die Überzeugungen der Lehrer über Mathematik mit ihren Überzeugungen über das Lehren und Lernen im Kontext von Schülern mit geringer Leistungen korrelieren, aber nicht im Kontext von Schülern mit hohen Leistungen.
Insgesamt deuten die Ergebnisse aller Pilotstudien darauf hin, dass es der TBTP uns ermöglicht, differenziertere Antworten zu erhalten, die das Zusam-menspiel zwischen den Überzeugungen der Lehrer und den Unterrichtskontexten über die Praktiken der Lehrerinnen und Lehrer widerspiegeln.

KEYWORDS
The Nature of Mathematics, Teaching and Learning, Mathematics, Problem Solving, Social Contexts at School, Rank-then-Rate, Likert Scale, Students‘ Abilities, Teachers, Beliefs, Measurement, Social Desirability