在20世纪的最后二十年,在量化研究(quantitative approaches)与质性研究(qualitative approaches)孰优孰劣的争论之中,出现了旨在整合两者的混合方法研究(mixed methods research,简称MMR)。进入21世纪,混合方法研究的理论基础与实践程序技术不断完善,大量关于或基于混合方法的研究涌现,正如美国著名研究方法学者Johnson与Onwuegbuzie(2004)所言:“混合方法研究的时代已经来临”。
约翰逊等人(Johnson,Onwuegbuzie & Turner,2007)分析了19位权威研究者对混合方法研究的界定,总结认为:“混合方法研究是研究者结合质性研究与量化研究的要素(比如质性与量化研究的视角、资料搜集和分析的方法与步骤、推论的技术),增加有关研究问题的证据,从而拓宽、加深研究者理解的一种研究。”在混合方法研究兴起之初,“混合”更多停留于技术手段层面,强调在同一个研究中搜集并分析质性与量化两类资料。如今,越来越多的研究者认同,“混合”不仅涉及共用量化与质性方法,还包括技术手段背后的哲学理念与理论立场的整合(integration)—混合方法研究已被视为一种有别于量化研究与质性研究的独立方法论。
近年来,国内研究者开始关注并开展混合方法研究。但是,国内关于混合方法研究的理论基础与具体操作的系统评介仍然寥寥,对理论与实践中的进展、争议与困境更是鲜有涉及。这导致研究者在采用混合方法研究之时,只知其旧识而不知其新知,只知其然而不知其所以然,只知其利处而不知其困境。本文基于国外混合方法研究的重要成果,结合开展混合方法研究的实际经验,试图呈现混合方法研究在方法论及其实践方面的共识、争议与反思。
一、成为一种独立方法论的混合方法研究综合克雷斯威尔等人观点(Creswell & Clark,2001;Tashakkori & Teddlie,1998),混合方法研究的历史可以划分为四个时期,即初步形成时期(1959-1980年),范式争论时期(1980-1990年),程序完善时期(1990-2000年),支持、扩张、反思时期(2000年至今)。在这五十余年中,混合方法研究逐渐拥有了成为独立方法论的要件:哲学理论基础、程序设计、具体方法、话语体系以及研究社群的认可与推广。
在社会科学研究中,早在19世纪末20世纪初,已经有一些研究者尝试在一项研究中运用多种研究方法。早期的“混合”主要有两种形式。一类是在实验研究中加入访谈与观察的环节,著名的霍桑实验(Hawthorne Experiment,1927-1932年)便是一例。研究试图通过对照实验找出影响工人生产效率的要素,但是发现原有关于照明条件、工作时间、薪酬待遇等因素影响工人工作效率的假设均不成立。研究者进一步采用了访谈法才发现,工人的心理需求与非正式组织对其生产效率存在重要影响。另一类是文化人类学家运用问卷调查、访谈、观察等多种方式进行田野研究。林德夫妇(Lynd)的《米德尔敦:当代美国文化研究》(Middletown: A Study in Modern American Culture)便是其中的重要代表。林德夫妇在研究中主要采用访谈与参与式观察来搜集资料,同时也利用对俱乐部活动与中学生生活的问卷调查补充资料。但是,此时的“混合”更多是研究者在研究过程中“自然而然”的一种应对之策,研究者并没有突出多元方法的应用并论证其合理性,这使得方法研究者并不重视这一段历史。
1959年,Campbell与Fiske提出了多质—多方法矩阵(multitrait-multimethod matrix),即在量化研究中运用多种方法测量多种特质来进行效度估计。随后,Webb、Campbell等人发展了三角互证的概念,形成了多元操作主义(multiple operationalism),这标志着混合方法研究的正式出现。此时的混合方法研究“虽然运用一种以上的方法,但是仅限于同一世界观内部,比如量化研究方法的混合或者质性研究方法的混合”(Teddlie & Tashakkori,2003)。Denzin(1978)进一步探讨了三角互证的应用,认为三角互证包括数据互证(data triangulation)、理论互证(theory triangulation)、研究者互证(investigator triangulation)与方法互证(methodological triangulation)。其中方法互证包括方法内的三角互证(within-methods triangulation,在同一研究中运用多种量化研究方法或者质性研究方法)与方法间的三角互证(between-methods triangulation,在同一研究中同时运用量化研究方法与质性研究方法)。他进一步指出,方法间三角互证的价值极其有限,三角互证应当从范式内的方法互证转向范式间的方法互证。这一阶段,方法的混合得到一定的应用,主要代表有Campbell、Cronbach、Sieber、Patton等。
20世纪80年代开始的“范式之争”(paradigm war/paradigm debate)为混合方法研究的发展提供了重要的契机,将关于混合方法研究的探讨从单纯的方法策略选择推向了更为深入系统的方法论层面。在20世纪的大半时光,以实证主义与后实证主义为哲学基础的量化研究是社会科学研究的潮流。但进入20世纪80年代,随着建构主义的兴起与确立,质性研究对量化研究形成了巨大的挑战,围绕着两者孰优孰劣与是否兼容(either/or)这两个议题,研究者展开了激烈的论辩。在范式之争的硝烟之中,一部分研究者开始承认量化研究与质性研究可以整合并试图整合二者,混合方法论初步形成,其理论基础与操作、程序和技术开始快速得到充实、完善。
1990年至今,混合方法研究进入了不断完善与快速扩张时期。第一,混合方法研究的支持者试图为其寻找更为坚实的哲学基础,而实用主义为在混合方法研究中奉行“多元方法、不同世界观、不同假设、不同类型数据的搜集与分析”提供了契机。第二,关于混合方法研究的设计与具体实施的应用性研究更为深入,混合方法研究初步形成了自己的话语体系,如并行设计(concurrent design)、顺序设计(sequential design)等专业术语以及混合方法研究的图示化。第三,混合方法研究在教育学、心理学、护理学、社会学、管理学等诸多学科日益流行,越来越多的期刊刊发混合方法研究,《混和方法研究期刊》(Journal of Mixed Methods Research)也于2007年创刊。
但是,关于混合方法研究仍存在诸多尚待深入研究的议题,《社会科学与行为科学研究中的混合方法手册》(Handbook of Mixed Methods in Social & Behavioral Research)一书将此归纳为9个方面:(1)概念立场(conceptual stances)。混合方法研究的哲学基础是什么?实用主义是否可以作为混合方法研究的范式?(2)概念立场/方法论/方法的作用。特别是混合方法研究在方法论上与量化研究/质性研究的根本差异是什么?(3)研究问题。混合方法研究的研究问题的形式、特征(自然出现的还是预先计划的?主位的还是客位的?探索性的还是解释性的?)、组成(一个首要主问题还是两个分离的问题?)。(4)语言。混合方法研究的研究者需要对一些专业术语给出更为清晰的定义与解释,并且这一话语体系可以打破量化研究与质性研究的领域局限。(5)研究设计。虽然研究者对研究设计进行了诸多的探讨,但是鉴于其重要性,这方面仍需要深入。(6)分析事宜。是否存在一种分析模式可以整合混合方法研究中诸多的分析方法?(7)推论的形成。特别是如何判定推论的质量。(8)混合方法研究应用的实践问题。如教学、研究团体的合作、研究基金的评定等。(9)混合方法研究的跨学科与跨文化运用(Teddlie & Tashakkori,2010)。
二、混合方法研究的合法性基础及其争议混合方法研究的合法性获得首先得益于对范式不兼容论的批判。在范式之争中,量化纯化论者(quantitative purists)与质性纯化论者(qualitative purists)认为,量化研究与质性研究基于不同的研究范式,在认识论、价值论、本体论、方法论等方面奉行不同的立场与假设(见表 1),一个研究者不可能接受两种截然不同的范式。“想要让范式之间达成和解是不可能的……那是极大不同的、从根本上有所区分的、完全对立的”(Guba,1990)。但是混合方法研究的支持者(pragmatist与situationalist)则认为,量化研究与质性研究是可以混合的,并且通过整合两种研究方法论/方法的优劣,可以更好地回答研究问题。
| 表 1 量化研究与质性研究的范式差异 |
兼容论者往往从以下三个角度加以论证:其一,否定范式之间的截然对立。在争辩之中,越来越多的研究者赞同,在客观与主观之间存在着一种中间状态,我们既需要寻求所谓客观的事实,又依赖于主观的理解。正如陈向明(2000)对这种状态的概括:一方面,自然现象与社会现象存在着本质上的不同,后者含有社会成员对自己和他人行为的主观理解,社会事实最终必须归结为可以被人理解的事实;另一方面,社会行为是有一定的“规律”可寻的,研究可以通过一定的手段和方法找到这些“规律”。因此,社会科学研究必须“客观地”观察行动者的行为和思想状态,同时依赖研究者的“主观”直觉和理解对这些行为和思想的意义做出判断。兼容论者认为,范式及其方法并非截然对立、非此即彼的,他们更像是一个光谱,混合方法研究正是这一光谱连续性的体现(见图 1)。其二,重新审视范式与方法的关系。研究者时常将量化方法归为实证主义范式,将质性方法归于建构主义范式,并据此认为量化方法与质性方法是对立的。一些研究者认为方法与范式之间并没有如此紧密的联结。“在真实世界的实践中,方法可以与认识论相分离。一个人可以直接运用统计方法而不必要做关于逻辑实证主义的文献综述,一个人可以做出一个解释但是不必要研究解释学。一个人可以开展开放式的访谈或者观察而不必研读现象学的专著”(Patton,1990)。换言之,范式与方法并不是逻辑上的包涵关系,而更像是一种经验上的联系—某一范式的支持者更为习惯选用某一类方法。如此一来,即便在本体论、认识论、价值论等基本信念上存在不兼容,具体的方法仍然是可以混合的。其三,从实操而论,混合方法研究可以吸取各种方法的优势,最小化其劣势,其是研究者“何乐而不为”的选择。比如,在量化研究中研究者往往自觉或不自觉地蒙蔽于“价值中立”的幌子之中,缺乏自我批评、自我反思的习惯和自觉,而重视价值涉入的质性研究要求研究者不断地反思自己在研究过程中的角色与作用,反思研究者的背景、视角、立场、判断、决定等因素对研究结果的影响(胡中锋,黎雪琼,2006)。但是,方法组合的价值是否必定高于单一方法,这其实也有待论证。
|
图 1 混合方法研究的连续性与方法的非二分性 |
混合方法研究支持者内部的理论立场也出现了分化,出现了诸如实用主义、辩证立场(Dialectic stance)、转化—变革理论(Transformative-emancipatory theory)等多种范式/立场。有研究者更是认为,单一的范式/立场并不足以支持混合方法研究,在一个研究中运用多种范式/立场可以帮助研究者获得对调查现象更为深刻的理解。在这些范式/立场之中,当前最为人们认可的是实用主义范式。
在本体论上,实用主义认为实在(reality)的本性是变动的、开放的和偶然的。但是这并不意味着“它们是完全随机或任意的,从而无法被认识的”,而是强调“事实并不只是处在那儿来让人们发现的,而大部分是通过人的活动形成的”(舒斯特曼,李军学,2011)。在认识论上,经验产生于人的认知活动(knowing或者inquiry)与周遭环境的互动,因此经验势必具有主客相遇和主客统一的性质,而经验的价值也有赖于其对实践的意义。杜威(2004)认为,“观念、意义、概念、学说和体系,对于一定的环境的主动的改造,或对于某种特殊的困苦和纷扰的排除确是一种工具般的东西,它的效能和价值就全系于这个工作的成功与否”。在方法论上,实用主义真理的多元性以及人类实践的多元性让研究者更为倾向接纳多元主义,也便支持运用多元方法去获得多样化的经验。之于混合方法研究社群,实用主义提供了绝妙的“中间且有效”的立场。一方面,混合方法的支持者再也不用纠结于真相、事实等形而上学概念的纷争,实用主义强调去了解世界的多元意义,混合方法研究恰保有此多元意蕴。另一方面,实用主义强调观念与理论的实践功效,社会科学的研究也应当强调方法的功效,而非其形而上的意义与归属,这使混合方法研究不必纠结于范式之争,而是以“实用性”扩宽其疆土。之于混合方法研究者个体,实用主义又是务实的、积极的:研究你所感兴趣和对你有意义的问题,应用你认为合适的不同方式去研究这些问题,并以能为你的价值观体系带来积极作用的方式使用这些研究的结果(程天君,2014)。
但是,研究者真的可以不纠结所谓的真实吗?比如当质性研究的结论与量化研究的结论冲突时,我们应该如何采信哪一方?结论的有用到底是对谁而言的有用?如何来衡量研究对实践有意义?实用主义会不会最终成为托辞,让研究者疏于追问自己信奉哪种范式、坚持何种立场?《社会科学与行为科学研究中的混合方法手册》一书的序言中便写道:“很多研究者运用这一方法但是对背后的哲学指向并没有兴趣。这也就正是为何‘范式之争’并没有影响很多研究者运用混合方法,这些研究者只是想解决他们的研究问题而不想参与复杂的哲学议题的争论”(Teddlie & Tashakkori,2003)。所以Johnson和Onwuegbuzie(2004)感叹道:“范式之争不会以实用主义作为结束,也不应该以此作为结束”。
三、混合方法研究的具体设计与实践困境每一位混合方法研究的开展者都需要首先回答一个问题:为何选用混合方法研究。这一问题可以分为两个层面:一是较之单一类型方法研究,为何混合方法研究更为适合本研究;二是整合的环节在研究中可以发挥什么作用。
之于第一个问题,研究者可以列举出诸多混合方法研究设计较之于单一方法研究设计的优势。但是,研究者应警惕以下三点误区:其一,混合方法研究能够最大化量化研究与质性研究的优点,最小化其缺陷。这是混合方法研究支持者的重点论点,但是混合方法研究也存在时间精力投入大、方法素养要求高、具体整合难度大等实操困境,所以混合方法的优势并不一定比单一方法大,这取决于研究问题与研究者的自身素养。其二,混合方法研究可以提供额外的视角与深入的理解。虽然混合方法研究可以提供更为丰富的认识和理解,但运用同一方法对资料进行有效搜集、再次分析与深度挖掘亦可实现这一效果,只不过研究者由于研究惯性、精力财力等原因未去实践罢了。其三,混合方法研究能形成更为客观的结果。混合方法研究可以帮助研究者形成对事物更为整体性的理解,但是这一理解并不一定是更为客观的,不同方法得到的结果相加可能会牵强附会甚至错上加错。
所以,混合方法研究并不比单一方法研究高上一等,研究者不应盲目追求混合方法,而应考虑研究问题与方法的适切性、研究者与方法的适切性。前者是指研究问题适合采用混合方法研究的程度,比如“学校组织中校长是如何向教师授权的”这一问题,既需要了解校长向哪些教师授予哪些方面的权力等群体性、截面性信息,又需要了解校长对于授权的认识、授权的发生过程等个体性、过程性信息,这便适合采用混合方法研究设计。后者则主要关注研究者拥有的方法素养与研究条件(时间、精力、样本或个案的可回溯性)是否适合采用混合方法研究。
格林等人(Greene,Caracelli & Graham,1989)将“整合”的主要功能归纳为三角互证、互补、发展、创新与扩展;Bryman(2006)更是曾列出选择混合方法研究的16个理由。综合这些论述,我们可以从两个层面理解“整合”的功能。在过程层面,“整合”可以扩充资料、确定变量、开发工具、提供多元化的分析方法与生成研究问题,这使得研究进程得以继续,并达成互补与反思。在结果层面,“整合”的功能主要有:第一,互证。通过不同的研究方法来寻求某一结论的共同确证。第二,补充。一种方法的结果可以为另一种方法的结果提供解释、例证、全景。第三,反思。研究就像旅程,并不一定完全与计划相洽。不同方法得出的研究结论的冲突会让研究者重新思考研究问题、研究设计与研究方法,对研究进行重构。
对于如何进行混合方法研究设计,研究者进行了诸多的类型学分析,并形成了多种分类。本研究主要根据量化研究与质性研究的时间安排、地位侧重与混合的阶段、功能,解读三种基本的混合方法研究设计。
并行设计(QUAN+QUAL)该设计又被称为平行设计(parallel design)、会合模型(convergence model)或并行三角互证(concurrent triangulation)。并行设计是最为典型的混合方法研究设计,其要求研究者同时针对研究现象分别搜集并分析质性资料与量化资料,通过不同但是互补的资料来更好地回答研究问题。该设计中,量化研究与质性研究居同等地位,“整合”往往发生在:(1)资料分析阶段,通过资料的转译(data transformation)将资料转化为同一类型,而后进行综合分析。比如对质性资料进行编码或者类型学分析,然后与量化资料合并,进行统计分析;或者对量化资料进行因子分析,形成类型框架,成为质性资料分析的重要维度。(2)资料解释阶段,通过对比量化资料与质性资料的分析结果,呈现结论的趋同、相关或者对立并进一步解释其原因。“整合”可以达成互证,也可能发现结论的冲突,引发对研究问题与设计的重构。
量化—质性顺序设计[QUAN(quan)→ QUAL(qual)]在该设计中,研究者在第一阶段运用量化研究针对某一现象进行资料的搜集与分析,在第二阶段通过质性资料的搜集与分析对前一阶段的结论做出解释。该设计的“整合”主要发生在:(1)资料分析—资料搜集阶段。研究者在第一阶段的资料分析结论与第二阶段的数据搜集建立“连接”,从量化研究呈现的有关“显著/不显著、异常、平均水平”等结论中生成质性研究阶段的研究问题。(2)资料解释阶段。质性研究阶段的结论可能会给出有关量化研究结论的解释,也可能因为无法解释,让研究者对两阶段的研究进行反思。如有研究者(李刚,2010)通过量表对校长的教学领导现状进行调查,发现校长在教学领导行为量表上得分较高,这表明校长会投入诸多精力关注教学。但是,教师对校长的教学领导却仍存批评,这便提出了“高得分校长的教学领导为何难以让教师满意”这一问题。研究者继而通过访谈与观察发现,个案中的校长虽然关注教学,但是在行为出发点上可能并不总是“为了教学”“为了学生”“为了教师”,所以其教学领导行为并不能保证让教师满意。
|
图 2 混合方法研究并行设计的主要流程 |
|
图 3 混合方法研究量化—质性顺序设计的主要流程 |
质性—量化顺序设计[Qual(qual)→ Quan(quan)]该设计分为质性研究与量化研究两个阶段,量化研究对质性研究阶段形成的个案型结论进行群体型分析。之所以采用这一设计,主要是由于研究工具(问卷、量表等)不具备以及研究变量、理论框架等不明确,所以先用质性研究对某一现象进行探索。该设计的“整合”主要发生在:(1)资料分析—数据搜集阶段。质性研究的结论可以为量化研究阶段的资料搜集提供变量参考(关键话语与实践、类属)、工具开发支持(访谈—文本分析—概念框架—研究工具)。所以该设计经常被称为工具开发设计(instrument-development design)。(2)资料解释阶段。量化研究的结论可以提供群体层面的证据,这一证据可能会论证质性研究扎根出的理论,提高其可推广性,也可能与之冲突,需要研究者反思重构。例如胡月琴、甘怡群(2008)在开发适合我国青少年群体的心理韧性测量工具时,首先对25名经历过较大负性生活事件而又适应良好的中学生进行访谈,将原始资料归为六个类属,并根据访谈对象重要表述的核心意义编制题项,据此形成量表并对283名学生进行了试测。研究者综合文本的类属分析与量表结构分析的结论,对心理韧性的结构进行了重新划分与解读,并指出了两者存在差异的原因。
需要指出的是,基于类型的(typology-based)研究设计只是面向新手的“烹饪菜谱”,随着研究者经验的积累,其可以根据研究问题、自身在量化研究与质性研究方面的方法素养、时间、精力与财力等客观因素与研究进程的具体情境选择更为复杂的设计(比如多阶段设计、嵌入设计),抑或在研究进程浮现(emerge)出新的设计。
|
图 4 混合方法研究质性—量化顺序设计的主要流程 |
混合方法研究并不是方法坦途,它在实际应用中也存在诸多困境,主要可以归纳为以下方面:(1)资料搜集与分析困境。混合方法研究需要搜集并分析质性资料与量化资料,这既要求研究者拥有两类研究方法的良好素养,还需要研究者投入更多的时间精力于不同的研究情境之中。此外,在顺序设计之中,第二阶段的研究还需要回溯第一阶段的样本,进行二次调查,这在实际操作中难度很大。(2)资料转译困境。在混合过程中需要将资料转译为同一类型。当前主要的途径,一是量化资料的降维(reduction),将量化数据通过因素分析等方式概括为若干维度,与质性数据通过类属分析形成的维度进行比较;二是质性资料的编码,形成分类变量或者二分变量型的资料。一方面,这样的转译可能造成资料所蕴含信息的损耗;另一方面,由于量化研究与质性研究的抽样方法不同且样本数存在较大差异,数据转译后在另一数据丛中可以共存吗?如果可以,是同等地位还是需要分配权重?这些问题都亟待解答。(3)结论整合困境。研究者可能注重过程的混合,但是在结论之处却不再整合。Alise与Teddlie(2010)对来自600篇论文中的66篇混合方法研究进行分析发现,45%自称为混合方法研究的文章尽管收集了质性和量化两类资料,但是在结论推断时却很少甚至根本没有整合。这其中的原因是多方面的:第一,研究者自身的方法偏好使其难以将量化研究与质性研究结论平等并置,而只是用一类研究“论证”偏好方法形成的结论。第二,读者与期刊往往不是更为偏向量化研究就是偏向质性研究,使得混合研究的“市场份额”较小,研究者缺乏整合的动力。第三,整合需要对量化研究与质性研究结论的重新理解与反思,甚至进行重构,这势必耗费更多的时间精力,一些“务实”的研究者也便不愿尝试。(4)推论质量问题。Teddlie与Tashakkori将混合方法研究的效度称为推论质量(inference quality)。作为一种兼具两类研究方法的研究,到底如何衡量推论的质量,是量化归量化、质性归质性吗?那么整合部分又如何衡量?当前研究者提出的混合方法研究推论质量评价框架屈指可数,具体实操的案例更为缺乏。Onwuegbuzie与Johnson(2013)感叹:“在量化研究中,人们早已认可效度的重要性。在质性研究中,有关效度的讨论更富有争议,也产生了诸多不同的分类和词汇。在整合量化研究与质性研究的混合方法研究中,关于效度的讨论仍处于婴儿期”。
这些问题的解决,有赖于混合方法研究理论基础的夯实与搜集技术、分析技术和评估技术的发展。作为一名混合方法运用者,需要注意两个方面:第一,研究者一定要进行方法论证,根据研究问题与自身的方法素养慎重选择并详实论证、设计混合方法研究。第二,在缺乏具有共识的评价框架之前,更为有效的是让研究者详细呈现推论的逻辑与各种可能解释。比如量化研究与质性研究结论冲突时,应当呈现其中的冲突之处,而非追求研究一定要给出唯一合理的答案。
四、余论为了解教育研究中混合方法的应用现实,本研究抽取了2010年至2014年5年来A大学教育学学科的330篇博士学位论文进行了分析。其中明确声称运用“混合方法”的论文有7篇,提及“量化研究与质性研究相结合”“三角互证”等类似表述的论文有28篇,共计35篇混合和类混合方法研究,占论文总数的10.6%。这一比例甚至高于质性研究的比例,可见混合方法研究日益得到研究生的青睐。
但是,采用混合方法的这些博士论文亦存在诸多问题,如方法概念混淆与随意使用、对混合方法研究的理论基础与运用的合理性缺乏论述、量化研究与质性研究在过程与结论上都缺乏整合。如果研究者对于混合方法研究的基本常识与基本环节不够重视,容易让混合方法研究成为一种毫无意义的“方法时尚”。
混合方法研究作为一种独立的方法论,它整合了量化研究与质性研究,可以为研究提供丰富的方法选择、研究资料与思维碰撞的契机,是提高教育研究的混合方法研究品质的重要路径。但是,要警惕陷入对方法的盲目推崇与错误应用,广大教育研究者需要加强对混合方法研究的评价、应用与反思。
| Alise M. A., Teddlie C.. (2010). A continuation of the paradigm wars? Prevalence rates of methodological approaches across the social/behavioral sciences. Journal of Mixed Methods Research, 4(2), 103-126. DOI:10.1177/1558689809360805 |
| Bryman A.. (2006). Paradigm peace and the implications for quality. International Journal of Social Research Methodology, 9(2), 111-126. DOI:10.1080/13645570600595280 |
| Creswell J. W.. (2009). Research design: Qualitative, quantitative, and mixed methods approaches. Thousand Oaks: Sage. |
| Creswell J. W., Clark V. L. P.. (2001). Designing and Conducting Mixed Methods Research. Thousand Oaks: Sage. |
| Denzin N. K.. (1973). The research act:A theoretical introduction to sociological methods. New York: Praeger. |
| Greene J. C., Caracelli V. J., Graham W. F.. (1989). Toward a conceptual framework for mixed-method evaluation designs. Educational evaluation and policy analysis, 11(3), 255-274. DOI:10.3102/01623737011003255 |
| Guba E. G. 1990. The Alternative Paradigm Dialog. In E. Guba (Ed.). The Paradigm Dialogue (pp. 17-27). Newbury Park: Sage. |
| Johnson R. B., Onwuegbuzie A. J.. (2004). Mixed methods research: a research paradigm whose time has come. Educational Researcher, 33(7), 14-26. DOI:10.3102/0013189X033007014 |
| Johnson R. B., Onwuegbuzie A. J., Turner L. A.. (2007). Toward a definition of mixed methods research. Journal of mixed methods research, 1(2), 112-133. DOI:10.1177/1558689806298224 |
| Maxwell J. A.. (2016). Expanding the history and range of mixed methods research. Journal of Mixed Methods Research, 10(1), 12-27. DOI:10.1177/1558689815571132 |
| Onwuegbuzie A. J., Johnson R. B.. (2006). The validity issue in mixed research. Research in the Schools, 13(1), 48-63. |
| Patton M. Q.. (1990). Qualitative evaluation and research methods. Newbury Park: Sage: 10. |
| Tashakkori A., Teddlie C.. (1998). Mixed methodology: Combining qualitative and quantitative approaches. Thousand Oaks: Sage. |
| Teddlie C., Tashakkori A.. (2003). Major issues and controversies in the use of mixed methods in the social and behavioral sciences. In C. Teddlie & A. Tashakkori (Eds.). Handbook of mixed methods in social & behavioral research (pp. 3-50). Thousand Oaks: Sage. |
| Teddlie C., Tashakkori A.. (2010). Overview of contemporary issues in mixed methods research. In Tashakkori A, Teddlie C. (Eds.). Sage Handbook of mixed methods in social & behavioral research (pp.1-41). Thousand Oaks: Sage. |
| 陈向明. (2000). 质的研究方法与社会科学研究. 北京: 教育科学出版社: 3-4. |
| 程天君. (2014). 从"纯粹主义"到"实用主义"—教育社会学研究方法论的新动向. 教育研究与实验, 1, 5-12. |
| 杜威. 1998. 哲学的改造(许崇清译). 北京: 商务印书馆. 93. |
| 胡月琴, 甘怡群. (2008). 青少年心理韧性量表的编制和效度验证. 心理学报, 40(8), 902-912. |
| 胡中锋, 黎雪琼. (2006). 论教育研究中质的研究与量的研究的整合. 华南师范大学学报(社会科学版), (6), 94-100. |
| 李刚. (2010). 校长教学领导评价框架的建构与应用—混合方法研究的路径(硕士学位论文). 北京: 北京师范大学. |
| 舒斯特曼, 李军学. (2011). 实用主义对我来说意味着什么:十条原则. 世界哲学, (6), 38-44. |