2018 冬季服务-学习项目评估报告

2018年 PEER 服务-学习冬季项目评估报告已正式发布。报告由 PEER工作人员马煜曦设计、撰写，以供关心、支持以及想了解PEER 服务-学习项目的各界人士参阅。

PEER 毅恒挚友 2018冬季服务-学习项目评估报告 （点击下载）

这是 PEER 首次以科学和审慎地方式对项目进行有效性评估，共使用了10多个有信度和效度的量表，用定性和定量相结合的方法，对学生和挚愿者（PEER 的短期志愿者专属称呼）进行了项目前测与后测，评估结果具 有一定的解释效力，对 PEER 接下来的工作有较好的指导意义。

项目有效性评估指标

评估结果显示，冬令营前后学生的自我效能感和自尊有明显提升；挚愿者对18WP整体满意度较高；报告也提示我们 PEER 短期项目值得关注的问题——冬令营前后挚愿者所有被测量的能力指标没有提升；根据评估结果，报告也对18WP项目提出了若干有价值的建议，包括改善课程设计、提升导师组织能力、整合当地支持资源、发展挚愿者成长体系等。

2018年PEER服务-学习冬季项目介绍

2018年 PEER 服务-学习冬季项目（以下简称18WP）是 PEER 教育实践中的短期项目，主要通过在全国招募大学生挚愿者，为其提供系列培训和支持来帮助其在县城开展针对初中生的教育实践。18WP的主要开展地点在浙江省三门县和浙江省天台县，合作方为三门县有为图书馆和天台县家庭教育研究会。

18WP的项目目标

A 为大学生挚愿者赋能

此项目以“服务-学习”理论作为主要依据，即希望挚愿者能够通过参与社会服务来改善所处环境，并进而通过分享和反思将实践所学内化，实现“学习”这一目标。为了让挚愿者能够充分地适应并平衡服务者和学习者这两个角色，PEER将“服务-学习”过程划分成了5个阶段（线上课程、线下拓展营、地方项目式学习实践、冬令营、成长分享会），并分别在相应阶段进行不同程度的支持，从社会社区、教学技能、个人成长三方面为挚愿者赋能。

服务-学习5阶段

B 为初中生赋能

初中生直接参与18WP的第四阶段——冬令营，即作为挚愿者教育实践的接受方。冬令营的主要两个课程模块是阅读研讨课和社区探索课。

18WP 评估方法

评估模型

此次评估采用柯氏四级培训评估模型（Kirkpatrick Model），简称4R(reaction, learning, behavior, result)模型，其中4R分别代表着对受益人的4个评估水平：反应评估、学习评估、行为评估、成果评估。

评估工具

此次评估采用定量和定性相结合的方法。
其中定性的信息资料主要有以下几个来源：1）挚愿者在第四阶段冬令营期间进行的中期复盘会议的记录和资料；2）挚愿者的服务日志（PEER设立的一种帮助挚愿者反思的工具，贯穿项目的线下实施阶段）；3）挚愿者在项目结束后的末期反思报告。

定量研究主要采取问卷法和量表法，这两者都属于自我报告（self-report），即相比于实验和观察等方法较为主观。

评估流程

项目质量评估的开展主要在项目进行的不同时间点对挚愿者和学生分别进行问卷的发放和回收，并在冬令营中期（2018年2月4日）组织挚愿者开展中期复盘会、冬令营结束后进行挚愿者反思报告的撰写和营地期间的每日服务日志的撰写。

数据分析方法

此次评估的数据分析主要利用Stata统计分析软件，采用以下两种分析方法：
1）描述性统计分析（descriptive statistics)，主要用以通过某些统计量（e.g.,均值、方差）对数据进行整体的刻画。
2）假设检验（hypothesis testing），属于推论统计，用以验证假设，比如“经过冬令营，学生的自我效能感提高”即是一个假设，假设检验可以利用统计方法帮助判断该假设是否成立。此评估主要采取配对T检验和方差分析(ANOVA)来进行假设检验。

评估报告内容提要

此次评估范围是在2017年12月1日到2018年2月9日有效参与 PEER 2018服务-学习冬季项目的大学生挚愿者32人，有效参与学生总人数90~100人之间。

学生参与前后变化明显

报告显示学生营后的人际交往能力得分要显著高于营前；学生营后的自尊量表得分要显著高于营前；学生营后的自我效能感得分比营前高，两者的差异边缘显著。故可以推论，以学生为主体，冬令营对其有较好的效果。

明显变化的一个可能的原因是，初中生仍然处于青春期（adolescence），可塑性较强，这一阶段，初中生经历着从生理（身体发育）到心理（自我身份的探索、自我同一性危机），从认知到社交关系的发展，充满着不稳定性，这是一个被学界认为充满着”风暴和压力”（storm and stress）的阶段。故对于初中生来说，与众不同的短期体验可能包含一些具有塑造性的事件（transformational moment）或者具有重要影响意义的个体（significant others），在某个契机对其发生比较重要的影响。

挚愿者参与前后无明显变化

值得注意的是，挚愿者营前和营后的差异没有显著差别，且有些条目出现不明显的降低，即项目在以下能力上对挚愿者的影响相对有限。

报告分析，大学生挚愿者其对于自我的认知已经比较稳定，且绝大多数能力的增进需要一段较长时间的积累，而非短时之功；反之，对于大学生而言，诸如 PEER 这样的短期体验更容易对其知识和观念上产生影响，比如收获新知识或者开拓新观念；

且通过需求分析，很多大学生挚愿者参与 PEER 冬令营的一大原因是结交志同道合的朋友，即社交需求而非能力提升，故其参与的动机也间接解释为何能力变化的可能性较低。

针对18WP的重点建议

报告在18WP的5个阶段（线上课程、线下拓展营、地方项目式学习实践、冬令营、成长分享会）分别针对性提出若干建议，如，线上课程设置的强度稍强，任务量过重；线下拓展营中，“更好利用在地资源和当地人的支持”是一个亟待解决的问题；社区探索课设置时间短、目标多、结构模糊等问题亟待改进；导师的活动组织力需要强化。

此外，关于挚愿者成长，报告提出三项建议：第一，后续课程相关部门完善对实作任务的评价体系，帮助更好地监测大学生挚愿者的成长。第二，给大学生挚愿者建立志愿者档案，通过导师制度等给大学生提供更加长期的支持。第三，针对大学生挚愿者设立分层级的培养计划，包括从入门级到专业级的不同难度的任务。

后记

此次项目评估从实践和理论的角度回答两类核心驱动问题：1）项目开展得怎样，质量如何？项目可以如何被改进？哪些因素可能会影响项目的开展？ 2） 项目是否有效？项目在多大程度上达成了其预期目标？项目是否能够带来改变？从评估结果来看，达到评估目的。

由于条件所限，此次评估选择了非实验设计（non-experimental design)，没有设置对照组，而是在自然状态下，对参与者（大学生挚愿者、初中生）进行营前和营后的问卷填写，此设计比较适用于真实场景中的评估需求，但亦削弱了是否参与冬令营和研究结果之间的因果关系。比如在对项目有效性进行评估时，我们发现对于初中生来说，营后的自我效能感、自尊以及人际交往能力高于营前，这可以让我们得到冬令营的积极效应这一结论，但尽管如此，仍然无法排除安慰剂效应（即加入让初中生自由地玩耍一阵子，可能也会产生这样的结果），故无法推论，PEER冬令营这种形式优于其它活动。