mediadev library

How to Perform Impact Assessments: Key Steps for Assessing Communication Interventions

James Dennison

International Centre for Migration Policy Development (ICMPD); EUROMED Migration (2020), 29 pp.

"This report brings together disparate terminology, findings and recommendations from the private and public sectors and academia to synthesise a set of five general steps for practitioners when performing impact assessments. Impact assessment (IA) compares a variable of interest after an interventi ... on (e.g. a communication campaign) to what it would it be if that intervention had never happened. Accompanying each of the five steps are examples of how migration communicators can assess the impact of campaigns to, first, change attitudes and, second, change behaviour. Step 1: Set objectives for the intervention that define what the desired effect is. Ideally, this should (1) meet the SMART criteria of specific, measurable, attainable, relevant and timebound; (2) focus on ultimate outcomes, rather than only outputs; (3) avoid a number of common mistakes in setting objectives and (4) carefully consider what the—as specific as possible— target audience is. Step 2: Identify a measure of the impact(s) that the intervention has as its objective. These should be (1) clearly defined and unambiguous; (2) externally valid (they act reliably if used for other interventions) and (3) internally valid (they measure what they claim to measure). There already exist long-lists of measures (also known as indicators) to choose from. Step 3: Estimate what would have happened had there been no intervention, known as a ‘counterfactual’. Ideally, but not necessarily, this requires performing a pre-intervention measurement, also known as baseline assessment. However, this is not always possible. This should not dissuade practitioners but instead assumptions of any IA, as discussed below, should be made openly. A long list of methods for measurement, including sampling considerations, are provided. Step 4: Perform the intervention. This may involve separating a randomised sample into a treatment group(s)—that receives the intervention(s)—and a control group—that does not. If this is not feasible, other forms of counterfactual are possible that ‘construct’ a control group. This section also overviews: (1) types of communication campaigns; (2) the MINDSPACE checklist of behavioural influences for interventions; (3) key recommendations on persuasive interventions from ICMPD’s previous work; (4) recommendations on campaigns deterring irregular migration. Step 5: Post-intervention measurement and analysis: (1) those receiving the intervention should be measured post-intervention (ideally, as well as, either a genuine or constructed control group); (2) the impact must be calculated: usually the difference in the variable of interest pre- and post-intervention and/or between the treatment and control group; (3) theoretical consideration of why and what aspect of the campaign caused an impact; are the findings likely to be universalizable?; (4) creation (and, in some cases, incorporation) of recommendations based on combination of impact and theoretical considerations." (Executive summary) more

Download (2)

How to perform impact assessments: Key steps for assessing communication interventions [Arabic]

James Dennison

International Centre for Migration Policy Development (ICMPD); EUROMED Migration (2020), 26 pp.

Download (1)

Comment réaliser des évaluations d’impact : étapes clés pour évaluer les actions de communication

James Dennison

International Centre for Migration Policy Development (ICMPD); EUROMED Migration (2020), 30 pp.

"Ce rapport réunit une terminologie hétérogène, des conclusions et des recommandations émanant des secteurs privé et public et du monde universitaire pour définir un ensemble de cinq étapes générales à suivre par les professionnels lors de la réalisation d’une EI. L’EI compare une va ... riable étudiée après une action (par ex. une campagne de communication) à ce qu’elle serait si cette action n’avait jamais eu lieu. Accompagnant chacune des cinq étapes, nous présenterons des exemples de la façon dont les communicants en migration peuvent évaluer l’impact des campagnes pour, d’abord, modifier les attitudes et, ensuite, changer les comportements. Étape 1 : Fixer des objectifs pour l’action qui définissent l’effet souhaité. Dans l’idéal, ils devraient (1) correspondre aux critères SMART : spécifique, mesurable, atteignable, pertinent et temporellement défini; (2) se concentrer sur les résultats finaux, plutôt qu’uniquement sur les produits; (3) éviter certaines erreurs courantes dans la définition des objectifs et (4) déterminer de façon aussi spécifique que possible l’identité du public cible. Étape 2 : Identifier une mesure de l’impact ou des impacts de l’objectif de l’action. Ces impacts devraient être (1) clairement définis et non ambigus; (2) valides d’un point de vue externe (ils restent fiables s’ils sont utilisés pour d’autres actions) et (3) valides d’un point de vue interne (ils mesurent ce qu’ils prétendent mesurer). Il existe déjà de longues listes de mesures (également connues sous le nom d’indicateurs) parmi lesquelles il est possible de choisir. Étape 3 : Estimer ce qui se serait passé si l’action n’avait pas eu lieu, ou situation « contrefactuelle ». Idéalement, mais pas nécessairement, cela implique la réalisation de mesures en amont de l’action, également connues sous le nom d’évaluation de base. Néanmoins, ce n’est pas toujours possible. Cela ne devrait pas dissuader les professionnels, en revanche, les hypothèses relatives aux EI devraient faire l’objet d’une discussion ouverte, comme évoqué ci-dessous. Une longue liste de méthodes de mesure, y compris des considérations liées à l’échantillonnage, sont fournies. • Étape 4 : Réaliser l’action. Cela peut impliquer de séparer un échantillon aléatoire en un ou plusieurs groupes traités, qui font l’objet de l’action/des actions, et un groupe témoin, qui n’en fait pas l’objet. Si cela n’est pas faisable, d’autres formes de situations contrefactuelles sont possibles pour « construire » un groupe témoin. Cette section aborde également : (1) les types de campagnes de communication; (2) la check-list MINDSPACE d’influences comportementales pour les actions; (3) les recommandations clés portant sur les actions persuasives issues des travaux précédents de l’ICMPD; (4) les recommandations relatives aux campagnes de dissuasion de la migration irrégulière. • Étape 5 : Mesures et analyses en aval de l’action : (1) ceux qui ont bénéficié de l’action doivent faire l’objet de mesures en aval de l’action (idéalement dans le cadre un groupe témoin authentique ou construit); (2) l’impact doit être calculé : généralement la différence entre la variable étudiée en amont et en aval de l’action et/ou entre le groupe traité et témoin; (3) réflexion théorique sur les raisons et les aspects précis de la campagne qui ont causé un impact; les conclusions sont-elles transposables ?; (4) création (et, dans certains cas, incorporation) de recommandations basées sur la combinaison de l’impact et des réflexions théoriques." (Résumé) more

Download (1)

Civic Media Practice: Identification and Evaluation of Media and Technology That Facilitates Democratic Process

Eric Gordon, Gabriel Mugar

MaxArthur Foundation (2018), 34 pp.

"Based on over 40 interviews with practitioners, this report identifies “civic media practice” as media and technology used to facilitate democratic process. It focuses specifically on those practitioners using media tools to form relationships and build trust - a practice that sometimes runs co ... more

Download (1)

Participatory Evaluation of Information Projects, Products and Services for Organisational Learning and Impact

Bert Alkemade, Karen Batjes-Sinclair

Wageningen: Centre for Agricultural and Rural Cooperation (CTA) (2013), 56 pp.

"This book has been written largely as a result of the success of the Smart Toolkit for Evaluating Information Projects, Products and Services (2010) and in response to suggestions made by stakeholders to produce a compact primer. For many, the Smart Toolkit represents a major work that, despite its ... more

Download (1)

Deepening Engagement for Lasting Impact: A Framework for Measuring Media Performance & Results

Learning for Action (2013), 53 pp.

"The guide has been formatted to be useful to people at all levels of familiarity with media evaluation. The next section begins by presenting a core framework: four “building blocks” that distill a diverse set of evaluation frameworks into a straightforward process you can use to plan a new mea ... more