Social experimentation

From Wikipreneurship
Jump to: navigation, search

Social experimentation is an idea that has been promoted in the wake of the EQUAL programme, in the attempt to improve the success of the mainstreaming of innovations. It holds that mainstreaming will be greatly facilitated if:

  • the experiment is conducted with some scientific rigour, for instance having a control group
  • implementing authorities 'buy in' beforehand, and undertake to mainstream the innovation if the experiment proves to be a success

Contents

UK Cabinet Office

The methodology was investigated in Britain, as reported in the Cabinet Office research paper Large Scale Social Experimentation in Britain: What Can and Cannot be Learnt from the Employment Retention and Advancement Demonstration? [1]. Referring to the Employment Retention and Advancement (ERA) Programme in 2003, this paper points out the various designs possible, for instance random selection, before/after comparison, matched sites, and participant/non-participant comparison. An annex lists various social experments the UK has carried out in welfare-to-work policy.

Abstract

The Employment Retention and Advancement (ERA) Demonstration programme is a major current welfare-to-work social experiment, the largest random allocation evaluation ever mounted in Great Britain. This article draws on experience gained in designing the ERA Demonstration to explore the strengths and limitations of social experimentation for policy evaluation and analysis. The focus of the discussion is on the reasons for the choice of random allocation as a mean of estimating programme impacts, contrasting this approach with the alternatives. The weaknesses of random allocation designs are also examined in the light of the types of information policy-makers require from evaluations of labour market programmes and social policy demonstrations. The perennial ‘black box’ problem and the difficulties in generalizing from social experiments are given particular prominence.

Extracts from conclusions

The paper suggests that, for evaluating ERA and a wide variety of other social policy interventions, an experimental design is superior to alternative designs that might be used instead – for example, ‘before and after’, ‘matched sites’, or ‘participant/non-participant’ comparisons. It will provide greater assurance of internal validity, while being no more costly or time-consuming. However, this does not mean that an experimental design is always superior for evaluating all social policies; just that it is often advantageous and that it is clearly so for evaluating ERA.

...

Neither experimental nor non-experimental methods will be able to provide more than limited information about which specific components of ERA are most or least effective – the so-called 'black box problem’.

Notre Europe

In the European theatre, a seminal paper on the topic [2] was presented in 2008 by Marjorie Jouen of the Notre Europe think tank.

QEC-ERAN

In its Social experimentation for Active aging project, QEC/ERAN is piloting social experimentation in Prague, Edinburgh, Maribor and Hertfordshire. The project addresses the social needs of older people by seeking to improve social policy in relation to the social and economic activation of older people who are not being reached by current policy measures.

http://www.qec-eran.org/projects/SEFAA/sefaa_index.htm

Centre d'Analyse Stratégique

In the programme for the seminar L’expérimentation sociale : innover par la preuve ? heldf on 25 Nov 2010 in Paris, France's Centre d'Analyse Strategique describes social experimentation as follows:

Depuis quelques années, la méthode d’expérimentation sociale est entrée dans la panoplie des instruments utilisés pour améliorer la pertinence et la performance des politiques sociales. On entend par expérimentation sociale une innovation de politique sociale initiée dans un premier temps à petite échelle dans des conditions qui permettent d’en évaluer les effets en vue d’une généralisation ou d’une extension à une échelle géographique plus large. Il faut néanmoins souligner que le terme « expérimentation » est souvent utilisé en France de façon abusive, pour désigner uniquement une initiative locale ou une mesure mise en œuvre sur une durée limitée, alors que l’on devrait, dans ce cas, simplement parler d’expérience.

Certains chercheurs anglo-saxons ont une définition de l’expérimentation sociale encore plus précise, basée sur quatre caractéristiques :

  • l’affectation aléatoire des bénéficiaires et d’un groupe de contrôle (random assignment)
  • un dispositif de politique publique (policy intervention)
  • un dispositif de suivi (follow-up data collection)
  • une évaluation (evaluation)

À travers deux exemples d’expérimentation sociale très différents, tant par leur objet que par le public visé et l’échelle géographique concernée, on verra en quoi cette méthode novatrice peut faire évoluer les problématiques sociales et contribuer à renouveler le mode d’action des acteurs du champ social.

Ainsi, l’expérimentation du RSA, réalisée entre 2007 et 2009 à une échelle nationale puisqu’elle a concerné plus d’une trentaine de départements, fait aujourd’hui référence.

L’expérimentation APIPAQ (Accompagnement Partenarial d’Itinéraires Personnalisés d’Accès à la Qualification), actuellement menée à l’initiative de la Mission locale de Marseille et portant sur la lutte contre le décrochage scolaire, montre que la méthode peut être mobilisée dans un contexte beaucoup plus restreint, tout en s’approchant davantage du modèle que les « pionniers » de cette approche souhaitent mettre en œuvre (randomisation par tirage aléatoire).

La démarche d’expérimentation sociale ainsi entendue, bien qu’elle soit d’une pratique encore récente en France, soulève de multiples questions quant à la construction et à l’amélioration des politiques sociales. Elle apporte sans aucun doute de la rigueur dans la possibilité d’articuler innovation sociale et évaluation. Mais en même temps, la capacité à réunir, dans le champ social, toutes les conditions nécessaires pour que cette « rigueur scientifique » puisse produire ses effets ne semblent pas toujours faciles à atteindre. Se posent alors les éventuelles questions :

  • de délimiter le périmètre et le type d’innovation sociale qui paraissent les mieux appropriés dans le recours à la méthode d’expérimentation sociale ;
  • de développer des démarches d’inspiration expérimentale mieux adaptées au secteur particulier des politiques sociales ;
  • d’identifier les complémentarités que la méthode d’expérimentation peut offrir avec d’autres méthodes pratiquées en matière d’amélioration des politiques sociales ;
  • d’articuler le temps nécessaire à une élaboration scientifique maîtrisée avec les contraintes d’une action publique inscrite dans un calendrier politique.

Cette séance interrogera donc les bénéfices, les limites et les risques d’une telle démarche afin de mieux cerner quand, comment et avec qui l’expérimentation sociale peut être mobilisée de manière pertinente au service de la cohésion sociale. À quelles conditions peut-elle être porteuse d’une dynamique sociale qui permette d’en essaimer les résultats ? Quel est le soutien institutionnel ou le cadre méthodologique nécessaire ?

Source: http://www.strategie.gouv.fr/article.php3?id_article=1271