Beoordelingscriteria effectiviteit
Om te kunnen leren en om greep te krijgen op de vraag wat voor wie werkt onder welke omstandigheden is het van belang inzicht te krijgen in de aannames achter de interventie, de werking van de interventie en het effect van de interventie. Drie dingen zijn dan van belang.
Een theoretische onderbouwing: waarom zou de interventie werken?
De theoretische onderbouwing geeft aan waarom de interventie zou kunnen werken. Eigenlijk is het een evaluatie vooraf waarin wordt aangegeven welke effecten van de interventie verwacht mogen worden. Er worden veronderstellingen gedaan over de problematiek van de doelgroep, de aanpak en de uitwerking op de beïnvloedbare factoren, gekoppeld aan het beoogde resultaat. Dit is de programmatheorie. Het gaat om het veranderingsmodel achter de interventie dat idealiter onderbouwd is met wetenschappelijke inzichten. Een goede theoretische onderbouwing maakt de interventie in theorie effectief.
Interventies kunnen de volgende beoordeling krijgen:
- Niet aanwezig: een adequate theoretische onderbouwing ontbreekt
- Aanwezig, maar niet volledig: er is een probleemanalyse en een duidelijke en expliciete redenering op welke factoren de interventie aangrijpt en waarom deze zou werken
- Aanwezig en volledig onderbouwd: de redenering is gebaseerd op (getoetste) wetenschappelijke inzichten / theorieën, c.q. er worden technieken gebruikt die in de literatuur bekend staan als bewezen effectief.
Een procesevaluatie: Hoe werkt de interventie?
In een procesevaluatie staat het verloop van de uitvoering van de interventie centraal. Deze evaluatie vindt vaak plaats tijdens of direct na de interventie. Het biedt de kans na te gaan of de mechanismen die men met de interventie in werking wilde zetten optreden en of de cliënten zich als gevolg hiervan gedragen als voorzien. De procesevaluatie is dan ook geschikt om de interventie bij te sturen tijdens de rit (profiling). In een procesevaluatie dient niet alleen de werking op de cliënten in beeld te worden gebracht maar ook de relatie met de organisatie en de relevante omgeving.
Interventies kunnen de volgende beoordeling krijgen:
- Niet aanwezig: een adequate procesevaluatie ontbreekt
- Aanwezig, maar niet volledig: de werking van de interventie zelf en de uitwerking op de doelgroep zijn duidelijk in kaart gebracht of de organisatorische voorwaarden en de organisatorische context zijn in kaart gebracht.
- Aanwezig en volledig onderbouwd: de werking van de interventie zelf en de uitwerking op de doelgroep zijn duidelijk in kaart gebracht én de organisatorische voorwaarden en de organisatorische context zijn in kaart gebracht.
Een resultaatevaluatie: Werkt de interventie?
In een resultaatevaluatie wordt vastgesteld wat de effecten van de interventie zijn en of deze ook geheel aan de interventie kunnen worden toegeschreven. Het kan gaan om het vaststellen van het uiteindelijke resultaat of van de specifieke doelen van de interventie. Als de programmatheorie correct is, zijn de vorderingen ten aanzien van de specifieke doelen van de interventie een goede indicatie voor de kans op uitstroom naar werk. Idealiter wordt dit laatste uiteindelijk ook direct vastgesteld. Om duurzame uitstroom te kunnen vaststellen is een meting enige tijd na afloop van de interventie vereist.
Interventies kunnen de volgende beoordeling krijgen:
- Niet aanwezig: een adequate effectevaluatie ontbreekt
- Aanwezig, maar niet volledig: er heeft een resultaatmeting plaatsgevonden met een voor- en een nameting zonder controlegroep (veranderingsonderzoek)
- Aanwezig en volledig onderbouwd: er heeft een resultaatmeting plaatsgevonden waarin gebruik is gemaakt van een experimentele groep en een controlegroep
Interventies die op de website worden geplaatst, moeten minimaal een aanwezig en volledig onderbouwd en een aanwezig, maar niet volledig scoren.