Vanzelfsprekend

Het resultaatmeetsysteem Vanzelfsprekend meet effect en tevredenheid bij zorgondernemers in de zorglandbouw. Op ongeveer 200 locaties vullen deelnemers of bewoners de vragenlijsten in via het onlinesysteem dat gefaciliteerd wordt door Zilliz. Elk jaar ontvangen de locaties én de cluster waar zij lid van zijn een automatische rapportage van de antwoorden van de ingevulde vragenlijsten.
De vragenlijsten zijn door Resultaatmeetexpert ontwikkeld. Als onafhankelijke ontwikkelaar en onderzoeker garandeer ik dat Vanzelfsprekend valide en betrouwbaar meet vanuit het cliëntperspectief. Daarnaast bewaak ik de correcte aanpak van de procedure: zoals 

Op 16 november 2020 is de update van de vragenlijsten van Vanzelfsprekend geactiveerd. Met deze vragenlijsten worden de tevredenheid van de dienstverlening en het effect van het werken op de zorgboerderij bij de deelnemers gemeten.
In 2019 werd in The Journal of Social Intervention: Theory and Practice een artikel gepubliceerd over het meetinstrument Vanzelfsprekend. De auteurs (Jan Hassink, Fedde Bergsma en Harrie van Haaster) beschrijven hierin de geschiedenis en opzet. Ook wordt er een analyse van de resultaten in de periode 2016 – 2018 toegelicht. Het artikel geeft richting voor een mogelijke doorontwikkeling van de vragenlijst. Tegen de achtergrond van deze publicatie beschrijf ik in dit artikel de update die de laatste drie jaar is uitgevoerd.
Hassink, Bergsma en Van Haaster lichten toe dat Vanzelfsprekend uitgaat van zelfscores. Dit betekent dat de deelnemer aangeeft wat hij of zij de belangrijke doelen van deelname vindt en hoe de deelnemer effect ervaart voor deze doelen.
De auteurs stellen: “De keuze voor deze invalshoek is dat op de zorgboerderijen niet wordt gewerkt op basis van diagnostiek, maar op basis van de motivatie van deelnemers en naastbetrokkenen en de mogelijkheden van de deelnemers om deel te nemen aan het werk en de dagbesteding op de boerderijen. Bijvoorbeeld worden de doelen van de deelnemers geïnventariseerd. Deze zijn in korte bewoordingen in de vragenlijsten opgenomen als aan te vinken doelen. Aan het eind van de vraag over de doelen is er een open vraag om eventuele nog niet genoemde doelen toe te voegen.” (Hassink et al. 2019, p.55)
Dit uitgangspunt onderscheidt Vanzelfsprekend van veel andere vragenlijsten die in vaak therapeutisch georiënteerde begeleiding bij andere zorg- en dagbestedingsprojecten gebruikt worden. Die vragenlijsten baseren zich vaak op het meten van verschillen in symptomen, uitgaande van het medisch begrippenkader.

In najaar 2022 is Vanzelfsprekend door de Commissie van Deskundigen van Vereniging Gehandicaptenzorg Nederland (VGN) toegelaten tot Categorie II van het kwaliteitskeurmerk VGN Waaier. Daarmee is Vanzelfsprekend één van instrumenten die geschikt wordt bevonden door deze organisatie voor het valide en betrouwbaar meten van tevredenheid van cliënten in zorg, dagbesteding en begeleiding. In najaar 2023 wordt de verdere doorontwikkeling van het instrument beoordeeld om toegelaten te worden tot Categorie I.

Meer informatie

Resultaatmeetexpert biedt advies en ondersteuning bij het meten van effect en tevredenheid. In de onderzoeks- en ontwikkelpraktijk van Resultaatmeetexpert staan het ervaringsdeskundig perspectief, het inzetten op zelfmonitoring én een valide meetinstrument centraal. De ambitie is om met vragenlijsten het proces van herstel en empowerment inzichtelijk te maken, zowel voor de professional die dit proces begeleidt als voor de cliënt zelf. 
Herstel en empowerment worden vaak als een zeer persoonlijk en bijna uniek proces ervaren en geuit. Daarmee wordt de schijn gewekt dat een verandering ook moeilijk objectief te meten is. Die processen kunnen worden gemeten op basis van door wetenschappelijk onderzoek aangewezen belangrijke factoren voor het ervaren van eigen regie en autonomie, zoals locus of control, motivatie, perseveratie, relevantie, self-directedness, self-efficacy en goal-setting.
Resultaatmeetexpert is van mening dat herstel en empowerment op een betrouwbare en valide manier met vragenlijsten te meten zijn. En dat de scores daarop ook onderling te vergelijken zijn. Daarnaast is een belangrijke meerwaarde van deze aanpak dat de resultaten van de vragenlijsten te gebruiken zijn als een leidraad voor het handelen. Bijvoorbeeld door het eigen gedrag én de vorm en intensiteit van het gedrag van de professional die begeleiding biedt, aan te passen op basis van verandering die wel of niet zichtbaar wordt. 
Een valide meetinstrument maakt een betrouwbare vergelijking mogelijk tussen de scores van de deelnemers onderling. Het kunnen begrijpen naar welke verandering gevraagd wordt, is doorslaggevend voor de betrouwbaarheid van de antwoorden. De deelnemer moet voldoende vaardigheid hebben om de verandering op dat meetdoel bij zichzelf waar te nemen en dit aan te geven op een schaal.  
Daarvoor zijn niet alleen over de tijd verschillende soorten metingen nodig met vragenlijsten met een begrips- en ecologische validiteit. Ecologische validiteit wil zeggen dat de onderzoeksresultaten overeenkomen met de alledaagse praktijk. Ook de gebruikte begrippen moeten op een correcte manier geoperationaliseerd zijn om als meetdoel te kunnen werken: de begripsvaliditeit. De betrouwbaarheid van resultaatmeten is vooral afhankelijk van de mate waarin de meetdoelen door iedereen ongeveer hetzelfde begrepen worden.

Tijdens de ontwikkeling van de vragenlijsten vanaf 2012 konden de deelnemers en zorgboeren onderdelen en meetdoelen inbrengen. Door het proces van co-creatie met zorgboeren en deelnemers is er een inhoudelijk complete vragenlijst ontstaan. Dit heeft echter ook geleid tot een breed palet aan items, hetgeen ten koste ging van de gebruikersvriendelijkheid. Het gevolg was dat de vragenlijsten als te lang en te complex werden ervaren door een substantieel deel van de deelnemers aan de zorgboerderij.
In het projectoverleg werd vanaf 2018 vaker de vraag gesteld: wat is nu precies het doel van Vanzelfsprekend? Is het een zelfregie-tool, waarbij de deelnemer jaarlijks zijn of haar voortgang meet en in gesprek met begeleiders de doelen steeds bijstelt? Of is het een tevredenheidsonderzoek over het aanbod?
Bij de start van het resultaatmeetsysteem is geprobeerd beide doelen in één vragenlijst te combineren. Maar na drie jaar, in 2019, bleek dat de deelnemers nog steeds weinig tot geen gebruikmaakten van de mogelijkheid om met de resultaten van de zelfrapportage in gesprek te gaan met de begeleiding over de eigen doelen en het gewenste effect. Uit gesprekken met de gebruikers bleek dat eerder te maken te hebben met onvoldoende gebruikersvriendelijkheid, dan dat het idee van zelfmonitoring onvoldoende omarmd wordt. In de update zijn beide doelen zoveel mogelijk behouden.
In de loop van 2019 heb ik twee onderzoeken uitgevoerd. Het eerste onderzoek betrof het verschil tussen Vanzelfsprekend en de bij Jeugdzorg gebruikte CEM+ methode, het tweede ging over de vraag hoe het wonen/logeren op een zorgboerderij te meten is, met als doel deze items vervolgens toe te voegen aan Vanzelfsprekend. De resultaten uit deze twee onderzoeken en de discussie in het projectoverleg daarover gaven de doorslag voor de herontwikkeling van de vragenlijsten.

Het bepalen van de ecologische validiteit was onderdeel van de herontwikkeling. Voorafgaand aan het meten van de ecologische validiteit in augustus 2020, is er een nieuw ontwerp van de vragenlijst gemaakt. Voor het bepalen van de ecologische validiteit zijn de aanpassingen aan een aantal deelnemers op zorgboerderijen voorgelegd.
Er is een focusgroep georganiseerd, waarbij in gesprek met aantal deelnemers het herontwerp is besproken en getest. Verder is het herontwerp op drie andere zorgboerderijen online door deelnemers getest. Daarbij is ook een vragenlijst ingevuld met vragen over de veranderingen en de ervaringen daarmee. De resultaten van het testen hebben geleid tot verdere aanpassingen van de vragenlijsten.

Een ontwikkeling die ook richtinggevend was bij het herontwerp, waren de pogingen in enkele regio’s (Amsterdam e.o. en West-Brabant-West) om zorgboeren te betrekken bij projecten voor standaardisering van de meting van effect- en tevredenheid in de Jeugdzorg. In Amsterdam e.o. wordt de CEM+ methodiek gepromoot. Eerder is aangetoond dat Vanzelfsprekend wat betreft meetdoelen en items vrijwel overeenkomt met CEM+. Slechts de vraagstelling en de opbouw verschilt.
In een gesprek met de organisatoren van een pilotproject in West-Brabant-West werd duidelijk dat in de Jeugdzorg drie standaardvragen gewenst zijn. Deze gaan over outcome-indicatoren: uitval, doelrealisatie en afname van de problematiek. De andere eis: klanttevredenheid wordt voldoende in andere domeinen bevraagd. Deze binnen de Jeugdzorg gewenste vragen zijn letterlijk overgenomen in de vernieuwde vragenlijsten.

Wat betreft de taal is ervoor gekozen zo systematisch mogelijk vanuit het ‘ik’-perspectief te formuleren. In de testfase is gecontroleerd op dubbele betekenissen of onduidelijke dubbele ontkenningen. Alle vragen zijn zo geformuleerd dat ervan uitgegaan mag worden dat alle deelnemers in staat zijn de vraag te begrijpen. Zo nodig met extra uitleg door iemand die deelnemer begeleidt bij het invullen, bij voorkeur een andere deelnemer, een familielid of een partner. 
Een deelnemer een meetdoel voorleggen waar hij of zij de vaardigheid voor mist om daarop te kunnen reflecteren, levert onbetrouwbare onderzoeksgegevens op. Er is daarom een keuze gemaakt voor een lightversie voor kinderen onder de 13 jaar en voor mensen met een cognitieve beperking. Daarbij is onderzocht of de meetdoelen niet te complex zijn of lastig te begrijpen.
Met deze indeling in doelgroepen op grond van leeftijd, woonsituatie en cognitieve beperking heeft de intakelijst twee versies. De evaluatievragenlijst heeft acht verschillende versies en de vertrekvragenlijst is voor alle doelgroepen gelijk.
Bij de update is het onlinesysteem ook verbeterd. Naast duidelijkere smileys en enkel één hoofdvraag per scherm, is ook de toegang tot de juiste vragenlijst zo veel mogelijk geautomatiseerd.
Eerder was al een langer gewenste technische verbetering doorgevoerd: de vragenlijsten zijn nu direct vanaf de verzonden link te bereiken en zonder inlog in te vullen. Het verwijderen van de verplichte inlog zorgt er ook voor dat de vragenlijsten eenvoudig via bijvoorbeeld WhatsApp te versturen zijn en ook direct op de mobiele telefoon zijn in te vullen.

Het onlinesysteem levert elk jaar in november een basisrapportage af aan de zorgboerderij en de clusters met de resultaten van het afgelopen jaar. Naast deze basisrapportage is er de mogelijkheid om de Resultaatmeetexpert, tegen meerprijs, aanvullend onderzoek te laten doen. Het systeem heeft de mogelijkheid van data-export, waarmee de analyse gedaan kan worden.
Daarnaast kan verdiepend onderzoek worden gedaan naar mogelijke redenen waarom bepaalde patronen optreden bij longitudinale metingen of metingen binnen een bepaald item uitgaande van verschillende doelgroepen. Met de resultaten van het onderzoek met de antwoorden gegeven op de verbeterde vragenlijsten kunnen zorgboeren en hun collectieve organisaties nu nog effectiever sturen op de verbetering van de kwaliteit van de begeleiding, het wonen en de activiteiten. Uniek bij Vanzelfsprekend is dat daarbij ook gericht beleid gemaakt kan worden op de door de deelnemer zelf geformuleerde doelstellingen van de dagbesteding en/of het wonen op de zorgboerderij.

Heeft u vragen over het technisch gebruik van Vanzelfsprekend? Voor meer informatie over bijvoorbeeld, inloggen, vragenlijsten klaarzetten voor de deelnemer, de link naar de vragenlijst versturen en rapportages vinden, kunt u een handleiding downloaden. Staat uw vraag daar niet in, dan kunt u Support van Zilliz benaderen.
Voor onderzoeks-inhoudelijke vragen, meer informatie over het ontwerp van het onderzoek of het beoordelen van resultaten, kunt u contact opnemen nemen via dit formulier.