1 Program med lav sannsynlighet for resultater
Disse programmene kjennetegnes ved at de har lav kunnskapsmessig forankring. Det vil si at de i liten grad bygger på teori og/eller empiri som kan sannsynliggjøre ønskede resultater innenfor innsatsområdet.
Programmene bærer preg av at intensjoner, ideologi og antakelser har fått prioritet foran forskningsbasert kunnskap om det området programmet omhandler.
Disse programmene har sjelden klare implementeringsstrategier. De vil dermed ikke bli en del av institusjonens daglige virksomhet. Mange av programmene kjennetegnes ofte ved liten og tidsavgrenset innsats. Programmene kan også kjennetegnes ved at det brukes egne instruktører eller at det avholdes en forestilling som den enkelte skole og lærer ikke har noe ansvar for.
Programmene er ofte ikke evaluert og i de tilfeller det eksisterer evalueringer, er det sjelden mulig å dokumentere noen utvikling eller endring i atferd hos barn og unge.
Den kognitive orienteringen i programmene kan ha en ensidig fokusering ved at informasjonsformidling er en sentral strategi for å endre atferd. Flere av programmene legger også vekt på at det skal foregå en holdningspåvirkning og senere atferdsendring ved å gi elever enkeltstående emosjonelle opplevelser.
I programmene legges det sjelden vekt på betydningen av interaksjonen mellom barn/unge og deres omgivelser.
2 Program med god sannsynlighet for resultater
Program med god sannsynlighet for resultater bygger på teoretisk og/eller empirisk kunnskap som gir støtte til antakelser om positive resultater av programmet. De har en forankring i grunnleggende teoretiske tilnærminger til fagområdet, eller de kan også være utviklet ut fra empirisk kunnskap om for eksempel sammenhenger mellom innsatsområder og elevatferd.
Den teoretiske og/eller empiriske forankringen er påpekt og dokumentert i programbeskrivelser, veiledninger eller manualer. Innholdet og aktivitetene i programmet skal ha en klar sammenheng med dette kunnskapsgrunnlaget.
Programmene har ikke dokumentert effekt på aktuelle resultatområder. Dette kan skyldes at programmene enten ikke er evaluert, eller at de ikke er evaluert med en design som kan dokumentere resultater.
Program med sannsynlig effekt vil ha implementeringsstrategier som forankrer tiltaket over tid i skolen. Det legges som regel vekt på at ansatte i institusjonene skal ha et klart ansvar for implementering og gjennomføring av programmet.
I forhold til endring av atferd vil dette ofte innebære noe mer enn ensidig kognitive tilnærminger ved f.eks. kun å formidle informasjon.
Programmene vil i noen grad bygge på kunnskap om sammenhenger mellom atferd og omgivelser. Dette kan innebære en vektlegging av å bidra til endringer i lærings- og oppvekstmiljøet gjennom å styrke beskyttelsesfaktorer.
3 Program med dokumenterte resultater
Program med dokumenterte resultater bygger på forskningsbasert kunnskap som gir støtte til antakelser om positive resultater av programmet. De har en forankring i grunnleggende teoretiske tilnærminger og/eller empirisk kunnskap innenfor fagområdet.
Disse programmene er godt utprøvd i aktuelle institusjoner, og de har gjennom minst en evaluering dokumentert positive resultater av programmet.
Evalueringen(e) har en design som gir muligheter for å dokumentere resultater. Dette innebærer at forskningsdesignen skal tilfredsstille følgende kriterier: – Det er en før- og ettermåling i evalueringen (pre- og postdesign). Rene etterundersøkelser basert på subjektiv estimering av resultater fra ulike informantgrupper er ikke tilstrekkelig. – Evalueringen har et sammenligningsgrunnlag. Det kan være en sammenligningsgruppe, en kohort eller annen dokumentasjon om barn og unges vanlige atferd/kunnskap innenfor aktuelle målområder. – I evalueringene måles det flere variabler enn kun innsatsfaktorer og resultater for å kunne vurdere eventuelle positive og negative sideeffekter. – Resultatene skal dokumenteres på ønskede resultatvariabler i programmet. Evalueringsresultatene kan være knyttet til endring av mellomliggende variabler forutsatt at det eksisterer kunnskap om sammenhengen mellom mellomliggende variabler og ønskelig resultatvariabel. – Programmet skal primært være evaluert i Norge. Hvis det ikke eksisterer norske evalueringer, skal programmene være evaluert i minst to uavhengige utenlandske studier der den ene skal være under “normale forhold”. Programmet skal heller ikke være endret på innholdsmessige komponenter gjennom oversettelse og bruk i Norge.
Evalueringsdesignen blir også vurdert ut fra flere kriterier uten at det stilles krav til at disse skal være oppfylt. De viktigste av disse vurderingsspørsmålene er: – Er utvalgene randomisert, og beskriver evalueringen hvordan utvalgene er trukket? – Inkluderer evalueringen måling av ønskede og uønskede sideeffekter av programmet? – Bygger evalueringen på multiple informanter? – Inkluderer evalueringen en oppfølgingsmåling mer enn seks mnd etter initieringen av tiltaket? – Tar de statistiske analysene hensyn til effekter på individ-, gruppe- og skolenivå? – Har programeffekten blitt gjentatt minst én gang i en uavhengig studie under ”normale betingelser”? Det vil si at det ikke skal være tilført mer ressurser og annen støtte til programmet enn det som vil gjøre det mulig å gjennomføre programmet i de fleste pedagogiske institusjoner.
Programmene har klart definerte implementeringsstrategier som forankrer tiltaket over tid. Det legges ofte vekt på at ansatte i barnehagen/skolen skal ha opplæring og ansvar for gjennomføringen.
Programmene omfatter som regel alle ansatte, og har sjelden kun en teoretisk forankring som for eksempel en emosjonell eller en kognitiv tilnærming