Proyecto B

EEUU (Columna de Opinión): El “estándar de oro” en la práctica basada en evidencia: Deseado, sin embargo controversial

agosto 18, 2014
  • Columnista: GARY GATELY| 12 de Agosto, 2014
  • Traducción: María Eugenia Sosa Hernandez

Parecía un retorno a los días del “doctor de campo”: “Ve hacia los pacientes en vez de que ellos vengan a ti”.

Ese fue el consejo que recibió Scott Henggeler de parte de su supervisor (un trabajador social) mientras trabajaba como interno del departamento de pediatría de la escuela de medicina de la Universidad de Virginia, a mediados de los 70.

Scott decidió hacerle caso y tomó la van del departamento para realizar visitas domiciliarias en Shenandoah Valley, en el área de Charlottesville, y al poco tiempo tuvo una epifanía respecto al sin sentido de tratar de intervenir con algunos de los jóvenes más problemáticos en un setting de oficina.

“Visité cerca de seis o siete hogares y en cada caso, bastaba poner un pie adentro para darse cuenta de lo ridículo que era tu plan de tratamiento académico” indicó Henggeler a JJIE. “Intervenir dentro del hogar simplemente removió las barreras, la mayoría de las barreras que estos jóvenes tenían y te ayudaba a vincularte mejor con sus familias, permitiendo además realizar una evaluación mucho más acertada de la situación”

“Cuando comprendes mejor una situación, y en realidad no hay mejor forma de hacerlo que sentarse en la sala de estar de su casa, cuando comprendes el contexto real de las personas –quien vive en la casa, cómo son esas personas, como es su vida – te ayuda a desarrollar mejores y más acertados planes de tratamiento”, indicó. “Además te entrega mejor información respecto a los resultados obtenidos por la intervención porque estás viendo si es que el cambio que buscabas realmente ha sucedido, contrario a traer a los usuarios a una clínica y que sólo te cuenten lo que está sucediendo”.

Henggeler y sus colegas finalmente extendieron su tratamiento de manera de que no sólo incluyese a jóvenes que hubiesen infringido la ley y sus familias, sino que además incluyeron a sus escuelas, profesores, vecindario y amigos.

A inicio de los 90’s llamaron a esta intervención pionera en su clase “Terapia Multisistémica” (Multisystemic Therapy o MST), en tanto se enfoca en todos los “sistemas” dentro de los cuales se mueve un niño. Tras numerosos pilotajes MST se expandió rápidamente, operando actualmente en 34 estados del Distrito de Columbia, EEUU y otros 14 países. Actualmente el modelo MST de trabajo se encuentra asociado a la organización sin fines de lucro MST Services, cuya casa central se encuentra en el Centro de Investigación en Servicios para la Familia (Family Services Research Center) en la Universidad Médica de Carolina del Sur (Medical University of South Carolina) en Charleston.

MST se ha destacado como uno de los más conocidos y más extensamente evaluados dentro de lo que se conoce en los círculos académicos de la justicia juvenil como práctica basada en la evidencia (“evidence-based practice” o EBP). La práctica basada en la evidencia comprende a toda práctica o programa que ha demostrado, a partir de la investigación, tener un impacto positivo sobre su objeto de intervención; en este caso en la prevención o reducción del delito juvenil; ayudando a los jóvenes a tomar mejores decisiones.

Por ello es que la identificación de un programa como EBP es altamente deseada y a la vez controversial. Puristas argumentan que sólo debiesen ejecutarse en justicia juvenil aquellos programas que han sido sujetos al más riguroso escrutinio científico, comparándolos con el estándar de oro en medicina.

Escépticos por su parte reconocer que los programas que han sido identificados como EBPs pueden ser muy efectivos, sin embargo indican que la limitación del financiamiento sólo a programas de este tipo perjudica programas locales y emergentes en el área.

En justicia juvenil el término EBP aparece hacia la mitad de los años 90, cuando los pruebas aleatorias controladas –diseñadas en base a la metodología utilizada por el departamento de Administración de Comida y Drogas (Food and Drug Administration) de los EEUU para la evaluación de nuevas drogas- comprobaron la efectividad de distintos programas de justicia juvenil.

Que un programa sea identificado como EBP no es un tema menor. Muchas instituciones públicas y privadas indican como requisito para la entrega de financiamiento a programas sociales que éstos sean una práctica considerada efectiva.

Es por ello que recibir la designación de EBP es de un alto costo. Algunos expertos han determinado que una prueba aleatoria controlada de un programa de justicia juvenil puede costar entre $300.000 (cerca de 170 millones de pesos) y 5 millones de dólares (cerca de 2.800 millones de pesos).

En los Estados Unidos siete registros nacional, tres de ellos federal, entregan una designación de EBP, utilizando distintas clasificaciones para ello. Estos registros varían ampliamente en términos de la cantidad y rigor de las evaluaciones que requieren. Al menos 450 programas orientados a comportamiento juvenil (incluyendo comportamiento delictual) han recibido el sello de aprobación emitido por al menos uno de estos registros.

El Oro en el registro Blueprints[1]

El registro con los más altos estándares de evaluación dentro de los programas de justicia juvenil (ampliado recientemente a todo tipo de programas para jóvenes) es la iniciativa Blueprints for Healthy Youth Development, con base en el Instituto de Ciencias del Comportamiento en la Universidad de Colorado en Boulder y está financiado por la  Fundación Annie E. Casey.

El Centro para el Estudio y Prevención de la Violencia (Center for the Study and Prevention of Violence), instituto de Colorado, comenzó el proyecto Blueprints en el año 1996 (Blueprints for Violence Prevention) con el objeto de identificar y replicar programas de prevención de violencia, delincuencia y consumo de drogas que hayan comprobado su efectividad.

Delbert Elliott, profesor de sociología emérito de la Universidad de Colorado y director fundador del Centro para el Estudio y Prevención de la Violencia, indicó que Blueprints surgió de su frustración con la forma en que Colorado había tomado decisiones de financiamiento de programas de justicia juvenil en los años 90.

“Estas decisiones se tomaban dependiendo de a quién conocías, en base al lobby político, porque el comité que tomaba estas decisiones se conformaba íntegramente de políticos”, indicó Elliot a JJIE. “Lo que me sorprendía era que nadie se preguntaba si es que un programa funcionaba o no. ¿Existe alguna evidencia de que este programa ha probado ser efectivo? ¿Existe evidencia de que si metemos niños a este programa obtendremos resultados positivos?”

Cada uno de los 1.300 programas evaluados por Blueprints ha sido revisado por un panel independiente de expertos en evaluación programática, y sólo nueve programas relacionados con justicia juvenil han recibido la clasificación de programa “modelo”, mientras que 23 han sido calificados como “promisorios”. Para calificar como un programa modelo, un programa debe haber sido evaluado en al menos una prueba aleatoria controlada, debe presentar resultados positivos que se mantengan al menos durante un año después d
e la intervención y el programa debe ser capaz de ser replicado en otros lugares (Elliott plantea que los proyectos debiesen calificar como programas modelos antes de ser implementados a nivel de estado o a nivel nacional, pero que la calificación de promisorio debiese bastar para uso a nivel local). 

“Se debe ser muy cuidadoso al invertir fondos públicos en este tipo de programas; debe estarse muy seguro de que se obtendrán efectos positivos”, indicó Elliott, haciendo notar además que algunos programas de justicia juvenil, como el programa Scared Straight [2] no sólo habían probado ser inefectivos, sino que de hecho empeoraban la situación que buscaban prevenir.

“No existe un Juramento Hipocrático que se requiera de quienes desarrollan este tipo de programas” indicó Elliott, “por lo que el movimiento de EBP es una forma de decir que deberíamos invertir en… programas que funcionan”.

Clay Yeager, consultor senior de la organización Evidence-Based Associates ubicada en Washington y que apoya a distintas jurisdicciones de la zona en la implementación y administración de EBPs, aplaude la iniciativa de registro Blueprints.

Yeager, residente de York, quien ejerció como director de la Oficina de Justicia Juvenil y Prevención de la Delincuencia de Pensilvania entre los años 1997 y 2002, afirmó que aboga por la instalación de pruebas controladas aleatorias como el estándar de oro de los programas de justicia juvenil.

Si un estándar es lo suficientemente bueno como para utilizarse a la hora de prescribir medicamentos ¿Por qué debería tenerse un estándar más bajo cuando se habla de programas que atienden a problemáticas de niños, sus familias y sus comunidades?”.

No sorprende que junto a ello Yeager muestre preocupación respecto a la media docena de registros además de Blueprints en tanto las calificaciones de estos otros registros se habrían flexibilizado hasta el punto de “perder su significado y valor” a la hora de evaluar la potencial efectividad de los programas.

“Ha generado gran confusión entre los consumidores – y con ello me refiero a encargados de diseñar políticas públicas, oficiales, ejecutores- quienes al no poder discernir entre los distintos estándares de calificación que cada uno de los más de 450 programas certificados EBP debió cumplir para certificarse”, indicó  Yeager.

“Ha habido tantos cambios, variaciones, del término EBP, que se ha disminuido su valor y significado original” afirmó, “es un flaco servicio a los niños, a las familias y a quienes pagan sus impuestos… no tener mayor claridad respecto a qué constituye un programa basado en evidencia y qué es lo que constituye la definición de la base en evidencia”.

Evidence-Based Associates ha asistido a varias jurisdicciones implementar y manejar MST y otros programas modelo de Blueprints, incluyendo la Terapia Familiar Funcional (Functional Family Therapy o FFT), la cual implica un trabajo intenso con jóvenes que presentan problemáticas sociales y sus familias.

Yeager observó que en los Estados Unidos se invierten cerca de $6 a $7 millones de dólares(entre 3.000 y 4.000 millones de pesos) anualmente sólo en el encarcelamiento de menores de edad, un promedio de $88.000 dólares por joven al año (casi 51 millones de pesos). Esto a pesar del cúmulo de evidencia que da cuenta de su inefectividad.

En contraste, MST costaría un promedio de $5.100 a $11.950 dólares (entre 3 y 7 millones de pesos)   por familia en los EEUU. En el curso de un promedio de cuatro meses de tratamiento, los terapeutas realizan múltiples contactos con la familia en su domicilio y con la comunidad circundante.

MST ha presentado evaluaciones que redujeron las tasas de encarcelamiento a largo plazo que varían entre el 25% y 70%, disminuyendo el traslado de jóvenes entre un 47% y 64%. La terapia además llevó a disminuir el abuso de sustancias, disminuir problemas diagnosticados en salud mental (en el caso de jóvenes infractores de alto compromiso) y un funcionamiento familia acorde a MST.

FFT y sus raíces en las visitas domiciliarias en Watts

FFT cuesta en promedio cerca de $3.500 dólares (2 millones de pesos) por familia atendida y cada familia es atendida usualmente, tanto en setting de oficina como en sus domicilio, entre 12 y 15 veces dentro de un período de 3 a 5 meses.

El fundador de FFT, James Alexander, psicólogo e profesor investigador adjunto en psicología clínica en la Universidad de Utah, en Salt Lake City, plantea que  su primer interés en ayudar a jóvenes con problemas conductuales y sus familias apareció mientras realizaba visitas domiciliaras como trabajador social en la sección Watts en Los Ángeles, previo al alzamiento social de 1965.

“Me vi inmediatamente inmerso en temas de raza, cultura y, por supuesto, mucha violencia, disrupción familiar, todo ese tipo de cosas, y fue ahí que comenzó a meterse en mí el ‘bichito’ de querer hacer algo al respecto”, cuenta Alexander.

“Tratamos de ayudar a los usuarios a convertirse en personas capaces de adaptarse, de ser efectivos y funcionales en maneras en que les haga sentido”

FFT, originalmente basada en Seattle, al día de hoy opera en 45 estados de los Estados Unidos y otros 10 países. El modelo ha demostrado reducir de manera significativa la reincidencia y ayudar a que jóvenes superen problemas de delincuencia, abuso de sustancias y violencia.

Si bien las EBPs han recibido un considerable apoyo, no todos ven el estándar de oro del enfoque basado en evidencia como una prueba de que los programas puedan ser realmente efectivos.

¿Programas valiosos dejados de lado?

Jeffrey Butts, el director del Centro de Investigación y Evaluación de la Universidad de Justicia Criminal John Jay (Research and Evaluation Center at John Jay College of Criminal Justice at the City University of New York) en la ciudad de Nueva York indicó que a pesar de que una práctica esté basada en evidencia no garantiza buenos resultados, muchos actúan como si lo hiciera.

“En un mundo perfecto, donde todo el mundo fuese inteligente y leyese todo lo que pueda, y prestase atención y fuese estudioso de su campo y tomase su trabaje en serio, no sería un problema, porque la gente se daría cuenta de que existen múltiples fuentes de información”, dijo Butts en una entrevista.

“Pero en un mundo torpe y con déficit de atención, es un problema porque alguien dice ‘Oye, estoy en el Comité de Financiamiento de Indiana o Nebraska o algo así y necesitamos un programa basado en la comunidad. ¿Cuál deberíamos utilizar?’ Y algún veinteañero dice ‘Me meteré al sitio web de [registro de EBPs] y lo revisaré y te encontraré un buen programa’”

“En este mundo es un problema porque ese trabajador veinteañero que le habla al vendedor de seguros que acaba de ser elegido para el comité no es muy sofisticado y ambos buscan una respuesta fácil, a primera vista simple, en estos registros de programas.”

En un correo electrónico enviado a JJIE, Buts reconoce que programas de marca registrada como MST o FFT, tienen un mérito en el tratamiento de los jóvenes para los cuales fueron diseñados, pero indicó “Necesitamos un menú completo de opciones y debemos seguir desarrollando nuevas opciones evaluando nuevos modelos y nuevos conceptos de intervención”.

Shaena Fazal, la directora nacional de diseño de políticas de la organización sin fines de lucro basada en Washington Youth Advocate Programs Inc. (YAP) se mostró abiertamente frustrada respecto a que su programa no haya sido calificado como EBP.

YAP provee alternativas de base
en la comunidad a jóvenes que de otra manera serían retirados de sus hogares. Funciona en 17 estados e incluye intervenciones como apoyo intensivo para los jóvenes y sus familias en sus hogares, comunidades y escuelas.

“Estamos, al igual probablemente que todas las organizaciones sin fines de lucro que no han recibido el estándar de oro, realizando un estudio aleatorio controlado”, dijo Fazal a JJIE. “En algunos de nuestros programas usamos prácticas basadas en evidencia, a pesar de que el modelo YAP en sí no ha recibido el reconocimiento de estándar de oro en EBP con un estudio aleatorio controlado”.

Como Fazal irónicamente hace notar, no existe ningún reconocimiento de estándar de oro para la práctica de encarcelar 160.000 jóvenes cada año en los Estados Unidos.

“Cuando la gente habla sobre la reforma en justicia juvenil y las prácticas basadas en evidencia, se centra mucho en el encarcelamiento, que no es para nada una práctica basada en la evidencia”, indicó. “Y nadie nunca pide que se realice un estudio aleatorio controlado del encarcelamiento de niños y jóvenes. Si lo hicieran se encontrarían con que esa es una barrera bastante grande”

“Ese es un punto que me gustaría discutir pues creo que vale la pena pensar sobre ello. ¿Porqué es que ponemos un estándar tan alto en los programas de base en la comunidad pero no hacemos lo mismo respecto al daño y peligro del encarcelamiento?”.

YAP, que se fundó en Pennsylvania en el año 1975, contrata a mentores “desde licenciados en enseñanza media hasta doctorados” que trabajan con jóvenes y sus familias en un entorno comunitario.

¿Pero cómo puede evaluarse el potencial de programas genéricos y basados en la comunidad sin realizar costosos estudios aleatorios controlados?

¿Una guía para disminuir la brecha?

Mark Lipsey, profesor investigador en la Universidad de Vanderbilt, en Nashville, Tennesse, ha creado una guía experimental para llevarlo a cabo.

El “Protocolo de Evaluación Estandarizada de Programas” (Standardized Program Evaluation Protocol, SPEP) se basa en un meta-análisis llevado a cabo por él y por sus colegas a partir de más de 500 estudios realizados durante los últimos 20 años.

SPEP revisa en profundidad los resultados en cuando a reducción de reincidencia tanto de programas de marca registrada, como MST, FFT o la Terapia de Reemplazo de Agresión (Aggression Replacement Therapy) junto a programas genéricos como aquellos relacionados con la terapia grupal, terapia familiar y terapia cognitivo-conductual.

“Si comenzamos a pedir que cada programa tenga un estudio aleatorio para demostrar que funciona, que cada programa que se ejecuta en el mundo real actual, no hay posibilidad de que eso alguna vez suceda” dijo Lipsey a JJIE.

Se refirió a la división que a veces se genera entre puristas de la EBP y quienes defienden los programas genéricos.

“En mi mente, éstos no son opuestos. Son complementarios”, indicó, “Hay personas muy apegadas al concepto de marca registrada y que consideran un sinsentido que cualquier otro programa sea legítimamente considerado como basado en evidencia. Yo no lo veo de esa manera, yo veo diferentes formas de usar la evidencia”.

SPEP es un componente clave del Proyecto de Mejora del Sistema Juvenil del Centro para la Reforma de la Justicia Juvenil en la Escuela McCourt de Políticas Públicas de la Universidad de Georgetown (Center for Juvenile Justice Reform at Georgetown University’s McCourt School of Public Policy) en Washington.

Shay Bilchik, fundador y director del Centro para la Reforma de la Justicia Juvenil, destacó el trabajo de SPEP indicando “Creo que lo que nos entrega el trabajo del Dr. Lipsey es la evidencia de que no siempre necesitamos reemplazar un programa genérico por un programa Blueprints… para demostrar que, en esencia, se está entregando lo que la ciencia nos dice que es práctica efectiva”.

“Podemos utilizar el Protocolo Estandarizado de Evaluación de Programas que ha desarrollado el Dr. Lipsey para observar programas locales y ver qué tanto se acercan a aquellos programas tipo Blueprints, basados en evidencia” agregó Bilchink, quien se desempeñó como administrador de la Oficina Federal de Justicia Juvenil y Prevención del Delito entre 1994 y 2000.

SPEP, refirió Bilchick, también puede ayudar a identificar programas que podrían no estar funcionando tan bien como podrían debido a una ejecución pobre.

Haciendo eco de las opiniones de otros investigadores Bilchik indica que SPEP podría dar cuenta de programas que no alcanzan su potencial debido a una mala relación entre el programa y la población que atiende.

Ya sean EBPs o no, los programas funcionan mejor cuando se enfocan con jóvenes de alto riesgo, cuando se adaptan a las necesidades específicas de los jóvenes (basándose en los resultados de instrumentos de evaluación validados para la población) y cuando se enfocan en tratamiento y fortalecimiento de competencias más que en el castigo o la disuasión.  

James Bell, director ejecutivo del instituto W. Haywood Burns, organismo enfocado en eliminar condiciones de desigualdad étnica y racial dentro del sistema de justicia juvenil, indicó que requerir un certificado de EBP a los programas podría generar condiciones no equitativas.

“Muchas organizaciones no gubernamentales, que han entregado servicios a jóvenes –ciertamente también a jóvenes de color – que no han sido consideradas EBP si sienten ampliamente amenazadas por esta nueva ola que requiere tener un estudio aleatorio controlado”, indicó Bell, quien además fundó el instituto que lleva el nombre del fallecido líder de los derechos civiles W. Haywood Burns.

Bel planteó que además tiene objeciones respecto al uso de grupos comparación compuestos por niños que sólo recibirán un tratamiento placebo y que por lo tanto no se beneficiarán del programa que se evalúa.

Indica que es hora de encontrar un punto medio entre los programas EBPs de marca registrada y programas genéricos de base en la comunidad. 

“Creo que el camino hacia adelante no es continuar confrontando a quienes desarrollan programas basados en evidencia contra programas en la comunidad, por lo que debiésemos dejar de forzar a los programas genéricos a alcanzar el nivel de prácticas basadas en evidencia”, indicó Bell.

“Para mí, esa es una fórmula para el fracaso. Lo que deberíamos hacer es querer las mejores prácticas para los jóvenes”.

Visita la sección de Evidence-Based Practices del Juvenile Justice Resource Hub.

[1] Nota de traducción: Blueprints en español puede ser traducido como  “Proyecto o Plan de acción”,  se ha dejado el término Blueprints en el texto en tanto corresponde con el nombre registrado de la organización.

[2] Nota de traducción: Scared Straight es un programa que busca disminuir la participación de jóvenes en hechos delictuales identificando a aquellos jóvenes que han cometido faltas o delitos menores y exponiéndolos a la vida dentro de un centro penitenciario, ya sea en visitas guiadas o con métodos más agresivos como hacerles pasar una noche en el centro o ser amedrentados por algunos de los internos.

Compartir por

Facebook Twitter LinkedIn