Este resumo foi apresentado na Reunião Anual da Society for Prevention Research de 2018, realizada de 29 de maio a 1º de junho de 2018 em Washington, DC, EUA.

Chris Sharenbroch NCCD

Inúmeras abordagens empíricas foram introduzidas para desenvolver ferramentas analíticas preditivas, mas as medidas para avaliar essas ferramentas nem sempre foram consistentes nem aplicáveis. As implicações para o uso do Predictive Analytics na prática apoiam claramente a necessidade de critérios e métodos bem definidos e consistentes utilizados para avaliar a eficácia e o patrimônio das ferramentas analíticas resultantes. Este artigo e apresentação revisarão brevemente os vários métodos usados até o momento no Predictive Analytics, incluindo métodos atuariais, análises florestais aleatórias, árvores de classificação e abordagens de rede neural. Pesquisas anteriores sugerindo que abordagens mais simples que resultam em pesos de itens menos específicos muitas vezes resultam em ferramentas preditivas mais válidas, serão revisadas, bem como limitações comuns dos dados de administração do sistema.

Apesar das diferenças nas abordagens metodológicas utilizadas para desenvolver análises preditivas, são necessários critérios comuns para garantir que os resultados sejam confiáveis, válidos, equitativos e úteis. Serão discutidos métodos e razões para garantir a confiabilidade entre taxas, com alguma discussão sobre por que a confiabilidade entre taxas é enfatizada sobre a confiabilidade entre itens. A importância da validade preditiva e dos métodos para testá-lo será delineada, seguida de um esboço paralelo de medidas e métodos de equidade nos achados. Sensibilidade e especificidade são medidas ideais de validade quando as decisões informadas por análises preditivas são dicotóticas (sim ou não decisões de serviço), mas têm aplicação limitada quando as decisões de serviço são multifacetadas com muitos níveis de serviço prestados. Serão abordadas nuances de equidade, bem como a importância de avaliar a equidade por grupos culturais representados na população, regiões geográficas e quaisquer outros subgrupos relevantes. Por fim, o papel e a apresentação delinearão como garantir a utilidade das análises preditivas para os profissionais e como monitorar o uso e a precisão das ferramentas Predictive Analytic nas configurações da prática para garantir consequências não intencionais. Exemplos de programas de prevenção, serviço de proteção à criança e agências de serviços de justiça juvenil serão referenciados para enfatizar e demonstrar a necessidade dessas abordagens comuns de avaliação. A discussão final resumirá a necessidade e a lógica de critérios e medidas comuns e definidos pela teoria da ciência de prevenção para avaliar ferramentas predictivas utilizadas na prática.