Construction and validation of a matrix for normative evaluation of the integrated health system of the borders

• Published in: Revista latino-americana de enfermagem Vol. 29; p. e3433
• Main Authors: Fabriz, Luciana Aparecida, Oliveira, Valéria Conceição de, Zacharias, Fabiana Costa Machado, Valente, Silvia Helena, Ferro, Denise, Pinto, Ione Carvalho
• Format: Journal Article
• Language: English
• Published: Sao Paulo Universidade de São Paulo-USP, Escola de Enfermagem de Ribeirão Preto - USP 01-01-2021; Escola de Enfermagem de Ribeirão Preto / Universidade de São Paulo; Universidade de São Paulo
• Subjects: Border Areas; Border Health; Health care management; Health Systems; NURSING; Original; Program Evaluation; Public health; Public Health Policy; Validation Studies; Validity; Áreas de Fronteira; Áreas Fronterizas; Health Systems; Avaliação de Programas e Projetos de Saúde; Border Health; Estudios de Validación; Evaluación de Programas y Proyectos de Salud; Border Areas; Estudos de Validação; Saúde na Fronteira; Validation Studies; Políticas Públicas de Saúde; Sistemas de Salud; Public Health Policy; Program Evaluation; Sistemas de Saúde; Políticas Públicas de Salud; Salud Fronteriza
• ISSN: 1518-8345; 0104-1169; 1518-8345
• DOI: 10.1590/1518-8345.4141.3433

Objective: to build and validate a matrix for normative evaluation of the Integrated Health System of Borders. Method: a methodological study, composed by the construction of an evaluation matrix elaborated in three stages: elaboration of the logical model, containing the triad of structure, process and result; definition of evaluative questions and appearance and content validation of the matrix. Appearance and content validation were performed simultaneously by seven judges. For data collection, an online questionnaire and the Delphi technique were used and, for analysis, the Content Validity Index and Content Validity Ratio. Results: the evaluation matrix containing 24 questions was submitted to two evaluations for its appearance and content validation. In the first, the overall mean Content Validity Index was 99.40% and the Content Validity Ratio was 0.90. In the second, the Content Validity Index was 100% and the Content Validity Ratio, 1.0; there were no new proposals and the matrix was made up of 24 questions. The matrix was considered intelligible in terms of appearance validation. Conclusion: the evaluation matrix of the Integrated Health System of the Borders is validated in terms of appearance and content for analyzing the performance of public actions and policies in border regions.
Objetivo: construir e validar uma matriz para avaliação normativa do Sistema Integrado de Saúde das Fronteiras. Método: estudo metodológico, composto pela construção de uma matriz avaliativa elaborado em três etapas: elaboração do modelo lógico, contendo a tríade estrutura, processo e resultado; definição de questões avaliativas e validação aparente e de conteúdo da matriz. A validação aparente e de conteúdo foi realizada simultaneamente por sete juízes. Para a coleta de dados utilizou-se questionário on-line e a técnica Delphi, e para análise, o Índice de Validade de Conteúdo e Razão de Validade de Conteúdo. Resultados: a matriz de avaliação contendo 24 questões foi submetida a duas avaliações para a sua validação aparente e de conteúdo. Na primeira, o Índice de Validade de Conteúdo médio geral foi de 99,40% e a Razão de Validade de Conteúdo de 0,90. Na segunda, o Índice de Validade de Conteúdo foi de 100% e a Razão de Validade de Conteúdo de 1.0, não houve novas proposições e a matriz foi constituída de 24 questões. A matriz foi considerada inteligível quanto à validação de aparência. Conclusão: a matriz avaliativa do Sistema Integrado de Saúde das Fronteiras encontra-se validada quanto à aparência e conteúdo para análise do desempenho de ações e políticas públicas em regiões de fronteira.
Objetivo: construir y validar una matriz para evaluar la normativa del Sistema Integrado de Salud de las Fronteras. Método: estudio metodológico, compuesto por la construcción de una matriz de evaluación elaborado en tres etapas: elaboración del modelo lógico, que contiene tres componentes: estructura, proceso y resultado, definición de cuestiones evaluativas y validación de aspecto y de contenido de la matriz. Siete jueces realizaron la validación de aspecto y de contenido en forma simultánea. Para la recolección de datos se utilizó un cuestionario online y la técnica Delphi y, para el análisis, el Índice de Validez de Contenido y la Relación de Validez de Contenido. Resultados: se sometió la matriz de evaluación con 24 preguntas a dos evaluaciones para su validación de aspecto y de contenido. En la primera, el Índice de Validez de Contenido medio general fue del 99,40% y la Relación de Validez de Contenido fue de 0,90. En la segunda, el Índice de Validez de Contenido fue del 100% y la Relación de Validez de Contenido fue de 1,0; no hubo nuevas propuestas y la matriz quedó constituida por 24 preguntas. Se consideró la matriz inteligible respecto a la validación de aspecto. Conclusión: la matriz de evaluación del Sistema Integrado de Salud de las Fronteras se encuentra validada en cuanto a aspecto y contenido para el análisis del desempeño de acciones y políticas públicas en regiones de frontera.