El Estudio de Línea de Base (en adelante, ELB) es una investigación aplicada, realizada con la finalidad de describir la situación inicial de la población objetivo de un proyecto, así como del contexto pertinente, a los efectos de que esta información pueda compararse con mediciones posteriores y de esta manera evaluar objetivamente la magnitud de los cambios logrados en virtud de la implementación de un proyecto.
Por lo tanto, un ELB constituye una forma de investigación dirigida a obtener los referentes básicos de evaluabilidad del proyecto y, al mismo tiempo, un instrumento esencial para mejorar los procesos de gestión del conocimiento y toma de decisiones en el ámbito de una institución de promoción del desarrollo y del país en su conjunto.
Un ELB se realiza, por lo general, en diez pasos: abarca desde la determinación del ámbito de estudio hasta la redacción del informe final. Estos pasos, sin embargo, están enmarcados en tres procesos amplios: determinación del marco muestral, especificación de las variables de estudio y generación, almacenamiento y análisis de los datos.
Una línea de base, esencialmente, está constituida por los valores de un conjunto de indicadores directamente relacionados a las variables clave de un proyecto. Por lo tanto, representan la primera evaluación de la situación de la población beneficiaria o, extensivamente, de los beneficios directos, privados y sociales, que conforman la razón de ser del proyecto.
La contraparte de una línea de base es la línea de salida, que muestra el valor de los mismos indicadores luego de concluida la intervención. La comparación de la línea de base con la línea de salida es la base para la cuantificación del impacto del proyecto.
1. Determinación del ámbito de estudio.
2. Determinación de los objetivos del estudio.
3. Selección de variables e indicadores del estudio.
4. Determinación del marco muestral.
5. Diseño del cuestionario.
6. Prueba piloto del cuestionario.
7. Realización del trabajo de campo.
8. Construcción de la base de datos.
9. Análisis de datos.
10 Redacción del informe final.
Cuadro 1. Pasos de un estudio de línea de base
Elaboración propia.
Paso 1: Determinación del ámbito de estudio
La determinación del ámbito del estudio implica precisar la población objetivo del proyecto. En el contexto de un estudio de línea de base, debe entenderse por población al conjunto de todos los casos que concuerdan con determinadas especificaciones. La delimitación de la población implica determinar la unidad de análisis; es decir, el grupo de personas, instituciones u objetos a ser evaluados, lo cual depende del objetivo de la intervención.
La caracterización de la población objetivo implica la descripción, entre otros, de los siguientes elementos: características demográficas y sociales, características económicas y productivas, características tecnológicas y características históricoculturales.
La caracterización de la población objetivo de la intervención se efectúa mayormente con base en información obtenida a través de fuentes secundarias, tales como revisión bibliográfica, consulta de documentos oficiales y entrevistas a técnicos y expertos. En el caso del presente ELB, el ámbito de estudio está dado por las veinte regiones en las cuales se implementará el proyecto.
Paso 2: Determinación de los objetivos del estudio
Como se ha señalado, el objetivo general de un ELB es determinar la situación inicial de las unidades beneficiarias antes de la ejecución de un proyecto, a través de la determinación de los valores de ciertas variables clave resumidas a través de los indicadores que usualmente se encuentran consignados en el marco lógico del estudio de preinversión. Debe destacarse el hecho que mientras en el marco lógico se encuentran los nombres de los indicadores, en el ELB debe establecerse los valores de los mismos, a cuyo efecto, en el caso de los indicadores de fuente primaria, se debe identificar las variables, con sus respectivas definiciones operativas, unidades de medida, preguntas y categorías de agrupamiento de las respuestas en función de la escalas de medición establecidas.
Además, los ELB deben mostrar evidencias cualitativas de la situación de la población objetivo al inicio de la intervención, recogidas a través de entrevistas, talleres, grupos focales y cualquier otro tipo de técnicas cualitativas y participativas de recopilación de información.
Los objetivos específicos de un ELB en un proyecto concreto están en función de dos factores: los objetivos del proyecto bajo evaluación y el tipo de evaluación adoptado.
El diseño de un ELB tendrá determinadas características en el marco de una evaluación de impacto que en el caso de una evaluación de resultados simple. Por lo general, en una evaluación de resultados simple basta con recabar información de las variables relevantes sobre las unidades beneficiarias. En cambio, en una evaluación de impacto suele ser necesario –en el contexto de diseños experimentales o cuasi experimentales– la recopilación de información tanto de las unidades beneficiarias como de las unidades no beneficiarias que actúen como grupo de control.
En el presente ELB, los objetivos del estudio son el diagnóstico de la situación de los puestos de control de la SUNAT en lo que se refiere al uso de tecnología en las acciones de verificación de la documentación sujeta a control. Este objetivo específico se enmarca dentro de los objetivos estratégicos de reducción del incumplimiento tributario y el fortalecimiento de la institucionalidad de la SUNAT .
Paso 3: Selección de las variables e indicadores del estudio
La selección de indicadores debe considerar la idoneidad del indicador respecto de los objetivos del estudio, así como la viabilidad de obtener la información necesaria, bien sea de fuentes propias o fuentes de carácter secundario. Para determinar los indicadores que en cada caso específico serán utilizados, se recomienda el procedimiento siguiente:
• Identificación de las variables relacionadas con los objetivos de la intervención.
• Definición conceptual de las variables, con expreso señalamiento de la unidad de medida.
• Establecimiento de las categorías o niveles de valores que tomará la medición de las variables, con expreso señalamiento de la escala de medición que será utilizada para el procesamiento de la información.
• Procedimiento para recopilar los datos desde las unidades de análisis.
• Indicadores o medidas de resumen de los datos recopilados.
Las variables claves están relacionadas con los objetivos de la intervención. Para ello, los objetivos deben ser claros, específicos y mensurables. Cuantificar un objetivo consiste en asociarle patrones que permitan hacerlos verificables. En el caso del presente estudio, se han identificado un conjunto de 23 variables, divididas en 5 variables de fuente secundaria y 18 de fuente primaria. Para el caso de estas últimas, el sistema de información deberá considerar el desarrollo de un cuestionario que permita obtener datos para estas variables y el resumen de los mismos a través de los indicadores seleccionados.
Variables e indicadores son conceptos relacionados. El concepto de indicador es un concepto derivado de otro concepto más amplio: variable. Una variable es una magnitud cuyos valores son objeto de estudio en una acción de monitoreo y evaluación. Puede referirse a individuos, grupos de personas, organizaciones u otra unidad de análisis. La definición de las variables torna susceptibles de medición los temas de evaluación que, por lo general, están relacionados a los objetivos de una intervención.
La identificación y definición de variables es la tarea más importante en el proceso de diseño de un sistema de monitoreo y evaluación. Por lo general, una variable presenta cinco elementos básicos:
a) Nombre o denominación.
b) Definición operativa.
c) Categorías o niveles de los valores de la variable.
d) Procedimiento para recopilar los datos desde las unidades de análisis.
e) Indicadores o medidas de resumen de los datos recopilados.
Veamos, a modo de ejemplo, los elementos de la variable Satisfacción del usuario interno, que es una variable cualitativa.
Nombre: Satisfacción del usuario interno
Definición operativa y unidad de medida: Indica la percepción del grado de satisfacción de los trabajadores de la SUNAT en relación a las acciones de verificación de documentos sujetos a control.
Categorías y escala de medida: Se establecen cinco categorías.
(01) Muy satisfactorio. (02) Satisfactorio. (03) Indiferente. (04) Insatisfactorio. (05) Muy insatisfactorio.
Obtención de datos: ¿Considera que la verificación se realiza en forma adecuada? Indicadores • Porcentaje de aprobación.
El nombre de una variable debe ser breve y de fácil recordación. Debe ser inequívoco, evitando que se le confunda con otras variables. Una variable es un atributo o característica susceptible de medición, pero que sin una adecuada definición operativa no podría ser medida. La definición operativa es su forma de cálculo, que en unos casos puede ser una fórmula, pero en otras simplemente una especificación de los elementos que deberán considerarse.
Para obtener los datos (cuando se trata de variables de fuente primaria) se elabora una encuesta, cuyo núcleo está constituido por las preguntas del cuestionario y sus respuestas, las cuales para su procesamiento sistemático son agrupadas en categorías y a las cuales se aplican distintas escalas de medida.
Finalmente, obtenidos los datos, hay que resumirlos, a cuyo efecto se crean indicadores. Por ejemplo, luego de recopilar datos sobre el nivel de ingresos de la población del país, éstos son resumidos en dos indicadores: Ingreso promedio e Índice de Gini. Estos indicadores son los que se anotan en la línea de base, pues resumen la situación de las unidades de análisis, que en este caso están constituidos por toda la población del país.
Veamos el caso de una variable cuantitativa, como por ejemplo la variable Ingreso.
Nombre: Ingreso
Definición: Son los recursos monetarios netos, incluyendo todas las bonificaciones que percibe una persona por su ocupación principal y secundaria durante el período de referencia de la encuesta.
Categorías: Puede proponerse en forma de niveles o simplemente intervalos.
Por niveles de ingreso Alto, Medio, Bajo.
Por intervalos
Por ejemplo 11 intervalos (dólares)
(01) Menos de 200; (02) 201- 400;
(03) 401-600; (04) 601-800;
(05) 801-1000; (06) 1001-1400;
(07) 1401-1800; (08) 1801-2200;
(09) 2201-2600; (10) 2601-3000;
(11) Más de 3000 dólares.
Obtención de datos: ¿Cuál fue su ingreso total en el último mes?
Indicadores
• Ingreso promedio.
• Coeficiente de Gini.
Paso 4: Determinación del marco muestral
Para la recopilación de información debe tomarse en consideración el hecho de que, en principio, existen dos tipos generales de estrategias de muestreo: muestreo probabilístico y no probabilístico o dirigido. El muestreo probabilístico es un tipo de muestreo en el que se conoce la probabilidad de seleccionar un miembro individual de la población. El muestreo dirigido es aquel en el que se desconoce la probabilidad de seleccionar cualquier miembro individual de la población.
Muestra probabilística : Subgrupo de la población en el que todos los elementos de ésta tienen la misma posibilidad de ser elegidos.
Muestra dirigida: Subgrupo de la población en la que la elección de los elementos no depende de la probabilidad sino de las características de la sistematización.
Cuando una encuesta se realiza sólo a una parte de la población, se trata de un estudio muestral. Una muestra es un conjunto de elementos de una población o universo del que se quiere obtener información. A efectos de que la información obtenida de una muestra sea válida, ésta debe ser representativa de la población; es decir, que en su estructura se reproduzcan exactamente las características y comportamientos de la población de la que ha sido obtenida. Aunque la precisión o exactitud de los datos obtenidos a través de una muestra es menor que en un estudio censal, las ventajas de coste y tiempo superan con creces tal inconveniente
El proceso de muestreo supone llevar a cabo las siguientes etapas:
1. Definir la población objeto de estudio.
2. Seleccionar la estructura de la muestra (listas, directorios, etc.)
3. Especificar la unidad muestral.
4. Seleccionar el método de muestreo (probabilístico o no probabilístico).
5. Determinar el tamaño de la muestra.
6. Diseñar el plan de muestreo y, por último, seleccionar la muestra.
La unidad muestral es el elemento de la población de la cual se obtienen los datos. Pueden ser individuos, hogares, tiendas, empresas u objetos (productos, marcas, modelos, etc.). La muestra puede ser seleccionada por procedimientos aleatorios o no aleatorios. En el primer caso, se trata de un muestreo probabilístico, mientras que en el segundo es un muestreo no probabilístico. En un muestreo probabilístico todos los elementos de la población tienen igual oportunidad de ser seleccionados para componer la muestra. En un muestreo no probabilístico, en cambio, la selección de los elementos de la muestra se realiza, total o en parte, según criterios fijados por el investigador.
Existen cuatro procedimientos básicos para realizar un muestreo probabilístico: simple, sistemático, estratificado y por conglomerados o áreas:
• En el muestreo aleatorio simple todos los elementos de la población tienen la misma posibilidad de ser elegidos. Este sistema, aunque es el más adecuado para obtener una muestra representativa, es impracticable en muchos casos, sobre todo en poblaciones muy grandes.
• El muestreo sistemático es un procedimiento más rápido que un muestreo aleatorio simple. Consiste, en primer lugar, en dividir el número total de elementos de la población por el de la muestra, con objeto de determinar cada cuantos elementos de la población hay que elegir uno para componer la muestra.
• El muestreo estratificado es aplicable cuando la población puede dividirse en clases o estratos (por ejemplo: sexo, edad, clase social, nivel de estudios, tamaño del hábitat de residencia, etc.). Una vez determinados los estratos, se aplica a cada uno de ellos un muestreo aleatorio simple.
• En el muestreo por conglomerados o áreas lo que se elige al azar no son unos cuantos elementos de la población, sino unos grupos de elementos de la misma previamente formados, de los que se irán obteniendo al azar otros grupos de elementos, y así sucesivamente, hasta llegar a la unidad muestral primaria.
La muestra puede también seleccionarse por alguno de los métodos no probabilísticos siguientes: por conveniencia, de forma discrecional y por cuotas.
• El muestreo de conveniencia consiste en elegir aquellos elementos que mejor se adaptan a las conveniencias del investigador, como las personas que, de modo voluntario, están dispuestas a contestar o que están más al alcance del investigador. Una modalidad de este método es el muestreo en bola de nieve, en el que los individuos seleccionados inicialmente se utilizan como informadores para identificar a otras personas con las características deseadas, éstas a otras, y así sucesivamente.
• En el muestreo discrecional, también denominado muestreo opinático o intencional, los elementos son elegidos a criterio del investigador sobre la base de lo que él cree que el elemento seleccionado puede contribuir al estudio.
• El muestreo por cuotas es un caso especial del anterior. La muestra se selecciona de manera que sus características (de sexo, edad, lugar de residencia, ingresos, etc.) se ajusten a las establecidas como de control.
A fin de calcular el tamaño de la muestra, generalmente, se asume un nivel de significancia del 95%, un error de muestreo del 8% y una probabilidad de ocurrencia de 0.5. En base a dichos parámetros, la muestra queda conformada de acuerdo a los resultados obtenidos con la aplicación de la fórmula siguiente:
Donde:
p = Proporción de los que poseen atributo
q = Proporción de los que no poseen atributo
N = Tamaño de la muestra
EM = Error de muestreo
M = Tamaño de la población.
En el presente estudio, la encuesta de línea de base se realizará a través de dos modalidades: presencial y virtual. La primera modalidad está orientada a las regiones que presentan una brecha oferta-demanda de 9,339 consultas diarias, para lo cual se encuestará a un total de 111 personas. Dentro de dicho grupo se encuentran las regiones de Piura, Lima, Puno, Callao, Arequipa y Tumbes, las cuales en conjunto, representan aproximadamente el 83% de la muestra. La segunda modalidad se aplicará en las regiones que presentan una brecha de 2,009 consultas diarias, donde se encuestará a un total de 24 personas. Dentro de este grupo se encuentran las regiones de La Libertad, Tacna, Ica, Junín, Amazonas, Cusco, Huánuco, Ucayali y Madre de Dios, las cuales en conjunto representan el 18% de la muestra.
Paso 5: Diseño del cuestionario
El cuestionario es el formulario que contiene las preguntas o variables de la investigación y en el que se registran las respuestas de los encuestados. El diseño del cuestionario no es sencillo y presenta ciertas dificultades. Si bien preguntar es relativamente fácil, hacer buenas preguntas es un arte que requiere creatividad y experiencia.
Para un diseño apropiado del cuestionario es fundamental cumplir tres requisitos básicos:
1. Definir correctamente el problema a investigar.
2. Formular de forma precisa las hipótesis.
3. Especificar adecuadamente las variables y las escalas de medida.
Un cuestionario es un conjunto articulado y coherente de preguntas redactadas en un documento para obtener la información necesaria que permita realizar la investigación que la requiere. Desempeña funciones esenciales, tales como las siguientes:
• Traslada el objetivo de la investigación a preguntas concretas que serán respondidas por las personas encuestadas.
• Homogeniza la obtención de información, ya que todos los encuestados responden a las mismas preguntas del cuestionario.
• Si su diseño, estructura, ordenación y aspecto es acertado, el cuestionario contribuye eficazmente a que las personas proporcionen información.
• Ayuda a que el tratamiento de datos se haga más rápido, porque facilita las tareas de codificación de datos, pues figuran en el propio cuestionario, y su grabación en los equipos informáticos, especialmente cuando se trata de cuestionarios que se pueden leer con un lector óptico.
Las preguntas que contiene un cuestionario están determinadas por los objetivos de la investigación que se desea realizar, que pueden ser medir comportamientos, actitudes u opiniones.
Una investigación se diseña globalmente. Se fijan unos objetivos de conocimiento, los cuales determinan qué información debe recogerse y cómo va a medirse. Paralelamente, debe seleccionarse la técnica idónea para tratar la información.
Cada tipo de datos exige una técnica de análisis, y cada estudio necesita aplicar la técnica idónea.
Paso 6: Prueba piloto del cuestionario
Una vez que se ha elaborado el cuestionario conviene hacer una valoración del mismo. Para ello debe darse respuesta a las siguientes preguntas de esta lista de comprobación.
• ¿Responde el cuestionario a los objetivos de la investigación?
• ¿Son necesarias todas las preguntas?
• ¿Podrá el encuestado contestar a todas las preguntas?
• ¿Querrán los encuestados contestar a todas las preguntas?
• ¿Es fluido?
• ¿Es de una extensión razonable?
• ¿La secuencia de preguntas es correcta?
• ¿Se han incluido transiciones e introducciones?
Un cuestionario puede estar muy bien diseñado y el encuestador ser excelente. No obstante, siempre existe la duda sobre la veracidad de la información que se obtiene.
Tres son las fuentes de incertidumbre.
• Quien responde tiene dificultad para expresarse o para comprender el cuestionario. Puede ser por razones culturales o intelectuales. En general, los cuestionarios con preguntas cerradas son los más aconsejables para personas que tengan estas características en grado medio o bajo. Cuando se trata de preguntas abiertas es más difícil obtener respuestas, ya que obligan a un ejercicio mental. A veces el número de ítems o de categorías puede resultar excesivo, especialmente con personas mayores o muy jóvenes.
• Quien responde tiene mala memoria. Este problema aparece con frecuencia cuando se trata de personas de edad, pero también puede aparecer aisladamente en cualquier otra. Para conseguir información fiable se puede acudir a listas u otros elementos visuales (fotos, catálogos, etc.) que ayuden a recordar. También se puede invitar a que la persona escriba un diario.
• Quien responde puede ser reacio a contestar. Las razones pueden ser de diversa naturaleza. Pueden ser inconscientes o irracionales pues tal vez el encuestado no pueda dar argumentos sobre su negativa a responder. Otras veces pueden surgir barreras sociales o de inadmisibilidad. Otras veces las personas tienden a dar respuestas socialmente aceptadas, aunque internamente piensen lo contrario. Es posible que contesten en un sentido por educación, o para acabar la entrevista o encuesta cuanto antes.
Una vez que se haya diseñado el cuestionario, éste debe ser aplicado a un grupo de personas para efectuar una prueba. En una primera confección, es posible que no se acierte con aspectos semánticos en las preguntas. Es decir, la redacción del cuestionario puede no ser del todo correcta o que no se comprenda bien. Es posible, también, que algunas preguntas importantes no se hayan incluido, o no estén bien matizadas, o que haya un exceso de preguntas y algunas no sean significativas.
Los defectos de contenido y/o forma que pudieran aparecer en el cuestionario se detectan mediante pruebas piloto, dirigidas a pequeños grupos. Una vez subsanados los errores o perfeccionado el cuestionario se podrá dirigir a la totalidad de la muestra.
De esta manera se evita tener que repetir la investigación por haber difundido un cuestionario confuso o erróneo.
• En resumen, la prueba piloto del cuestionario persigue:
• Eliminar ambigüedades.
• Eliminar preguntas superfluas.
• Añadir al cuestionario preguntas relevantes.
• Simplificar preguntas difíciles.
• Cambiar el orden de las preguntas para agilizar el flujo de respuestas.
• Corregir la redacción.
• Eliminar faltas de ortografía.
• Comprobar que los códigos para grabar los datos más adelante sean correctos.
En la prueba piloto se mide la consistencia interna del cuestionario, a través del coeficiente “a de Cronbach”. Las pruebas piloto se repiten las veces necesarias hasta conseguir la mayor validez del cuestionario.
Paso 7: Realización del trabajo de campo
El conjunto de actividades realizadas para la recopilación efectiva de los datos recibe la denominación de trabajo de campo. Incluye la supervisión de los cuestionarios y el control de los errores de la falta de respuesta. El trabajo de recolección de datos pocas veces es realizado por la persona que diseña la investigación. Sin embargo, la etapa de recolección de datos es crucial, porque un estudio no es mejor que los datos recolectados en campo. Por tal razón, se debe seleccionar personas capaces y confiar en ellos para reunir los datos. Una ironía de la investigación de campo es que individuos con alta educación y capacitación diseñan la investigación, pero cuando se realizan las encuestas las personas que recolectan los datos por lo común tienen poca capacitación o experiencia. Al saber que la investigación no es mejor que los datos recolectados en el campo, los coordinadores de la investigación deben concentrarse en seleccionar cuidadosamente a los trabajadores de campo.
Gran parte del trabajo de campo lo realizan proveedores de investigación que se especializan en la recolección de datos. Cuando una segunda parte es subcontratada, la tarea del diseñador del estudio no es sólo la de contratar un proveedor de investigación, sino la de construir controles de supervisión sobre el servicio de campo. En algunos casos se usa una tercera firma. Si el administrador de la investigación contrata a un entrevistador interno o selecciona un servicio de entrevistas en el campo, idealmente los trabajadores de campo deben satisfacer ciertos requisitos. Aun cuando los requerimientos del puesto para diferentes tipos de encuesta varían, por norma los entrevistadores deben gozar de buena salud, ser extrovertidos y de presentación agradable, bien arreglados y vestidos.
Las personas que les gusta hablar con desconocidos casi siempre son los mejores entrevistadores. Una parte esencial de la entrevista es entablar una buena relación con el participante. Una personalidad abierta ayuda a los entrevistadores a garantizar la cooperación del participante. Los prejuicios del entrevistado pueden presentarse si el vestido o apariencia física del entrevistador de campo es poco atractiva o descuidada.
Una excepción a esto sería la investigación etnográfica, en la cual el entrevistador debe vestirse de acuerdo con el grupo que se estudia.
El objetivo de la capacitación es asegurar que el instrumento de recolección de datos se administre de manera uniforme por todos los trabajadores de campo. La meta de estas sesiones es que cada participante sea dotado de información común. Si los datos se obtienen de manera uniforme por todos los que participan, la participación habrá tenido éxito.
Es probable que la mayoría de los programas de capacitación extensos abarquen los siguientes temas:
• Cómo establecer contacto inicial con el participante y asegurar la entrevista.
• Cómo hacer las preguntas de la entrevista.
• Cómo insistir.
• Cómo registrar las respuestas.
• Cómo terminar la entrevista.
Por lo común, los entrevistadores reclutados registran las respuestas en un cuestionario de práctica durante una entrevista de capacitación simulada. Entrevistar es una ocupación calificada, así que no todos pueden hacerlo y menos aún hacerlo extremadamente bien. Un buen entrevistador observa determinados principios básicos, los cuales son resumidos en el Cuadro 2.
Principios básicos
Descripción: Tener integridad y ser honesto. Esta es la piedra angular de todo trabajo profesional, sin importar su propósito.
Tener paciencia y tacto. Los entrevistadores piden información de personas a quienes noconocen. Por tanto, todas las reglas de las relaciones humanasque aplican a situaciones de consulta –paciencia, tacto y cortesía seaplican más a la entrevista.
Prestar atención a la precisión y al detalle. Entre los mayores «pecados» de la entrevista están la imprecisión y la superficialidad. Una buena regla es no registrar una respuesta a menos que la entienda usted mismo a plenitud.
Mostrar un interés real en la consulta a realizar, pero guardándose su opinión.
La imparcialidad es imperativa. Si se quisieran sus opiniones usted sería el interrogado, no el participante. Usted es quien interroga y registra las opiniones de otras personas, no un contribuyente a los datos del estudio.
Ser un buen escucha. Demasiados entrevistadores hablan mucho, así pierden el tiempocuando los participantes podrían aportar hechos u opinionespertinentes sobre el tema del estudio.
Mantener confidenciales la consulta y las respuestas de los participantes.
No platique los estudios que está realizando con parientes, amigos o asociados. Es inaceptable tanto para la entidad de investigación como para sus clientes. Ante todo, nunca cite las opiniones de un participante con otro, esa es la mayor violación a la intimidad.
Respetar los derechos de otros. La investigación de campo depende de la disposición de las personas a proporcionar información. Entre los indeseables extremos del fracaso de obtener todo y la coerción innecesaria, es mejor ofrecer una explicación clara, con amabilidad y cortesía.
Cuadro 2. Principios básicos del trabajo de campo
Fuente: William G. Zikmund y Barry J. Babin. Investigación de mercados
Paso 8: Construcción de la base de datos
La construcción de la base de datos es la fase posterior a la recopilación de los datos en campo. Por lo general, supone un tratamiento informático, incluyendo su almacenamiento en algún tipo de software, para su posterior tabulación y análisis. La base de datos constituye la plataforma sobre la cual el investigador realiza los análisis que le permitirán convertir los datos en información relevante para la toma de decisiones.
La construcción de una base de datos requiere típicamente de tres tipos de actividades: registro, edición y codificación de datos.
• La entrada y grabación de los datos es el registro de los códigos y valores de las variables en un sistema informático para su posterior tratamiento y análisis. Se entiende por dato un valor específico de una variable. Por ejemplo, 35 años es un dato de la variable edad.
• La edición de datos es la inspección de las respuestas de los cuestionarios, con el fin de asegurar que estén suficientemente contestados y que las respuestas sean consistentes. De ser necesario, se efectuarán las correcciones oportunas o se rechazarán los cuestionarios mal o insuficientemente contestados.
• La codificación de los datos consiste en asignar códigos numéricos a las respuestas dadas a un cuestionario para poder efectuar el tratamiento estadístico de los datos.
En las preguntas cerradas los códigos están preestablecidos en el cuestionario, pero en las preguntas abiertas (variables tipo texto) deben asignarse códigos a las respuestas obtenidas. Para ello debe procederse a agrupar las respuestas obtenidas por su similitud, y asignarles un código y su correspondiente significado en una nueva variable categórica.
Los datos codificados se recopilan sistemáticamente en un fichero o matriz de datos que permite el tratamiento estadístico posterior. Cada fila del fichero recoge las respuestas o la información recogida en un cuestionario. A cada pregunta o variable se le asigna una o más columnas del fichero. La intersección de la fila i con la columna j recogerá la respuesta codificada del individuo i a la pregunta asignada a la columna j. Las primeras columnas se suelen reservar para la identificación de la observación o individuo.
Para el análisis se debe definir la naturaleza de cada variable, cualitativa métrica o textual. El fichero de trabajo puede contener la siguiente información:
• Variables cualitativas o categóricas: género, situación familiar, estado civil, etc.
• Variables métricas o cuantitativas: gasto en ocio, número de horas de trabajo, etc.
• Variables textuales: identificado, respuestas a preguntas abiertas, comentarios del entrevistador.
Un registro de datos es el espacio de un fichero informático ocupado por un
conjunto de datos correspondientes a una unidad de análisis (un sujeto o un objeto).
Un registro está formado por campos de información. Por ejemplo, un registro puede contener el conjunto de datos representativos de las respuestas dadas por un encuestado.
Para las respuestas posibles a cada una de las preguntas o variables del cuestionario se reserva un campo. Un campo es el espacio ocupado por el dato de una variable en un registro informático. Comúnmente, en un fichero los registros de datos son las filas de la tabla y los campos están representados por las columnas.
Paso 9: Análisis de datos
El aspecto culminante del proceso de construcción de una línea de base es el análisis de los datos obtenidos en la etapa de recopilación de información. En términos generales, el objetivo del análisis de datos es su transformación en información relevante[1]. En el contexto de un ELB una determinada información se califica de relevante si sirve para medir las variables relacionadas a los efectos e impactos del proyecto. La aplicación de técnicas estadísticas de análisis de datos, especialmente las más sofisticadas, ha tenido en los últimos años un crecimiento muy importante en la investigación social, especialmente por la mayor disponibilidad y abaratamiento de los medios electrónicos de cálculo y el desarrollo de paquetes de programas estadísticos.
La información obtenida en el paso anterior se encuentra como datos recopilados en forma de cuestionarios, guías de entrevistas con informes manuscritos de los temas predeterminados, listados de personas encuestadas, etc. En este paso, toda esa información, fruto de la recopilación de un amplio conjunto de observaciones, se transforma en información organizada mediante el uso de la estadística descriptiva, tanto en lo que se refiere al análisis de una sola variable, como la de las observaciones de las relaciones entre dos o más variables.
En función del número de variables analizadas simultáneamente, las técnicas de análisis de datos pueden clasificarse en univariables, bivariables y multivariables, según se analicen, respectivamente, una sola variable, la relación o dependencia entre dos variables y la relación o interdependencia entre más de dos variables.
Al igual que los pasos anteriores, el análisis de los datos requiere un trabajo de equipo para aclarar preguntas y garantizar resultados oportunos y de calidad. Un primer problema que debe ser abordado se refiere a la depuración de los datos proveniente de fuentes primarias y secundarias. Existen diversas técnicas de análisis cuantitativo basadas en métodos estadístico, así como también existen muchas técnicas para analizar datos cualitativos. Particularmente en los estudios de línea de base y evaluaciones de impacto, dos técnicas son de uso frecuente: análisis de contenido y análisis de casos.
El análisis de contenido se usa para analizar datos obtenidos a través de entrevistas, observaciones y documentos. Sobre la base de un sistema de clasificación de datos, la información debe ser organizada de acuerdo con lo siguiente:
• Las preguntas de evaluación para las cuales se recopiló la información.
• La forma cómo será usada la información.
• La necesidad de realizar referencias cruzadas con la información.
De otro lado, el análisis de casos se basa en estudios de detalle de un determinado grupo o individuo relacionado con el contexto bajo evaluación. El alto nivel de detalle obtenido puede proporcionar información valiosa para evaluar la calidad de los procesos, resultados e impactos del proyecto. Los procesos de recopilación y análisis de los datos se llevan a cabo en forma simultánea, puesto que los evaluadores realizan observaciones mientras recopilan la información.
Paso 10: Redacción del informe final
La redacción del Informe del ELB es, obviamente, el paso final. Este documento, por lo general, incluye los aspectos siguientes:
• Resumen del proyecto bajo estudio.
• Caracterización del ámbito del proyecto,
• Situación de base en el área de influencia del proyecto
• Resumen de indicadores.
• Base de datos, incluyendo un diccionario de variables.
• Pautas metodológicas para el diseño de un sistema de monitoreo y evaluación del desempeño.
Al redactar el informe final del estudio, debe tenerse en cuenta que la línea de base de un proyecto debe brindar información sobre los aspectos siguientes:
• Situación inicial de los indicadores de efecto e impacto del proyecto.
• Dinámica del contexto y su relación con la población objetivo.
• Factores de riesgo no controlables que afectan el impacto (supuestos que se encuentran en la matriz del marco lógico), a fin de capitalizar las oportunidades del entorno o en su defecto definir estrategias para aminorar y/o frenar posibles factores negativos.
En síntesis, la idea fundamental a tener en cuenta es que los ELB son muy acotados, pues sólo recogen información que pueda ser comparada posteriormente con los resultados del proyecto, para determinar el antes y el después. Como se sabe, un principio inherente en la evaluación es la posibilidad de establecer comparaciones, disponiendo de valores y valoraciones iniciales respecto a los indicadores de evaluación.
Por ello, la información al respecto debe estar estrechamente vinculada a los indicadores de efecto e impacto del proyecto, puesto que el mismo análisis ha de repetirse en la evaluación intermedia y evaluación final. Finalmente, cabe indicar que los informes de línea de base se deben programar como parte de una estrategia de difusión, que puede incluir, además del informe técnico propiamente dicho, la realización de presentaciones ante diversos públicos y la difusión en los medios de comunicación de los resúmenes ejecutivos sobre los hallazgos de la evaluación.
Cuadro 3. Pasos del estudio de línea de base
1. Determinación del ámbito de estudio
La determinación del ámbito del estudio implica precisar las unidades de análisis, que pueden ser sujetos u objetos. El tipo de unidades de análisis depende del objetivo de la intervención.
2. Determinación de los objetivos
Por lo general, el objetivo de un ELB es ofrecer una referencia sólida para la medición de los cambios que se lograrían gracias a la ejecución del proyecto. Además, los ELB deben mostrar evidencias cualitativas de la situación de la población objetivo al inicio de la intervención.
3. Selección de variables e indicadores
La selección de las variables y sus correspondientes indicadores debe considerar la capacidad de estos para representar válidamente los objetivos o resultados que se desean medir, así como la viabilidad de obtener la información de base necesaria, bien sea de fuentes propias o secundarias. Para ello, los objetivos deben ser claros, específicos y mensurables.
4. Determinación del marco muestral
Para la recopilación de información debe tomarse en consideración el hecho de que, en principio, existen dos tipos generales de estrategias de muestreo: muestreo probabilístico y no probabilístico o dirigido. Cuando una encuesta se realiza sólo a una parte de la población, se trata de un estudio muestral. A efectos de que la información obtenida de una muestra sea válida, ésta debe ser representativa de la población.
5. Diseño del cuestionario
El cuestionario es el formulario que contiene las preguntas o variables de la investigación y en el que se registran las respuestas de los encuestados. Las preguntas que contiene un cuestionario están determinadas por los objetivos de la investigación que se desea realizar.
6. Prueba piloto del cuestionario
Una vez que se ha elaborado el cuestionario conviene hacer una valoración del mismo, para ello, debe ser sometido a un grupo de personas para efectuar una prueba. Lo cual nos ayudará a detectar los defectos de contenido y/o forma que pudieran aparecer en el cuestionario. Una vez subsanados los errores o perfeccionado el cuestionario se podrá dirigir a la totalidad de las personas que se considere oportuno.
7. Realización del trabajo de campo
El conjunto de actividades realizadas para la recopilación efectiva de los datos recibe la denominación de trabajo de campo. Incluye la supervisión de los cuestionarios y el control de los errores de la falta de respuesta.
8. Construcción de la base de datos
La construcción de la base de datos supone un tratamiento informático, incluyendo su almacenamiento en algún tipo de software, para su posterior tabulación y análisis. La base de datos constituye la plataforma sobre la cual el investigador realiza los análisis que le permitirán convertir los datos en información relevante para la toma de decisiones.
9. Análisis de datos
En términos generales, el objetivo del análisis de datos es su transformación en información organizada y relevante mediante el uso de estadística descriptiva, tanto en lo que se refiere al análisis de una sola variable, como la de las observaciones de las relaciones entre dos o más variables.
10. Redacción del informe final
La redacción del Informe del Estudio de Línea de Base es, obviamente, el paso final. Los informes de línea de base se deben planificar como parte de una estrategia de difusión, que puede incluir, además del informe técnico propiamente dicho, la realización de presentaciones ante diversos públicos y la difusión en los medios de comunicación de los resúmenes ejecutivos.
(Pensamiento Crítico N.° 15, pp. 61-82)
[1] Este apartado se basa en el texto de Miguel Santesmases Mestre, Diseño y análisis de encuestas en investigación social y de mercados (Madrid, Editorial Pirámide, 2009).