Análisis de tarea de trabajo

Después del desarrollo de una estructura de programa y una descripción del trabajo para un examen o serie, la próxima etapa es determinar científicamente las habilidades, tareas y áreas de conocimiento necesarias para el trabajo. El desafío: cualquiera podría llegar a una lista de tareas que creen que un profesional de Linux debería poder hacer. Si le pregunta a los profesionales de 10 Linux qué debería hacer un profesional de nivel “junior”, podría obtener listas de 10.

¿Qué lista es correcta?

Nuestra solución: le solicitamos a un gran número de profesionales de Linux sus listas de tareas laborales necesarias y luego compilamos las respuestas para encontrar las tareas más comunes y más importantes. Las tareas más importantes aparecen en todas las listas.

Este proceso se llama estudio de análisis de trabajo o análisis de tarea de trabajo. LPI ha realizado extensas encuestas de análisis de trabajos de profesionales de Linux para ayudar a garantizar que los exámenes sean imparciales y estén construidos de manera justa.

Cómo lo hacemos:

Encuesta previa

Primero trabajamos con un gran grupo de expertos en la materia para compilar una lista exhaustiva de todas las tareas que creen que podrían ser realizadas por el público objetivo de la certificación.

Encuesta de análisis de trabajo

A continuación, las tareas recopiladas durante la encuesta previa van a una encuesta de análisis de trabajo. Esta encuesta les pide a los profesionales de la práctica de Linux que califiquen cada tarea de varias maneras:

• Frecuencia: con qué frecuencia realizan la tarea.
• Importancia: lo importante que es para un administrador poder realizar la tarea.

El análisis de datos

Finalmente, realizamos un análisis estadístico de las respuestas de la encuesta. Calculamos estadísticas que indican, en promedio, cómo los encuestados críticos calificaron cada tarea. Este análisis guía la determinación de la lista de tareas final del trabajo.

Desarrollo objetivo

La tercera etapa principal de desarrollo consiste en convertir los resultados del Estudio de análisis de trabajo para desarrollar los objetivos reales para el examen (s). Los objetivos expresan cosas específicas que los profesionales de Linux deben poder hacer. A cada objetivo se le asigna un valor de ponderación que indica su importancia relativa a otros objetivos.

Redacción inicial del objetivo

Primero, un pequeño grupo de personas con conocimiento de los problemas técnicos de Linux y los principios psicométricos elaboraron un conjunto inicial de objetivos de prueba, basándose en los resultados del estudio de análisis de trabajo.

Revisión objetiva y revisión

Después de que se crean los objetivos del borrador, se colocan en línea en un sistema basado en la web para su revisión y comentarios públicos. Este sistema organiza los objetivos por tema de examen y contenido, mostrando los objetivos mismos, junto con enlaces a documentación adicional sobre los objetivos. Los comentarios públicos sobre los objetivos se recopilan y luego los supervisores revisan los comentarios y revisan los objetivos según sea necesario. La revisión y revisión más reciente de los objetivos se publican públicamente en nuestra wiki de Desarrollo de exámenes LPI y los enviamos a nuestra comunidad y a la lista de correo de ExamDev para comentarios y aportes.

Cuando se finalizan los objetivos, los publicamos en LPI.org y les informamos a nuestra comunidad, así como a los proveedores de cursos y capacitación, para que los materiales de capacitación se puedan actualizar para reflejar el nuevo material del examen.

Desarrollo del artículo

Una vez que los objetivos están finalizados, comenzamos el proceso de redacción de preguntas, llamados ítems, para los exámenes. La seguridad es una gran preocupación en el desarrollo de artículos. Todos los artículos se mantienen lo más confidenciales posible al hacer que los involucrados en el proceso firmen acuerdos de confidencialidad que acuerdan no divulgar el contenido del artículo a nadie. LPI también toma otras precauciones de seguridad no divulgadas.

Escritura de artículos

Históricamente, el proceso utilizado para desarrollar los elementos para la mayoría de los demás exámenes de certificación de TI consistía en enviar a un grupo de expertos en una ubicación durante una semana o más, brindarles capacitación sobre cómo escribir artículos y luego hacer que trabajasen intensamente para crea las preguntas.

Pero esta técnica es costosa y exclusiva. En LPI, durante nuestra fase de desarrollo de examen inicial aprovechamos el poder de la comunidad a través de Internet para alentar a todos los que estaban interesados ​​y con conocimiento para ayudar con la escritura de elementos.

Desde entonces, LPI ha desarrollado nuevos elementos para la rotación de exámenes en la casa aprovechando el conocimiento de expertos en la materia, voluntarios en línea y participantes en talleres de redacción de artículos.

Examen de artículos

Los supervisores examinaron todos los elementos del examen enviados y los aceptaron, rechazaron o redactaron de nuevo. Se enfocaron en tres criterios:

• Redundancia: los artículos que son sustancialmente idénticos a los artículos enviados anteriormente son rechazados.
  Fraseo
• Fraseo y Claridad: los artículos redactados de maneras confusas o inapropiadas son rechazados o reformulados. Los supervisores prestan atención para asegurarse de que los hablantes no nativos de inglés entiendan las preguntas.
  Precisión: los supervisores rechazaron o reformularon los elementos que no son técnicamente precisos.

Artículo Revisión técnica

A continuación, LPI utiliza un grupo de expertos de Linux para poner artículos a través de una revisión técnica. Cada artículo es revisado por múltiples expertos. Cada experto clasifica los artículos como aprobados, rechazados u “otros” para que otros los modifiquen o los revisen.

El criterio técnico principal:

• Exactitud
• Adecuación de los distractores (para elementos de opción múltiple): los revisores se aseguran de que las opciones de respuesta del distractor sean incorrectas pero razonablemente plausibles.
• Fraseo y claridad: los revisores se aseguran de que los artículos estén redactados en un lenguaje apropiado.
• Pertinencia
• Dificultad esperada

Los supervisores luego recopilan las revisiones para determinar si cada elemento fue:

• Aceptado según el consenso
  Rechazado basado en el consenso
  Aceptado después de una revisión adicional: si los revisores no estuvieron de acuerdo, el supervisor podría aceptarlo, tal vez en función de la opinión de otro revisor.
  Rechazado después de una revisión adicional: si los revisores no estuvieron de acuerdo, el supervisor podría rechazarlo, tal vez según la opinión de otro revisor.
  Aceptado después de la revisión: en algunos casos, los revisores pueden sugerir que se vuelva a redactar el artículo y el supervisor podría aceptarlo después de volver a redactarlo.

Creación de exámenes

Creación de formularios en vivo

La próxima etapa de desarrollo implica ensamblar elementos en exámenes para implementación global. Cada prueba tiene múltiples formas. Si el candidato falla un formulario y vuelve a tomar el examen, recibirá el formulario diferente del examen en el intento de repetición.

El motor de prueba de Pearson VUE ordena aleatoriamente las preguntas de cada formulario cuando alguien toma el examen para asegurarse de que dos candidatos que toman el mismo examen no sean evaluados en las mismas preguntas en el mismo orden.

Publicación del examen inicial

Una vez que el personal psicométrico de LPI ha determinado la composición de los formularios, el examen debe convertirse de elementos basados ​​en texto en el formato de archivo de examen real para desplegarse globalmente a través de la red de centros de pruebas de LPI.

El examen entra en un período de prueba inicial para determinar si las preguntas son, de hecho, medir habilidades y competencias. En la certificación de TI, este período se conoce como el período de prueba beta.

Durante el período beta, los candidatos pueden registrarse para realizar pruebas y completarlas en eventos locales. Reciben crédito, pero los candidatos no reciben puntajes inmediatamente después del examen. Los exámenes beta a menudo implican preguntas adicionales con un formato de tiempo extendido, así como encuestas adicionales y preguntas demográficas. Varios procesos simultáneos determinan el puntaje de corte, por lo que los exámenes pueden evaluarse y calificarse.

Obtener suficientes exámenes

Antes de que se pueda establecer la puntuación de aprobación, LPI tuvo que acumular una cantidad adecuada de exámenes realizados por personas similares a la descripción del puesto de destino. A medida que nuestro apoyo ha crecido, nuestro número de datos objetivo sigue creciendo, lo que ayuda a generar los resultados más precisos. Como parte del proceso del examen beta, el personal psicométrico tiene en cuenta los datos demográficos al revisar la validez de las preguntas.

Revisando las preguntas

A medida que los resultados de las pruebas llegan, el personal psicométrico comienza a examinar los datos. Hacer preguntas como: ¿Hay preguntas que todos entienden? ¿Hay preguntas que todos fallan? Los comentarios del examen recopilados durante el proceso se revisan y se abordan las preguntas y preocupaciones.

Estudio modificado de Angoff

Mientras el personal psicométrico revisa los datos recibidos, un grupo separado de expertos en la materia participó simultáneamente en un estudio de Angoff modificado. Su objetivo es proporcionar al personal psicométrico datos adicionales para validar las preguntas y ayudar a establecer el puntaje de aprobación.

Durante este proceso, los expertos:

• Recibir copias de las preguntas del examen en cada formulario.
• Mire cada pregunta de forma independiente y consultando entre sí y haga juicios sobre la probabilidad de que una persona mínimamente calificada que cumpla con los requisitos del trabajo descritos en una hoja de especificaciones pueda responder la pregunta correctamente. En otras palabras, los expertos consideran la pregunta desde la perspectiva de alguien que se encuentra en la parte inferior de la escala de competencia para el desempeño laboral.
• Califique cada pregunta con su estimación de qué porcentaje de personas responderá correctamente, teniendo en cuenta que en las preguntas de opción múltiple, algunas personas lo harán bien en virtud de adivinar.

Idealmente, los resultados del estudio de Angoff deben ser paralelos a los resultados reales de los exámenes en el período beta. Más allá de validar el rendimiento del ítem, los resultados del estudio de Angoff también se usan para ayudar a establecer el puntaje de aprobación para los exámenes.

Distribución de resultados de puntaje

Después de toda la recopilación de datos, el análisis y el estudio de Angoff, el personal psicométrico estableció un puntaje aprobatorio y distribuyó las puntuaciones entre los examinadores que participaron en la versión beta.

Republicación de examen

Una vez que la versión beta se ha completado, se ha establecido la puntuación de aprobación y se han eliminado o reparado los elementos incorrectos, el examen está listo para volver a publicarse. Este trabajo implica una revisión significativa y puede tomar un mes o más para completar. Una vez que se complete este proceso de revisión final, coordinamos con Pearson VUE y nuestra red de socios para publicar los exámenes finalizados para todos los examinados en todo el mundo.

Por qué los exámenes escritos

Los exámenes escritos son un estándar global.

La opción múltiple es un estándar común para la mayoría de los exámenes de certificación y licenciatura. Ya sea que desee ser médico, abogado o contador público, la mayoría de las profesiones requieren que pase un examen de opción múltiple. Los procedimientos para producir exámenes de opción múltiple de alta calidad están firmemente establecidos. No existe tal estándar para los exámenes prácticos. Por lo tanto, tienden a ser ad hoc y rara vez incluyen pruebas piloto, análisis de elementos, establecimiento de estándares formales y equiparación.

Los exámenes escritos son válidos.

Los exámenes escritos de conocimiento laboral tienen aproximadamente los mismos niveles de validez predictiva que las simulaciones laborales(Roth et al., 2005)

Los exámenes escritos son más eficientes.

Los exámenes escritos con preguntas individuales son más eficientes que los exámenes con tipos de elementos más complejos. Por ejemplo, Jodoin (2003) examinó los tipos de elementos innovadores en un examen de certificación de TI que requería que los examinados construyeran respuestas (por ejemplo, dibujar un diagrama de red). Descubrió que estos elementos de respuesta construidos proporcionaban más información pero también llevaban más tiempo. Como resultado, concluyó que, “los artículos de opción múltiple proporcionan más información por unidad de tiempo”.

Los exámenes escritos cubren todos los objetivos.

Los exámenes de certificación (como LPI) cubren una amplia gama de áreas de conocimiento. Al usar ítems individuales, los exámenes escritos pueden asegurar fácilmente una cobertura adecuada de todos los objetivos. Debido a limitaciones prácticas, las pruebas prácticas deben tomar muestras de estos objetivos o abarcar un cuerpo de conocimientos mucho más pequeño.

Los exámenes escritos son más valiosos.

Las pruebas prácticas suelen ser más caras en todas las fases, incluido el desarrollo de elementos, las pruebas piloto, la administración y la puntuación. Si las pruebas prácticas son más costosas pero no más confiables o válidas, entonces ofrecen menos valor.

Los exámenes escritos son más confiables y objetivos.

Las prácticas de puntuación para los exámenes abiertos varían considerablemente, pero la literatura sobre las respuestas construidas de puntaje sugiere que el puntaje subjetivo a menudo es menos confiable que el puntaje de los ítems tradicionales. La literatura sobre el desempeño laboral sugiere que las medidas objetivas de rendimiento tampoco son confiables.