Arbeitsaufgabenanalyse

Nach der Entwicklung einer Programmstruktur und einer Stellenbeschreibung für eine Prüfung oder Serie geht es in der nächsten Phase darum, die für die Stelle erforderlichen Fähigkeiten, Aufgaben und Wissensgebiete wissenschaftlich zu ermitteln. Die Herausforderung: Jeder könnte sich eine Liste von Aufgaben ausdenken, von denen er denkt, dass sie ein Linux-Profi erledigen sollte. Wenn Sie 10 Linux-Profis fragen, was ein “Junior-Level”-Profi tun soll, erhalten Sie vielleicht 10 Listen.

Welche Liste ist korrekt?

Unsere Lösung: Wir fragen eine große Anzahl von Linux-Profis nach ihren Listen der notwendigen Aufgaben und stellen dann die Antworten zusammen, um die gemeinsamen und bedeutendsten Aufgaben zu finden. Die wichtigsten Aufgaben erscheinen auf allen Listen.

Dieser Prozess wird als Arbeitsplatzanalyse-Studie oder Arbeitsaufgabenanalyse bezeichnet. Das LPI hat umfangreiche Umfragen zur Arbeitsaufgabenanalyse bei Linux-Profis durchgeführt, um sicherzustellen, dass die Prüfungen unvoreingenommen und fair aufgebaut sind.

Wie wir das machen:

Vorabbefragung

Zuerst arbeiten wir mit einem großen Pool von Fachleuten zusammen, um eine vollständige Liste aller Aufgaben zu erstellen, die ihrer Meinung nach von der Zielgruppe der Zertifizierung erfüllt werden könnten.

Umfrage zur Arbeitsaufgabenanalyse

Anschließend werden die während der Vorbefragung gesammelten Aufgaben in eine Umfrage zur Arbeitsaufgabenanalyse aufgenommen. Diese Umfrage bittet praktizierende Linux-Profis, jede Aufgabe auf verschiedene Weise zu bewerten:

• Häufigkeit: Wie oft führen sie die Aufgabe aus.
• Wichtigkeit: Wie wichtig es ist, dass ein Administrator die Aufgabe ausführen kann.

Datenanalyse

Schließlich führen wir eine statistische Analyse der Umfrageergebnisse durch. Wir berechnen Statistiken, die im Durchschnitt anzeigen, wie kritische Befragte jede Aufgabe bewertet haben. Diese Analyse ist Grundlage für die Bestimmung der endgültigen Aufgabenliste.

Lernziel-Entwicklung

Die dritte große Entwicklungsstufe ist die Überführung der Ergebnisse aus der Arbeitsaufgabenanalysestudie in die eigentlichen Ziele für die Prüfung(en). Ziele drücken bestimmte Dinge aus, die Linux-Profis können müssen. Jedem Ziel wird ein Gewichtungswert zugewiesen, der seine Bedeutung im Vergleich zu anderen Zielen angibt.

Ursprüngliche objektive Ausarbeitung

Zuerst entwirft eine kleine Gruppe von Personen, die sowohl über technische Probleme unter Linux als auch über psychometrische Prinzipien Bescheid wissen, eine erste Reihe von Testzielen, die auf den Ergebnissen der Studie zur Arbeitsaufgabenanalyse basieren.

Objektive Überprüfung und Überarbeitung

Nachdem die Zielvorgaben erstellt wurden, werden sie in einem webbasierten System zur öffentlichen Überprüfung und Kommentierung online gestellt. Dieses System organisiert die Ziele nach Prüfung und Inhaltsthema und zeigt die Ziele selbst an, zusammen mit Links zu zusätzlichen Dokumentationen über die Ziele. Öffentliche Kommentare zu den Zielen werden gesammelt und dann von den Supervisoren überprüft und bei Bedarf überarbeitet. Die neueste Überprüfung und Überarbeitung der Ziele wird öffentlich in unserem LPI Exam Development Wiki gepostet und wir senden sie an unsere Community und die ExamDev Mailingliste für Kommentare und Beiträge.

Sobald die Ziele festgelegt sind, senden wir sie an LPI.org und teilen dies unserer Community sowie den Anbietern von Kursunterlagen und Schulungen mit, damit die Schulungsunterlagen aktualisiert werden können, um das neue Prüfungsmaterial widerzuspiegeln.

Item-Entwicklung

Sobald die Ziele festgelegt sind, beginnen wir mit dem Verfassen von Prüfungsfragen, den sogenannten Items. Diskretion wird dabei groß geschrieben. Alle Elemente werden so vertraulich wie möglich behandelt, indem die an dem Prozess Beteiligten Vertraulichkeitsvereinbarungen unterzeichnen, in denen sie sich verpflichten, den Inhalt der Items niemandem mitzuteilen. LPI trifft auch andere nicht offenbarte Sicherheitsvorkehrungen.

Items schreiben

Historisch gesehen bestand der Prozess, der bei der Entwicklung der Items für die meisten anderen IT-Zertifizierungsprüfungen verwendet wurde darin, eine Gruppe von Fachleuten für eine Woche oder länger an einen Ort zu fliegen, sie darin zu schulen, wie man Items schreibt, und sie dann intensiv an der Erstellung der Fragen zu beteiligen.

Diese Technik ist jedoch teuer und exklusiv. Bei LPI haben wir während unserer anfänglichen Prüfungsentwicklungsphase die Macht der Community über das Internet genutzt, um alle Interessierten und Sachkundigen zu ermutigen, beim Verfassen von Artikeln zu helfen.

Seitdem hat das LPI neue Items für die Prüfungsrotation im eigenen Haus entwickelt, indem es das Wissen von Fachleuten, Online-Freiwilligen und Teilnehmern an Workshops zur Artikelerstellung nutzt.

Item-Überprüfung

Die Vorgesetzten überprüften alle eingereichten Prüfungsaufgaben und akzeptierten, lehnten sie ab oder formulierten sie neu. Sie konzentrierten sich auf drei Kriterien:

• Redundanz: Items, die im Wesentlichen mit zuvor eingereichten Artikeln identisch sind, werden abgelehnt.
• Phrasierung und Klarheit: Artikel, die auf verwirrende oder anderweitig unangemessene Weise formuliert wurden, werden abgelehnt oder neu formuliert. Die Vorgesetzten achten darauf, dass Fragen auch von Nicht-Muttersprachlern verstanden werden können.
• Genauigkeit: Die Vorgesetzten lehnen Artikel ab oder formulieren sie um, wenn sie nicht technisch korrekt sind.

Technische Überprüfung der Items

Als Nächstes verwendet LPI eine Gruppe von Linux-Experten, um Elemente einer technischen Überprüfung zu unterziehen. Jeder Artikel wird von mehreren Experten geprüft. Jeder Experte klassifiziert Elemente als genehmigt, abgelehnt oder “andere”, um sie neu zu formulieren oder von anderen zu überprüfen.

Die primären technischen Kriterien:

• Richtigkeit
• Angemessenheit der Distraktoren (für Multiple-Choice-Items): Die Prüfer stellen sicher, dass die Antwortmöglichkeiten des Distraktors falsch, aber vernünftig plausibel sind
• Formulierung und Klarheit: Die Prüfer stellen sicher, dass die Artikel in der richtigen Sprache abgefasst sind.
• Relevanz
• Erwartete Schwierigkeit

Die Vorgesetzten sammeln dann die Bewertungen, um festzustellen, ob die einzelnen Elemente:

• Akzeptiert im Konsens
• Aus Konsensgründen abgelehnt
• Nach weiterer Prüfung akzeptiert wurde: Wenn die Prüfer nicht einverstanden waren, könnte die Aufsicht dies akzeptieren, vielleicht basierend auf der Meinung eines anderen Prüfers
• Nach weiterer Prüfung abgelehnt wurde: Wenn die Prüfer nicht einverstanden waren, könnte die Aufsicht sie ablehnen, vielleicht aufgrund der Meinung eines anderen Prüfers
• Nach einer Revision akzeptiert wurde: In einigen Fällen können Reviewer vorschlagen, das Item umzuschreiben, und der Supervisor kann es nach dem Umschreiben akzeptieren

Prüfungserstellung

Erstellung von Live-Formularen

Die nächste Stufe der Entwicklung besteht darin, Items zu Prüfungen für den globalen Einsatz zusammenzustellen. Jeder Test hat mehrere Formen. Wenn der Kandidat eine Form nicht besteht und die Prüfung wiederholt, erhält er die andere Form der Prüfung beim Wiederholungsversuch.

Die Pearson VUE-Testmaschine ordnet die Fragen jeder Form zufällig an, wenn jemand die Prüfung ablegt, um sicherzustellen, dass zwei Kandidaten, die dieselbe Prüfung ablegen, nicht auf die gleichen Fragen in der gleichen Reihenfolge getestet werden.

Erstprüfungsveröffentlichung

Sobald die psychometrischen Mitarbeiter des LPI die Zusammensetzung der Formulare festgelegt haben, muss die Prüfung von textbasierten Items in das eigentliche Prüfungsdateiformat konvertiert werden, um über das Netzwerk der Testzentren des LPI weltweit eingesetzt zu werden.

Die Prüfung beginnt mit ersten Tests, um festzustellen, ob die Fragen tatsächlich Fähigkeiten und Kompetenzen messen. Bei der IT-Zertifizierung wird dieser Zeitraum als Beta-Testzeitraum bezeichnet.

Während des Beta-Zeitraums können sich die Prüflinge für Tests anmelden und diese bei lokalen Veranstaltungen absolvieren. Sie wird ihnen angerechnet, aber die Teilnehmer erhalten die Ergebnisse nicht sofort nach der Prüfung zurück. Beta-Prüfungen beinhalten oft zusätzliche Fragen mit einem längeren Zeitformat sowie zusätzliche Umfragen und demographische Fragen. Mehrere gleichzeitige Prozesse bestimmen die Schnittpunktzahl, so dass Prüfungen ausgewertet und bewertet werden können.

Genug Prüfungen erhalten

Bevor die bestandene Punktzahl festgelegt werden konnte, musste LPI eine angemessene Anzahl von Prüfungen sammeln, die von Personen abgelegt wurden, die der Zielberufsbeschreibung ähnlich sind. Da unsere Unterstützung gewachsen ist, wachsen unsere Zieldatenzahlen weiter und tragen dazu bei, die genauesten Ergebnisse zu erzielen. Im Rahmen des Beta-Prüfungsprozesses werden demografische Daten von psychometrischen Mitarbeitern bei der Überprüfung der Gültigkeit von Fragen berücksichtigt.

Die Fragen überprüfen

Während die Testergebnisse eintreffen, beginnt das psychometrische Personal, die Daten zu untersuchen. Fragen stellen wie: Gibt es Fragen, die jeder richtig stellt? Gibt es Fragen, bei denen alle versagen? Während des Prozesses gesammelte Prüfungskommentare werden überprüft und Fragen und Bedenken werden angesprochen.

Modifizierte Angoff-Studie

Während psychometrische Mitarbeiter eingehende Daten überprüfen, nimmt zeitgleich ein separater Pool von Fachleuten an einer modifizierten Angoff-Studie teil. Ihr Ziel ist es, den psychometrischen Mitarbeitern zusätzliche Daten zur Verfügung zu stellen, um Fragen zu validieren und bei der Festlegung der Punktzahl zu helfen.

Während des Prozesses

• Erhalten die Fachleute Kopien der Prüfungsfragen auf jedem Formular.
• Betrachten sie jede Frage unabhängig und in Absprache miteinander und beurteilen die Wahrscheinlichkeit, dass eine minimal qualifizierte Person, die die in einem Lastenheft beschriebenen Arbeitsplatzanforderungen erfüllt, in der Lage wäre, die Frage richtig zu beantworten. Mit anderen Worten, die Experten betrachten die Frage aus der Perspektive von jemandem, der auf der Kompetenzskala für Arbeitsleistung ganz unten steht.
• Bewerten sie jede Frage mit ihrer Schätzung, wie viel Prozent der Personen richtig antworten werden, wobei sie bedenken, dass einige Personen bei Multiple-Choice-Fragen durch Schätzen richtig liegen.

Im Idealfall sollten die Ergebnisse der Angoff-Studie parallel zu den tatsächlichen Ergebnissen der Untersuchungen im Beta-Zeitraum erfolgen. Die Ergebnisse der Angoff-Studie dienen nicht nur der Validierung der Item-Performance, sondern auch der Ermittlung der Punktzahl fürs Bestehen.

Punkte verteilen

Nach der gesamten Datenerhebung, der Analyse und der Angoff-Studie haben die psychometrischen Mitarbeiter eine Bestnote festgelegt und die Ergebnisse an die Prüfungsteilnehmer verteilt, die an der Beta teilgenommen haben.

Prüfungsreport

Sobald die Beta abgeschlossen ist, die Bestnote festgelegt wurde und alle schlechten Elemente entfernt oder behoben wurden, ist die Prüfung bereit für eine erneute Veröffentlichung. Diese Arbeit erfordert eine gründliche Überprüfung und kann einen Monat oder mehr in Anspruch nehmen. Nachdem dieser letzte Prüfungsprozess abgeschlossen ist, stimmen wir uns mit Pearson VUE und unserem Partnernetzwerk ab, um die abgeschlossenen Prüfungen für alle Testteilnehmer weltweit zu veröffentlichen.

Warum schriftliche Prüfungen?

Schriftliche Prüfungen sind weltweiter Standard

Multiple Choice ist ein gängiger Standard für die meisten Zertifizierungs- und Lizenzierungsprüfungen. Ob Sie nun Arzt, Rechtsanwalt oder Wirtschaftsprüfer sein wollen, die meisten Berufe erfordern, dass Sie eine Multiple-Choice-Prüfung bestehen. Die Verfahren zur Erstellung hochwertiger Multiple-Choice-Prüfungen sind fest etabliert. Für praktische Prüfungen gibt es keine solche Norm. Daher sind sie in der Regel ad hoc und beinhalten selten Pilotversuche, Item-Analysen, formale Standardsetzungen und Gleichsetzungen.

Schriftliche Prüfungen sind gültig

Schriftliche Prüfungen zum Berufswissen haben in etwa die gleiche Aussagekraft wie Berufssimulationen (Roth et al., 2005)

Schriftliche Prüfungen sind effizienter

Schriftliche Prüfungen mit individuellen Fragen sind effizienter als Prüfungen mit komplexeren Aufgabentypen. So untersuchte Jodoin 2003 beispielsweise innovative Elementtypen im Rahmen einer IT-Zertifizierungsprüfung, bei der die Prüflinge Antworten konstruieren mussten (z.B. ein Netzwerkdiagramm erstellen). Er stellte fest, dass diese konstruierten Antwortpunkte mehr Informationen lieferten, aber auch zusätzliche Zeit in Anspruch nahmen. Als Ergebnis kam er zu dem Schluss, dass “Multiple-Choice-Positionen mehr Informationen pro Zeiteinheit liefern”.

Schriftliche Prüfungen decken alle Ziele ab

Zertifizierungsprüfungen (wie die des LPI) decken ein breites Spektrum von Wissensgebieten ab. Mit Hilfe von Einzelpunkten können schriftliche Prüfungen leicht eine angemessene Abdeckung aller Ziele sicherstellen. Aufgrund praktischer Einschränkungen können Praxistests entweder nur eine begrenzte Anzahl von Proben aus diesen Zielen entnehmen oder einen viel kleineren Wissensumfang abdecken.

Schriftliche Prüfungen sind wertvoller

Praxistests sind in der Regel in allen Phasen teurer, einschließlich der Entwicklung von Aufgaben, Pilotversuchen, Verwaltung und Bewertung. Wenn praktische Tests teurer, aber nicht zuverlässiger oder valider sind, dann bietet sie weniger Wert.

Schriftliche Prüfungen sind zuverlässiger und objektiver

Die Bewertungspraktiken für offene Prüfungen sind sehr unterschiedlich, aber die Literatur über die Bewertung konstruierter Antworten legt nahe, dass die subjektive Bewertung oft weniger zuverlässig ist als die Bewertung traditioneller Elemente. Die Literatur zur Arbeitsleistung legt nahe, dass auch objektive Leistungsindikatoren unzuverlässig sind.