Im Methodenkolloquium fällt der Satz «Und wie haben Sie die Intercoder-Reliabilität geprüft?» — und in dem Moment merkst du, dass du niemanden hast, der dein Material ein zweites Mal kodiert. Die gute Nachricht: Nicht jede qualitative Arbeit braucht einen Kappa-Wert. Die schlechte: Wenn deine Methodik ihn verlangt, ist «hatte ich nicht» keine akzeptable Antwort — wohl aber eine methodisch sauber begründete Alternative.
Was Intercoder-Reliabilität prüft
Ein Kategoriensystem ist ein Messinstrument. Wie jedes Messinstrument soll es unabhängig davon funktionieren, wer es bedient. Genau das prüft die Intercoder-Reliabilität: Zwei Personen kodieren dieselben Textstellen getrennt voneinander, und anschliessend wird verglichen, wie oft sie zur selben Kategorie gegriffen haben.
Was dabei getestet wird, ist nicht in erster Linie die Sorgfalt der Kodierenden, sondern die Trennschärfe deiner Kategoriendefinitionen. Ein niedriger Wert bedeutet fast immer, dass zwei Kategorien inhaltlich überlappen, dass ein Ankerbeispiel fehlt oder dass die Kodierregel offenlässt, was bei Grenzfällen zu tun ist. Der Wert ist damit weniger eine Note als ein Diagnoseinstrument — und deshalb gehört er in eine Phase, in der du das Kategoriensystem noch ändern kannst.
Nicht geprüft wird dagegen die Gültigkeit. Zwei Personen können sich vollständig einig sein und trotzdem am Material vorbeikodieren, weil die Kategorien die Fragestellung nicht abbilden. Reliabilität ist eine notwendige, keine hinreichende Bedingung — die Systematik dahinter behandelt der Beitrag zu Reliabilität und Validität.
Brauchst du sie überhaupt?
Die Antwort hängt am methodologischen Selbstverständnis deines Verfahrens, nicht an der Note, die du anstrebst. Grob lassen sich drei Lager unterscheiden:
| Ansatz | Erwartung | Warum |
|---|---|---|
| Inhaltsanalyse nach Mayring, Kuckartz | Kennwert üblich, oft erwartet | festes Kategoriensystem, Anspruch auf intersubjektive Nachvollziehbarkeit |
| Strukturierte Beobachtung, Dokumentenanalyse | Kennwert üblich | klar definierte Merkmalsausprägungen, quantifizierende Auswertung |
| Grounded Theory, reflexive thematische Analyse, Dokumentarische Methode | Kennwert unüblich bis abgelehnt | Interpretation gilt als produktive Leistung der Forschenden, nicht als Messfehler |
Wenn dein Verfahren im dritten Lager steht, ist ein Kappa-Wert kein Pluspunkt, sondern ein methodischer Widerspruch: Du würdest ein Gütekriterium anlegen, das dein eigener Ansatz ausdrücklich ablehnt. Statt dessen weist du Qualität über die Gütekriterien qualitativer Forschung nach — Transparenz des Vorgehens, kommunikative Validierung, Peer Debriefing. Welche das im Einzelnen sind, steht im Beitrag zu den Gütekriterien qualitativer Forschung; die methodologische Begründung für den offenen Kodierprozess liefert der Beitrag zur Grounded Theory.
Der praktische Prüfsatz: Lies nach, was die Methodenliteratur, der du folgst, selbst verlangt, und schreibe genau diese Anforderung in den Methodenteil. Damit ist die Frage im Kolloquium beantwortet, bevor sie gestellt wird — in beide Richtungen.
Cohens Kappa: Formel und Rechenbeispiel
Die naheliegende Kennzahl wäre die prozentuale Übereinstimmung: Anzahl gleicher Kodierungen geteilt durch Anzahl verglichener Stellen. Ihr Problem ist der Zufall. Bei nur zwei Kategorien treffen sich zwei Personen, die blind raten, in rund der Hälfte aller Fälle. Eine Übereinstimmung von 50 Prozent wäre also gar keine Leistung.
Cohens Kappa rechnet diesen Zufallsanteil heraus:
κ = (po − pe) / (1 − pe)
Dabei ist po die beobachtete Übereinstimmung und pe die zufällig erwartete, die sich aus den Randverteilungen beider Kodierender ergibt. Der Nenner ist der Spielraum, der oberhalb des Zufalls überhaupt noch zu holen war. Kappa sagt damit: Welchen Anteil der über den Zufall hinaus möglichen Übereinstimmung haben die beiden tatsächlich erreicht?
Ein Beispiel mit 100 kodierten Segmenten und vier Kategorien. Beide Kodierenden haben in 82 Fällen dieselbe Kategorie vergeben, also po = 0,82. Aus den Randverteilungen — Kodiererin A vergab die vier Kategorien in 50, 25, 15 und 10 Prozent der Fälle, Kodierer B in 48, 27, 14 und 11 Prozent — ergibt sich die zufällig erwartete Übereinstimmung als Summe der Produkte: 0,50 × 0,48 + 0,25 × 0,27 + 0,15 × 0,14 + 0,10 × 0,11 = 0,34.
Eingesetzt: κ = (0,82 − 0,34) / (1 − 0,34) = 0,48 / 0,66 = 0,73. Aus scheinbar starken 82 Prozent wird ein solider, aber nicht überragender Wert. Genau das ist der Sinn der Korrektur.
Für die Einordnung hat sich die Staffelung von Landis und Koch durchgesetzt:
| Kappa | Einordnung | Konsequenz |
|---|---|---|
| unter 0,21 | gering | Kategoriensystem grundlegend überarbeiten |
| 0,21 – 0,40 | ausreichend | Definitionen und Ankerbeispiele nachschärfen |
| 0,41 – 0,60 | moderat | Kodierkonferenz, zweite Runde nötig |
| 0,61 – 0,80 | gut | üblicherweise akzeptiert, Abweichungen besprechen |
| über 0,80 | sehr gut | berichtsfähig ohne Einschränkung |
Diese Grenzen sind Konventionen, keine Naturkonstanten — dieselbe Einschränkung gilt hier wie bei den Richtwerten zur Effektstärke. Bei feinkörnigen Kategoriensystemen mit vielen ähnlichen Kategorien liegen realistische Werte niedriger als bei einer Ja-Nein-Kodierung, und ein 0,65 an einem schwierigen Material ist mehr wert als ein 0,90 an einem trivialen.
Kappa, Krippendorffs Alpha oder Prozentwert?
- Cohens Kappa ist auf genau zwei Kodierende und nominale Kategorien ausgelegt. Der Standardfall in einer Abschlussarbeit.
- Gewichtetes Kappa nimmst du, wenn die Kategorien eine Rangfolge haben — bei einer Skala von «gar nicht» bis «sehr stark» ist eine Abweichung um eine Stufe weniger schlimm als eine um drei.
- Fleiss‘ Kappa verallgemeinert das Verfahren auf drei und mehr Kodierende.
- Krippendorffs Alpha ist das flexibelste Mass: beliebig viele Kodierende, alle Skalenniveaus, und es kommt mit fehlenden Kodierungen zurecht. In der Kommunikationswissenschaft gilt es als Standard, akzeptiert ab etwa 0,80 und mit Einschränkung ab 0,667.
- Die prozentuale Übereinstimmung berichtest du zusätzlich, nie allein. Sie ist anschaulich und macht sichtbar, wenn ein niedriges Kappa allein an einer schiefen Verteilung liegt.
Rechnen musst du nichts von Hand: MAXQDA und ATLAS.ti bringen eine eigene Funktion für die Intercoder-Übereinstimmung mit, die dir wahlweise segment- oder codebasiert vergleicht; SPSS liefert Kappa über die Kreuztabellen-Prozedur, R über die Pakete irr und psych. Wie du das Material dafür überhaupt in ein Kodiersystem bringst, zeigt der Beitrag zum Kodieren von Interviews in MAXQDA.
Das Kappa-Paradoxon
Ein Effekt, der viele Studierende ratlos zurücklässt: Die beiden Kodierenden stimmen in 95 Prozent der Fälle überein, und Kappa liegt trotzdem bei 0,20.
Die Ursache ist eine extrem schiefe Verteilung. Kommt eine Kategorie in 95 Prozent aller Segmente vor, dann ist die zufällig erwartete Übereinstimmung bereits sehr hoch — der Nenner der Formel schrumpft gegen null, und schon kleine Abweichungen drücken den Wert massiv. Kappa bestraft, was gar nicht dein Fehler ist.
Drei Umgangsweisen, die im Methodenteil vertretbar sind:
- Beides berichten. Prozentuale Übereinstimmung, Kappa und die Randverteilung nebeneinander — dann kann die Leserin den Effekt selbst erkennen.
- Auf die relevanten Kategorien beschränken. Wenn «keine Kodierung» die dominante Ausprägung ist, berechne die Übereinstimmung nur für die tatsächlich kodierten Segmente und schreibe das dazu.
- Prävalenzsensitive Kennwerte ergänzen. Kennwerte wie der prävalenzangepasste Index oder Gwets AC1 sind für genau diesen Fall gebaut; die Erwähnung genügt, eine ausführliche Diskussion ist in einer Abschlussarbeit nicht nötig.
Der Ablauf in der Praxis
- Kategoriensystem und Kodierleitfaden fertigstellen. Zu jeder Kategorie gehören eine Definition, mindestens ein Ankerbeispiel aus dem Material und eine Abgrenzungsregel zu den Nachbarkategorien.
- Zweitkodierende Person schulen. Eine Stunde gemeinsames Probekodieren an Material, das nicht in die Berechnung eingeht, verhindert die meisten trivialen Abweichungen.
- Teilstichprobe ziehen. Üblich sind 10 bis 20 Prozent des Materials, mindestens aber zwei bis drei vollständige Transkripte. Ziehe sie über das gesamte Material verteilt, nicht nur die ersten Interviews.
- Unabhängig kodieren. Getrennte Projektdateien, keine Absprachen, keine Einsicht in die Kodierungen der anderen Person.
- Kennwert berechnen und Abweichungen sichten. Interessant ist nicht die Zahl, sondern das Muster: Welche zwei Kategorien werden systematisch verwechselt?
- Kodierkonferenz. Jede Abweichung durchsprechen, Definitionen und Ankerbeispiele anpassen, Änderungen mit Datum protokollieren.
- Zweite Runde an frischem Material. Der Wert aus dieser Runde ist der, den du berichtest — der erste war die Diagnose.
Plane dafür realistisch zwei bis drei Arbeitstage ein, verteilt über zwei Wochen. Der häufigste Planungsfehler ist, die Prüfung erst nach dem vollständigen Kodieren anzusetzen: Dann bringt ein schlechter Wert dich in die Lage, entweder alles neu kodieren zu müssen oder das Ergebnis zu beschönigen.
Wenn niemand zweitkodiert
Der Normalfall bei einer Bachelorarbeit: Es gibt keine zweite Person, die sich in dein Kategoriensystem einarbeiten kann. Drei anerkannte Auswege, in absteigender Stärke:
- Intracoder-Reliabilität. Du kodierst eine Teilstichprobe nach zwei bis vier Wochen Abstand selbst noch einmal, ohne die alten Kodierungen anzusehen, und berechnest die Übereinstimmung mit dir selbst. Das ist schwächer als eine echte Zweitkodierung — gemeinsame blinde Flecken bleiben unentdeckt —, aber es ist ein prüfbares Mass und in der Methodenliteratur ausdrücklich vorgesehen.
- Konsensuelles Kodieren. Du kodierst gemeinsam mit einer Kommilitonin und klärt jede Uneinigkeit im Gespräch bis zur Einigung. Es entsteht kein Kennwert, sondern ein dokumentierter Aushandlungsprozess — bei rekonstruktiven Verfahren ist das ohnehin das angemessenere Vorgehen.
- Audit-Trail. Du legst Kodierleitfaden, Kategorienversionen mit Änderungsdatum, kodierte Beispielsegmente und ein Kodiertagebuch in den Anhang. Damit kann eine Drittperson deine Entscheidungen nachvollziehen, auch ohne sie zu wiederholen.
Welchen Weg du auch wählst: Kläre ihn vorher mit deiner Betreuung ab und halte die Absprache schriftlich fest. Und benenne die Einschränkung offen in den Limitationen, statt sie zu verschweigen — eine begründete Grenze kostet keine Punkte, eine verschwiegene schon.
Vom Kennwert zum Methodenkapitel. Die Zahl steht in der Ausgabe — die Absätze, die Vorgehen, Grenzen und Konsequenzen begründen, sind die eigentliche Prüfungsleistung. Mit Tesify baust du deinen Methodenteil strukturiert aus deinem eigenen Vorgehen auf — belegbar und zu 100 % von dir geschrieben.
So berichtest du es
In den Methodenteil gehören sechs Angaben: wer kodiert hat, wie gross die Teilstichprobe war und wie sie gezogen wurde, welches Mass und welches Programm verwendet wurden, der Wert selbst, was in der Kodierkonferenz geändert wurde und — bei zwei Runden — welcher Wert berichtet wird.
«Eine Zweitkodiererin, eingearbeitet in Kategoriensystem und Kodierleitfaden, kodierte drei zufällig ausgewählte Transkripte (18 % des Materials, 214 Segmente) unabhängig nach. Die mit MAXQDA berechnete segmentbasierte Übereinstimmung betrug 84 %, Cohens κ = 0,73. Die 34 abweichenden Zuordnungen betrafen überwiegend die Abgrenzung der Kategorien K3 und K4; beide Definitionen wurden in einer Kodierkonferenz präzisiert und um je ein Ankerbeispiel ergänzt. Das übrige Material wurde anschliessend mit dem überarbeiteten System kodiert.»
Ein Hinweis zum Material: Wenn deine Interviews auf Mundart geführt wurden, entscheidet bereits die Verschriftlichung mit, wie eindeutig kodierbar der Text ist — die Regeln dafür behandelt der Beitrag zum Transkribieren von Schweizerdeutsch. Das ausgearbeitete Kategoriensystem samt Kodierleitfaden gehört in den Anhang; das methodische Gerüst dahinter beschreibt der Beitrag zur qualitativen Inhaltsanalyse nach Kuckartz.
Häufige Fragen
Welcher Kappa-Wert ist gut genug für eine Bachelorarbeit?
Ab 0,61 gilt die Übereinstimmung nach der gängigen Staffelung als gut und wird in aller Regel akzeptiert, ab 0,81 als sehr gut. Wichtiger als das Erreichen einer Schwelle ist, dass du den Wert einordnest: Bei einem feinkörnigen Kategoriensystem mit vielen ähnlichen Kategorien sind niedrigere Werte normal. Berichte den Wert mit der prozentualen Übereinstimmung und beschreibe, welche Kategorien die Abweichungen verursacht haben.
Wie viel Prozent des Materials muss doppelt kodiert werden?
Üblich sind 10 bis 20 Prozent, mindestens aber zwei bis drei vollständige Transkripte, damit die Berechnung überhaupt stabil wird. Entscheidend ist die Ziehung: Die Teilstichprobe sollte über das gesamte Material verteilt sein und nicht nur die zuerst geführten Interviews umfassen, weil sich die Kodierpraxis im Verlauf verändert.
Muss ich bei einer Grounded-Theory-Arbeit Intercoder-Reliabilität berechnen?
Nein, und es wäre methodisch widersprüchlich. Die Grounded Theory versteht die Interpretationsleistung der Forschenden als produktiven Teil des Verfahrens, nicht als Fehlerquelle, die es zu minimieren gilt. Qualität weist du dort über theoretische Sättigung, Memos, ständigen Vergleich und einen nachvollziehbaren Audit-Trail nach. Schreibe diese Begründung in den Methodenteil, dann ist die Frage geklärt.
Warum ist mein Kappa niedrig, obwohl die Übereinstimmung über 90 Prozent liegt?
Das ist das bekannte Kappa-Paradoxon und entsteht bei sehr schiefen Verteilungen. Dominiert eine einzige Kategorie das Material, ist die zufällig erwartete Übereinstimmung schon fast so hoch wie die beobachtete, und der Nenner der Formel wird winzig. Berichte in diesem Fall Kappa, prozentuale Übereinstimmung und die Randverteilung gemeinsam und erkläre den Effekt in einem Satz.
Kann ich die Intercoder-Reliabilität allein prüfen?
Eine echte Intercoder-Reliabilität nicht, aber eine Intracoder-Reliabilität. Dabei kodierst du eine Teilstichprobe nach zwei bis vier Wochen Abstand selbst erneut, ohne deine früheren Zuordnungen anzusehen, und berechnest die Übereinstimmung mit dir selbst. Das Verfahren ist anerkannt, aber schwächer, weil eigene systematische Fehler unentdeckt bleiben — vermerke diese Einschränkung in den Limitationen.
Was ist der Unterschied zwischen Cohens Kappa und Krippendorffs Alpha?
Cohens Kappa ist für genau zwei Kodierende und nominale Kategorien gebaut. Krippendorffs Alpha funktioniert mit beliebig vielen Kodierenden, mit allen Skalenniveaus und auch dann, wenn nicht alle Segmente von allen kodiert wurden. Für eine Abschlussarbeit mit zwei Personen und einem nominalen Kategoriensystem reicht Kappa; sobald eine dritte Person hinzukommt oder Kodierungen fehlen, ist Alpha die passende Wahl.