Unter dem Titel „From Pen to Prompt: Analyzing Academic Writing" unterrichtete Prof. Dr. Julia Schlüter, unterstützt von AP07-Projektmitarbeiterin Katharina Deckert, im Sommersemester 2026 ein Vertiefungsmodulseminar, in dem sich Englischstudierende intensiv mit dem durch KI verursachten Sprachwandel in (wissenschaftlichen) Textgenres auseinandersetzten. Ziel war es, die Studierenden zu einer kritischen Textrezeption und Textproduktion anzuleiten und ihnen den Future Skill „AI Literacy" (vgl. Rampelt et al. 2025) zu vermitteln.
Um für einen erneuten Seminardurchlauf sowie für weitere zukünftig anstehende Formate möglichst viel inhaltliches Feedback von den teilnehmenden Studierenden zu bekommen und diese auch co-kreativ in die Konzeption zukünftiger Veranstaltungen einzubeziehen, wurde die Expertise von AP02 angefragt. Projektmitarbeiterin Martina Ebenberger übernahm die Gestaltung und Durchführung der Evaluation.
Durchführung
Im Rahmen eines milling around durften die Studierenden sich zunächst mit wechselnden Kommiliton:innen zu vier Leitfragen austauschen. Dadurch wurde eine Grundlage für die anschließende Gruppendiskussion geschaffen, in der die Studierenden gemeinsam ihre Einschätzungen austauschen, vertiefen und kritisch reflektieren konnten.
Ein Auszug aus der PowerPoint-Präsentation. Zu sehen ist das Arbeitsblatt zum milling around, das nach der Gruppendiskussion von den Dozierenden eingesammelt wurde, um zusätzliches schriftliches Feedback zu erhalten und Aspekte zu erfassen, die in der Diskussion möglicherweise nicht angesprochen wurden.
Abschließend wurden die Studierenden mithilfe von Exit Slips dazu befragt, wie sie das Format wahrgenommen hatten, welche Schwierigkeiten damit verbunden waren, welches Format sie bevorzugten (Online-Fragebögen oder Gesprächsrunde) und welche Gründe ihrer Präferenz zugrunde lagen.
Zentrale Ergebnisse: Inhalt
Erwartungen vs. Wünsche
Die Studierenden kamen mit der Erwartung in den Kurs, etwas über KI und KI-Anwendungen, deren Potentiale und Risiken, sowie über deren Auswirkungen auf wissenschaftliches Schreiben und Sprachwandel zu lernen. Zusätzliche Wünsche, die von Studierenden geäußert wurden, waren ein größerer Fokus auf die Verbesserung ihrer eigenen akademischen Schreibfähigkeiten (auch ohne KI) sowie eine tiefgründigere und stärker angeleitete Analyse KI-generierter Texte.
Main Take-aways
Auf die Frage, welche Inhalte des Kurses ihnen am meisten in Erinnerung bleiben und auch in Zukunft hilfreich für sie sein werden, beschrieben die Studierenden, dass sich ihre ursprüngliche Herangehensweise („naive and highly uninformed", „I had the impression that the AI would redact texts better and more efficient than I could") an die Arbeit mit KI-Tools im Laufe des Kurses deutlich geändert hat. Sie nannten hierfür zwei größere Bereiche: Textproduktion und Textrezeption.
Bezüglich der Textproduktion gaben die Studierenden an, nun einen Fundus an Wissen zu besitzen, welche Potentiale und Risiken KI-Anwendungen haben und dass die menschliche Überprüfung von KI-Output zentral sei („be the boss of AI tools"). Sie berichteten zudem, dass sie aufgrund ihres neu erworbenen Wissens nun mehr Vertrauen in ihre eigenen Schreibfähigkeiten gewonnen hätten („more confidence in my own writing", „be able to use writing more creatively than AI"). Sowohl bezüglich der Textproduktion als auch der Textrezeption erwähnten die Studierenden, dass sie nun wüssten, welche linguistic features (z.B. bestimmte Vokabeln, syntaktische Strukturen etc.) typisch für KI-generierte Texte sind, und deswegen auch bei der Textrezeption einen kritischen Blick gewonnen hätten.
Zukünftige Kursformate
Auf die Frage, welche Inhalte sich die Studierenden für ähnliche zukünftige Kursformate wünschen, gaben sie sehr vielfältige Antworten. Die Studierenden wünschten sich einen Kurs, der bezüglich der Merkmale KI-generierter Texte weiterhin „up-to-date" ist und neue Entwicklungen thematisiert. Eine direkte Gegenüberstellung generierter Texte verschiedener LLMs und der direkte Vergleich ihrer Unterschiede hätte die Studierenden besonders interessiert.
Studi-Fazit: AI for Academic Writing
Studierende zeigten nach dem Seminar eine sehr reflektierte Haltung gegenüber der Verwendung von KI für das wissenschaftliche Schreiben. Sie erkannten es als „double-edged sword" und realisierten, dass die Nutzung sowohl Vorteile als auch Nachteile bringe. Nach eigener Auskunft wollen sie KI dann verwenden, wenn sie ihre eigenen Fähigkeiten verbessern kann („where can AI level up what I’m already bringing to the table").
Zentrale Ergebnisse: Evaluationsformat
Viele Studierende beschrieben den gemeinsamen Austausch im Rahmen der Evaluation als gewinnbringend, da sie die Meinungen und Ideen der anderen Teilnehmer:innen kennenlernen konnten. Sie gaben an, es als entlastend empfunden zu haben, dass andere ähnliche Erfahrungen und Fragestellungen teilten. Zudem wurden die methodische Abwechslung und die Möglichkeit, Verständnisfragen zu stellen und Unklarheiten unmittelbar zu klären, als positive Aspekte des Formats hervorgehoben.
Die primären Schwierigkeiten hinsichtlich des Formats bestanden nach Angaben der Studierenden in der Formulierung von Antworten auf offene Fragen sowie in der Anwesenheit der Lehrpersonen während der Bewertungsmaßnahmen, die offenes und kritisches Feedback erschwerte.
Bei der Auswertung der Exit Slips zeigte sich für die Gruppe eine Präferenz für Online-Fragebögen, die von ihnen mit der Anonymität und der Zeitersparnis begründet wurde. Jedoch sind die Rücklaufquoten bei standardisiert angebotenen Lehrveranstaltungsevaluationen der Universität Bamberg de facto in der Regel gering und das Feedback fällt oft eher oberflächlich aus. Dies deutet auf eine Diskrepanz zwischen den von den Studierenden geäußerten Präferenzen und ihrer tatsächlichen Beteiligung an Online-Evaluationen hin. Für die BaKuLe-Arbeitspakete stellt sich deshalb die Frage, welche Bedingungen die Studierenden am effektivsten zur Teilnahme an Evaluationen motivieren.
Ausblick
Fragebögen gelten zwar als valides und zuverlässiges Instrument zur Evaluation von Lehre und Lernen, stoßen jedoch auch an ihre Grenzen (vgl. Marsh 1987; Kember et al. 2002; Bovill et al. 2010). Rückmeldungen von Studierenden weisen unter anderem auf eine zunehmende Befragungsmüdigkeit hin, die dadurch verstärkt werden kann, dass sie wiederholt als Befragte adressiert werden, anstatt aktiv in die Gestaltung und Durchführung von Evaluationsprozessen einbezogen zu werden.
Aufgrund der bisherigen Erfahrungen der Lehrpersonen mit kurzen Evaluationsformaten, die oft unzufriedenstellend genutzt werden, sowie des Wunsches, die Anwesenheitsquote der Studierenden während des Semesters zu erhöhen, um Diskussionen und Gruppenarbeit zu ermöglichen, wurde die Prüfungsleistung für das Seminar so konzipiert, dass die Studierenden in individuell anzufertigenden Hausarbeiten über die Inhalte jeder einzelnen Seminarsitzung eigenständig und detailliert reflektieren. Als Fazit sollen sie ihre persönlichen Take-aways als Antwort auf die übergeordnete Frage „From pen to prompt in academic writing: When to stick to the pen and when to try a prompt?" kondensiert ausformulieren. Auf Basis dieser Ergebnisse soll die Seminarkonzeption in AP07 für zukünftige Semester zyklisch überarbeitet und optimiert werden.
AP02 und AP07 werden darüber hinaus im kommenden Semester eine semesterbegleitende Evaluation im Co-Creation-Ansatz erproben. Die Studierenden sollen den Evaluationsprozess aktiv mitgestalten, indem sie an der Gestaltung, Durchführung und Auswertung der Evaluation des Kurses beteiligt werden. Ziel ist es, die Lehrveranstaltung soweit möglich gemeinsam mit den Studierenden zu konzipieren und anhand ihrer Rückmeldungen weiterzuentwickeln.
Literaturverzeichnis
Bovill, C., Aitken, G., Hutchison, J., Morrison, F., Roseweir, K., Scott, A., & Sotannde, S. (2010). Experiences of learning through collaborative evaluation from a masters programme in professional education. International Journal for Academic Development, 15(2), 143–154. https://doi.org/10.1080/13601441003738343 .
Kember, D., Leung, D. Y. P., & Kwan, K. P. (2002). Does the Use of Student Feedback Questionnaires Improve the Overall Quality of Teaching? Assessment & Evaluation in Higher Education, 27(5), 411–425. https://doi.org/10.1080/0260293022000009294 .
Marsh, H. W. (1987). Students’ evaluations of university teaching: research findings, methodological issues, and directions for future research. International Journal of Educational Research, 11, 253–388.
Rampelt, F., Matthes, W., Hannken-Illjes, K., Sandmeir, A., Gehrs, V., Horstmann, N., Kunz, A. M., Eigbrecht, L., Johannsen, T., Blum, S., Frank, S., Sutter, C. & Koch, H. (2025). Future Skills 2030. Ein aktualisiertes Framework für Zukunftskompetenzen. Berlin: Stifterverband. https://zenodo.org/doi/10.5281/zenodo.17910748 .