Prompt-a-Phon Workshop on Artificial Intelligence in Literacy Education

On September 5th, I, along with my colleague Dr. Klaus Buddeberg, hosted a prompt-a-phon on the topic of multimodal AI as part of the World Literacy Day 2023 event – Artificial Intelligence in the Context of Literacy and Basic Education (program time table).

Abb.: It was a REAL workshop – everybody was making, tinkering, exploring, laughing, thinking critical… (Bildquelle: LLLatUHH).

For most participants, the main focus was on getting to know and experimenting with various tools. We had three hours to explore and experiment with these tools ourselves, rather than just watching YouTube videos (e.g., by Matt Wolfe or MattVidPro AI). If you have suggestions for non-white-male channels, please send them to me via email, X or Discord.

The starting point was a brief introduction by Klaus and me, iPads with prepared fobizz accounts, as well as a Padlet and a Discord server provided by Klaus:

fobizz is an EdTech startup from Hamburg founded by serial entrepreneur Diana Knödel and Frederik Dietz</a. Fobizz offers online training and tools for teachers and schools. Of particular interest for the workshop were the AI tools, specifically the AI Image Assistant (WARNING: Images generated here are publicly available on the platform).
You can find my Padlet with a collection of links under the title Multimodal KI Overlords. Unfortunately, at the University of Hamburg, you cannot access Padlet.com on the MDM-managed workshop iPads. If you also cannot access Padlet or prefer not to (although we didn’t pay much attention to GDPR compliance with all these tools), you can download the Padlet as a CSV-Export.

On Klaus’s Discord server, we shared our results in real-time.

Workshop Experience

Our workshop teaser was: „In this workshop, images and graphics will be created using artificial intelligence systems. We will experiment to see which concepts can be explained through images. Additionally, we will create and test fakes to see how they differ from reality.“ I also added more to it. Here are some insights and experiences:

We worked on the following questions:

How can literacy instructors use multimodal AI tools to create materials for basic education?
What challenges should be considered in digital literacy education regarding multimodal AI, such as image generation?
Are there „empowerment potentials“ for individuals with low literacy skills through multimodal AI? How can these be conveyed in literacy education?

When participants tried to „simply create an image,“ many who were using AI tools for the first time experienced that sometimes it works well, sometimes not, patience is required, a lot of unusable content is generated, and occasionally, with „a lot of patience and effort,“ something useful comes out. Unlike images found on the internet, at least you can be sure you won’t run into copyright issues. The challenge is getting the exact image you desire and consistent images.

Here’s an example related to „creating images for illustration“ using the Fobizz tool (based on DALL-E2 by OpenAI).

• Das Padlet mit einer Linksammlung von mir findet sich unter dem vertrauenserweckenden Titel Multimodal KI Overlords. Erster Showstopper: an der Uni Hamburg kann man auf den MDM-verwalteten Workshop-iPads Padlet.com nicht aufrufen 😯 . Falls Ihr auch nicht auf Padlet zugreifen wollt oder könnt (wobei wir bei den ganzen Tools nicht wirklich zu genau auf DSGVO schauen sollten – und auf das Meta-Threads-Big-Brother-Niveau kommen die meisten nicht), hier das Padlet in der Version von heute als CSV-Export (wir steigen an der U Bremen gerade auf NextCloud um – wenn ihr Probleme mit dem Link hat, bitte Info an mich). Abb. Padlet Multimodal KI Overlords
• Auf dem Discord-Server von Klaus haben wir dann unsere Ergebnisse laufend geteilt.

Erfahrungsbericht

Unser Workshop Teaser lautete „In diesem Workshop werden Bilder und Grafiken mit Hilfe von Systemen der künstlichen Intelligenz erstellt. Es wird ausprobiert, welche Sachverhalte durch Bilder erklärt werden können. Außerdem werden Fakes erstellt und getestet, inwieweit sich diese von der Realität unterscheiden lassen.“ Ergänzend habe ich noch einiges mehr gemacht. Hier ein paar Einblicke und Erfahrungen.

Bearbeitet haben wir dann folgende Fragestellungen:

• Wie können Alphabetisierungskräfte multimodale KI-Werkzeuge nutzen, um Material für die Grundbildung zu erstellen?
• Welche Herausforderungen gilt es in der digitalen Grundbildung bezüglich multimodaler KI wie z.B. Bilderstellung zu berücksichtigen?
• Gibt es „Empowerment-Potentiale“ für gering Literalisierte durch multimodale KI? Wie könnte man diese in der Alphabetisierung vermitteln?

Beim „einfach mal ein Bild erstellen“ konnten viele TN, die zum ersten mal mit KI-Tools Bilder erstellten, die Erfahrung machen, dass es mal gut und mal schlecht läuft, man Geduld braucht, viel Unbrauchbares entsteht, mit „viel Geduld und Spucke“ dann doch mal was Brauchbares rauskommt. Im Gegensatz zur Bilderbuch im Internet ist man sich zumindest sicher, in keine Abmahnfallen reinzutappen. Schwierig ist es, genau das gewünschte Bild zu bekommen und konsistente Bilder zu bekommen.

Hier mal ein Beispiel für das Thema „Bilder zur Illustration erstellen“ mit dem Fobizz-Werkzeug (basiert auf DALL-E2 von OpenAI).

Abb.: Fobizz-KI Assistenz für Bilder – Prompt „Mann lernt schreiben“ – Erste Variante

Deutlich sieht man hier Artefakte insbesondere an den Händen und auch im Gesicht. Fazit: nicht brauchbar.

Abb.: Fobizz-KI Assistenz für Bilder – Prompt „Mann lernt schreiben“ – Zweite Variante mit Fobizz-Bedien-Panel

Auch hier wieder Artefakte in Gesicht und Hände, aber durch die Perspektive und den Malstil zur Illustration zum Thema „Lernen mit Journaling“ sicherlich für einen Blog geeignet.

Bei Fotos gab es dann ein paar Ergebnisse, die mal wieder eindrücklich klar machen: Large Language Models VERSTEHEN KEINE SPRACHE (sehr schöner Pre-ChatGPT Essay, Warnung vor Antropomorphismus):

Der Prompt „Kleine Gruppe Erwachsene lernen zusammen“ lieferte folgendes Bild…

Wir sehen hier, wie aktuelle Modelle Haare mittlerweile super hinkriegen, Hände mit Stiften scheint es in der Trainingsdatenbank auch sehr viele zu geben (obwohl die mittlere bei Finder 4 und 5 Artefakte aufweist und die Hand vom Mädchen rechts zu schmal ist). Augen ist auch ein Problem, auch die Blickrichtungen). Aber das sind Kinder! (Man könnte jetzt natürlich einwenden: Das „Kleine“ am Anfang schickt die KI in die pädagogische Diskussion, ob Kinder als „Kleine Erwachsene“ zu behandeln sind?)

Oder der folgende Prompt „Erwachsene lernen zusammen, schöner Raum, Pflanzen“ liefert folgendes Bild:

Da ich weder Erwachsene noch Groot sehe, fehlt hier was…

Ein besserer Prompt wäre „Eine Gruppe Erwachsener lernen zusammen in einem schönen Raum mit vielen Pflanzen“.

Insgesamt war zumindest bei Fobizz gab es in Richtung Fotos mit Stable Diffusion bessere Bilder:

Links: Stable Diffusion vs. Rechts: Dall-E

(Seitenkommentar für zukünftige Bundesbauminister/innen: ein schöner Raum ist bei Stable Diffusion ein hoher Altbau mit viel Licht und Holzboden und kein niedriger Platten-Menschenstall mit Plastikboden und Lichtscharten)

Im Stil Bleistiftzeichnung kommen auch interessante Bilder raus – zumindest als Vorlagen durchaus brauchbar

Prompt: Erwachsene lernen in VHS (Zeichnung).

Eine Gruppe schaute, ob man Einladungskarten gestalten kann: „Werbung für ein großes Stadtteilfest in Hamburg Mitte für junge Menschen“

Und hier dann nochmal mit Prompt von mir „Eine Einladung für ein Stadtteilfest in Hamburg-Altona, gezeichneter Stil, viele Menschen, Luftballons, eine Marschkapelle macht Musik“.

OK, ob das jetzt nach Altona aussieht, müssen mir die Menschen aus Hamburg sagen.

Insgesamt wurde auch noch viel in Richtung Fake-News, insbesondere mit Pabst-Bildern gemacht (in Regenbogen-Farben etc.). Das ging richtig gut. Von dem gibt es anscheinend viele Bilder im Trainingsset.

Und natürlich haben wir auch viele andere Tools (siehe das Padlet) ausprobiert. Gerne mal zusammen auf einem weiteren Prompt-A-Phon. Short story: je nach Bildwunsch kriegt man tolle Sachen hin, Blue Willow und MidJourney sind sehr gut, kosten und werden per Discord-Channel bedient, Bing hat auch einen interessanten Bildgenerator und es gibt neben Adobe Firefly (wenn ihr ne CreativeConnect-Lizenz habt, ist das inkludiert) auch mittlerweile in Photoshop und Illustrator generative Fill-Funktionen.

Beyond Bilder

Mich interessierte bei dem Workshop insbesondere komplexere Workflows und Werkzeuge für Content Generierung. Ein paar interessante Ergebnisse:

Erklärvideos und Tutorials mit einem Prompt

Mit dem Tool https://ai.invideo.io erstelltes Erklärvideo mit dem Prompt „How to build personal wealth with just 100€ per month for young adults“:

Das eigene DropShipping Produkt designen und in Szene setzen

Hier habe ich mit einem Workshopteilnehmer eine neue neue Zahnpasta mit Knoblauch-Geschmack konzipiert (mit Adobe Firefly) und Flair.ai als Produktshot – läuft Euch da nicht auch das Wasser im Mund zusammen? Das wäre mal ein Workshop für sich: Produktidee, Verpackung und Design gestalten, Produktshots erstellen, Lieferanten finden, Website aufsetzen, Unternehmensgründung in einem Workshoptag.

ChatGPT Plugins

Und dann habe ich endlich mal ausgiebiger mit ChatGPT Plugins (aktuell 920 Plugins) ausprobieren können. Für die Plugins-Nutzung müsst ihr aber ChatGPT Plus für 20€/Monat abonniert haben.

Ich starte mit

Korrigiere bitte folgenden Text: Die Mauz king abents in die Schäune.

ChatGPT: Gerne! Der korrigierte Satz lautet: "Die Maus ging abends in die Scheune."

Welche Fehler habe ich gemacht?

ChatGPT: Du hast mehrere Fehler in deinem Satz gemacht:

    "Mauz" sollte "Maus" sein.
    "king" sollte "ging" sein.
    "abents" sollte "abends" sein.
    "Schäune" sollte "Scheune" sein.

Das sind die Korrekturen, die ich vorgenommen habe."

Erstelle mir bitte ein paar Übungsaufgaben dazu.

ChatGPT: Natürlich! Hier sind einige Übungsaufgaben, um die Rechtschreibung und Grammatik zu üben:

    Ergänze den Satz:
        Die Katze  (schlief/schlieft) auf dem Sofa.

    Korrigiere den Fehler im Satz:
        Der Hund sprang über den Zaung.

    Wähle das richtige Wort aus:
        Er geht jeden Tag ins (Fitnessstudio/Fitnesstudio).

    Ergänze den Satz:
        Sie hat einen neuen  (Pullover/Pulover) gekauft.

    Korrigiere den Fehler im Satz:
        Er hat ein großes Interesse an Geschichte und Kultur, deswegen besucht er oft Mueseums.

    Wähle das richtige Wort aus:
        Das Wetter ist heute sehr (schön/schöne).

    Ergänze den Satz:
        Die Kinder spielen im  (Garten/Gahrten).

    Korrigiere den Fehler im Satz:
        Sie hat ein neues Buch gelesen und fand es sehr interesant.

    Wähle das richtige Wort aus:
        Er hat sein Fahrrad in der (Garage/Garaje) geparkt.

    Ergänze den Satz:
        Der Vogel fliegt hoch am  (Himmel/Himel).

Hoffentlich helfen dir diese Übungen! Wenn du die Lösungen wissen möchtest oder weitere Übungen brauchst, lass es mich wissen!"

Soweit, so old school ChatGPT. Jetzt kommen die PlugIns in’s Spiel!

Mit dem Plugin Quizizz („Gestalte deine Textquizze und Inhalte spielerisch, um das Engagement für Bewertung, Unterricht und Übung zu fördern.“) lasse ich ChatGPT ein Quizz erstellen: 

Eine andere Möglichkeit – das Plugin Argil: Illustrieren einer eigenen Geschichte – Stichwort „Zum Schreiben motivieren“:

Nachdem ich mit ChatGPT eine Story über einen Frosch entwickelt habe, der ein Bein verloren hat und dennoch mit seinem Leben klar kommt und Künstler wird, fange ich an, mittels Argil Illustrationen zu erstellen.

Die Bilder haben mir zunächst zuviel Foto- und Mal-Elemente, also bitte ich um handgezeichnete Buntstiftzeichnungen…

Hmm, bunt ist irgendwie anders, aber man tastet sich voran.

Was nicht?

Zeitlich runtergefallen waren so Tools wie ChatPDF, in denen man Fragen an Dokumente stellen kann. Der Plan war, einen Elternbrief einzuscannen, als Bild ChatGPT zu geben und dann mal zu befragen, was ist z.B. eine „Kahnfahrt“, die auf der Klassenfahrt angeboten wird, oder mir den Text auf Kroatisch vorlesen zu lassen, ein Video zu erstellen, was man auf der Klassenfahrt so erleben kann und und und… .

Fazit

Für einen 3,5 Stunden-Workshop konnten wir viel ausprobieren und haben mal echte kleine eigene Schritte machen können. Ich denke, dass man gerne auch mehr Zeit nutzen könnte, dann am besten mit einer ersten Ideenfindungsphase, z.B. wir erstellen ein interaktives Rechtschreibquizz zu einer Wortliste und erstellen zu jedem Wort auch eine eigene Illustration. Oder wir erstellen ein Videotutorial zum Thema Bilderbücher illustrieren mit KI, schreiben jeder eine kleine Geschichte, erstellen die Bilder und erstellen dann ein offenes E-Book. Die Möglichkeiten sind sehr groß und es besteht sowohl für Lehrende in der Grundbildung (Stichwort: Mediendidaktik, Einsatz von KI für Unterrichtsvorbereitung, -durchführung, -nachbereitung + Medienbildung: Medienkompetenzen entwickeln) als auch für Personen mit niedriger Literalität (Stichwort: Medienkompetenz, Empowerment) die Notwendigkeit und das Potential, sich mit dem Thema auseinanderzusetzen.