Generative Text-KIs und Sprachmodelle

Die LSTM-Methode (Long Short-Term Memory) ist eine seit 1995 existierende Software, die dazu dient, bestimmte Muster in Daten zu erkennen. Dadurch ist die Software in der Lage, sich an frühere Informationen zu erinnern und diese bei Bedarf wiederzuverwenden.   

Damit diese Technik funktioniert, verwendet das LSTM ein spezielles neuronales Netzwerk, das sogenannte Recurrent Neural Network (RNN), das mit sich wiederholenden Prozessen arbeitet. Das bedeutet, dass die Software in der Lage ist, Informationen Schritt für Schritt zu verarbeiten.   

Allerdings hat das LSTM auch seine Grenzen. Da es Informationen nacheinander verarbeitet, kann es nicht gut mit grossen Datenmengen umgehen und neigt dazu, weiter entfernte Informationen zu übersehen. 

2017 stellte Google das wissenschaftliche Paper «Attention is All You Need»(öffnet ein neues Fenster) vor. Darin legen die Autoren nahe, dass neue Aufmerksamkeitsmechanismen die Qualität und Effizienz der bisherigen Modelle für neuronale Netzwerke deutlich steigern können:  

Das Forschungsteam schlägt eine «einfache Netzwerkarchitektur vor, den Transformer, der ausschliesslich auf Aufmerksamkeitsmechanismen basiert […]»(öffnet ein neues Fenster). Dieser Transformer nutzt neuartige Mechanismen, um den Kontext besser zu verstehen und effizienter zu verarbeiten. Experimentiert wurde mit maschinellen Sprachübersetzungsaufgaben.  

Der Transformer hat die Entwicklung der generativen Text-KI massgeblich vorangetrieben. Da er besser mit langen Abhängigkeiten in Texten umgehen und effizienter trainiert werden kann, eignet er sich hervorragend für Aufgaben wie die Textgenerierung, Chatbots und andere Anwendungen, die natürliche Sprache erzeugen oder verstehen müssen. Kein Wunder also, dass alle bekannten Text-KIs heutzutage auf der Transformer-Architektur aufgebaut sind. 

Was genau willst du wissen? Stellst du ungenaue Fragen, gibt die KI verwaschene Antworten. Du willst aber ja eine konkrete und nützliche Antwort für genau deinen Anwendungsfall, oder?

In welchem Schreibstil soll die KI antworten? Schreibe ihr am besten eine Rolle zu, damit sie den gewünschten Ton trifft, zum Beispiel: «Antworte als Lehrerin» oder «Erkläre so, dass es ein 10-jähriges Kind versteht».  
 
Tipp für Schreibaufgaben: Lasse die KI vorab eine Stilanalyse eines existierenden Textes durchführen, damit sie sich den gewünschten Stil antrainiert. Erst danach stellst du ihr deine eigentliche Aufgabe, die du beantwortet haben möchtest – im nun antrainierten Stil.

In welcher Form soll die Antwort ausgespuckt werden? Etwa als Lauftext mit Zwischentiteln oder als Tabelle mit den Spalten «Orte», «Sehenswürdigkeiten», «Restaurants»? Oder vielleicht sogar als Grafik oder Code? Gib es der KI vor. 

Eine KI versteht und antwortet in der Regel besser, wenn man ihr pro Prompt nur eine klare Aufgabe gibt. Wenn du danach noch mehr wissen willst, frage weiter nach. Im Gespräch erschliesst sich der KI allmählich der gesamte Kontext und du kannst dir alle deine Fragen nach und nach beantworten lassen.  
 
Bei komplexeren Aufgaben kann es auch helfen, wenn du die KI aufforderst, dass sie dir Dinge Schritt-für-Schritt erklärt oder dir ihre Gedankenketten darlegt. 

Wenn du Informationen in einer bestimmten Struktur, Unterthemen auf einer bestimmten Flughöhe oder in einem vordefinierten Stil erhalten möchtest, liefere der KI in deinem Prompt ein Beispiel, damit sie dich versteht. So sparst du dir aufwändige Erklärungen und erhältst leichter bessere Ergebnisse.

Mit einem Sprachmodell zu chatten bedeutet immer auch, Antworten zu erhalten, die wenig hilfreich sind. Vielleicht missversteht dich die KI auch mal. Das kann’s geben. Formuliere deine Frage um, vielleicht kannst du die Aufgabe in zwei Schritte unterteilen? Unterhalte dich mit der KI und sag ihr, wenn und was sie falsch verstanden hat und was sie stattdessen tun soll.

Ein Sprachmodell funktioniert so, dass immer die wahrscheinlichsten nächsten Worte bzw. Antworten gefunden werden. Das muss aber nicht zwingend heissen, dass diese Angaben korrekt sind. Die meisten Sprachmodelle warnen darum berechtigterweise (meist in der Nähe des Eingabefeldes): «Ich kann Fehler machen. Bitte prüfe meine Angaben.» Halte dich daran. 

Eine KI kann nicht nur Metaphern in den Antworten integrieren, sie kann auch Tonalitäten und Flughöhen einer Erklärung variieren. Nutze dies, um dir ein Thema aus mehreren Perspektiven erklären zu lassen.  

Beispiel: Beantworte die Frage «Soll ein Smartphone während dem Unterricht erlaubt sein?» aus der Sicht einer Lehrperson, eines 10-jährigen Schülers sowie seiner Mutter. 

Eine KI kann nicht nur Metaphern in den Antworten integrieren, sie kann auch Tonalitäten und Flughöhen einer Erklärung variieren. Nutze dies, um dir ein Thema aus mehreren Perspektiven erklären zu lassen.  

Eine KI kann auch eine Diskussion simulieren, indem sie gleichermassen beide Standpunkte einnimmt und sowohl Argumente als auch Gegenargumente zu einer These findet und im Gespräch einbringt.

Beispiel: Simuliere eine Diskussion zwischen zwei Medienexpert*innen zur These: «Kritische Medienkompetenz in Schulen zu unterrichten ist wichtiger als technische Fähigkeiten zu vermitteln.» Expert*in A vertritt die Position, dass kritisches Denken die Grundlage bildet, auf der die technischen Fähigkeiten aufbauen. Expert*in B argumentiert dagegen, dass ohne fundierte technische Kenntnisse kein kritisches Denken und Medienkompetenz möglich sind. Gestalte die Diskussion als Dialog mit jeweils 3-4 Redebeiträgen pro Person. Berücksichtige dabei aktuelle Herausforderungen wie KI-generierte Inhalte, Desinformation und algorithmische Filterung. Beide Expert*innen sollen Argumente und Beispiele aus der Bildungspraxis einbringen.

Zwar hat eine KI keine Gefühle und manchmal auch keine eigene Meinung. Dennoch kann sie super als Partnerin für ein Ideen-Ping-Pong oder Feedback-Schlaufen funktionieren. Fordere von der KI einen iterativen Prozess und tausche dich wie mit einem Teammitglied digital mit ihr zu deinen Themen aus.

Beispiel: Bereite die KI auf den Austausch vor, indem du sie informierst: «Ich werde dir gleich eine Idee präsentieren. Darauf gibst du Feedback, wie ich sie weiterdenken und optimieren kann. Ich verbessere daraufhin meine Idee. Wir wiederholen diesen Prozess dreimal.»

Eine KI kann in Rollen schlüpfen und dir so Geschichten oder fiktive Szenen lebendig vermitteln. Diese Art des Promptings eignet sich super, um historische Figuren oder Situationen erlebbar zu machen.

Beispiel: Simuliere ein Gespräch zwischen Marie Curie und Albert Einstein im Jahr 1925 über die Zukunft der Physik. Marie Curie soll dabei ihre Forschung zur Radioaktivität verteidigen, während Einstein die Wichtigkeit seine Relativitätstheorie behauptet. Berücksichtige den damaligen Wissensstand und die gesellschaftlichen Umstände für Wissenschaftler*innen, besonders für eine Frau in der Wissenschaft. 

Du kannst die KI auch auffordern, dass sie ihre Antwort auf einer Skala von 1–10 selbst bewertet. Sie soll dir zudem erklären, was sie hätte besser machen können. Das hilft dir, Stärken und Schwächen der Antwort zu erkennen und einzuordnen.

Wenn du zum Beispiel eine Reise planen möchtest und die generative KI dir Sightseeing Tipps oder Routen vorschlagen soll, frage die KI vorab, was sie für eine optimale Planung alles von dir wissen muss. Beantworte alle Fragen einzeln, strukturiert und gib alle nötigen Details an (keine persönlichen Daten!). So kannst du optimieren, dass die vorgeschlagene Reise möglichst exakt deinen Reisedaten, Wünschen und deinem Budget entspricht.

Prompt-Schemata (sogenannte Frameworks) wie TIDD-EC unterstützen beim strukturierten Prompten. TIDD-EC setzt sich aus den englischen Anfangsbuchstaben der Bestandteile zusammen:  

• Task Type (Art der Aufgabe): Gib dem Sprachmodell eine klare Vorstellung davon, welche Art von Aufgabe es ausführen soll.   
• Instructions (Anweisungen): Beschreibe spezifische Schritte oder Richtlinien, die das Sprachmodell befolgen soll.   
• Do (Ausführen): Welche Aktionen helfen der KI, die Aufgabe auszuführen?  
• Don’t (Vermeiden): Welche Elemente soll die KI bei der Beantwortung des Prompts vermeiden?  
• Examples (Beispiele): Liefere konkrete Beispiele für die gewünschte Art von Ergebnissen oder Antworten.  
• Content (Inhalte): Stelle bestimmte Daten (Achtung: nur allgemeine, keine persönlichen Daten!) zur Verfügung, mit denen die KI arbeiten, die Daten in der Antwort verwenden oder darauf Bezug nehmen kann.   
  

Beispiel: «Erkläre mir in einfachen Worten die gesundheitlichen Vorteile von grünem Tee. Beziehe dich dabei auf wissenschaftliche Erkenntnisse und aktuelle Forschungsergebnisse. Die Antwort sollte leicht verständlich sein und keine komplizierten Fachbegriffe enthalten. Ein Beispiel wäre: 'Grüner Tee kann helfen, das Immunsystem zu stärken.'»