Der Transformer wurde 2017 vorgestellt und loeste aeltere Architekturen wie RNNs ab, weil er Texte parallel statt nacheinander verarbeitet. Das Herzstueck ist der Self-Attention-Mechanismus, der bewertet, wie stark sich Woerter im Kontext aufeinander beziehen. Dadurch koennen Modelle weitreichende Zusammenhaenge erfassen und effizient auf grossen Datenmengen trainiert werden. Praktisch alle bekannten LLMs wie GPT, Claude und Gemini bauen auf dieser Architektur auf.
Transformer
Der Transformer ist die neuronale Netzwerkarchitektur, auf der nahezu alle modernen Sprachmodelle basieren. Sein Attention-Mechanismus erlaubt es, Zusammenhaenge im gesamten Text gleichzeitig zu erfassen.
Verwandte Begriffe
Vom Begriff zur Praxis
Speichere, versioniere und teile deine besten Prompts mit Prompt2Love.
Kostenlos starten