Die Welt um uns
20172017: Die Transformer-Architektur
Aufmerksamkeit wurde zur Grundlage einer neuen Sequenzverarbeitung.
Die Arbeit Attention Is All You Need stellte 2017 die Transformer-Architektur vor und prüfte sie anhand maschineller Übersetzung.
Aufmerksamkeit erfasst Beziehungen zwischen Teilen einer Eingabesequenz. Diese Organisation ermöglicht parallele Berechnungen und wurde zu einer wichtigen Entwicklungsrichtung neuronaler Modelle.
Quellen
KI-generierte fotorealistische Collage zum Thema des Jahres.