Время вокруг нас
20172017: Архитектура Transformer
Механизм внимания стал основой нового подхода к обработке последовательностей.
В работе Attention Is All You Need 2017 года предложена архитектура Transformer. Её авторы проверили модель на задачах машинного перевода.
Внимание позволяет учитывать связи между частями входной последовательности. Такая организация вычислений поддерживает параллельную обработку и стала важным направлением развития нейросетевых моделей.
Материалы
Фотореалистичный коллаж создан с помощью ИИ для иллюстрации темы года.