Gregory's ServerОдним из ключевых нововведения было использование механизма внимания, в котором использовались нейроны, которые размножают выработки других нейронов, так называемых мультипликативных единиц. Нейронные сети с использованием мультипликативных агрегатов были позже названы сетями сигма-пи или сетями более
|
4 comments
 Параллеля вниманию Модели Seq2seq с вниманием (включая себя внимания) по-прежнему страдают от той же проблемы с повторяющимися сетями, которые им трудно размахивать, что помешало им ускориться на графических процессорах. В 2016 году разлагаемое внимание применяло механизм самообеспечения к сетям, которые легко параллелизируют, и достижение COTA приводит к текстуальному выражению с на порядок меньше параметров, чем LSTM. Каждый слой кодера содержит 2 подлера: самоуцелевое внимание и сеть кормового. Каждый слой декодер содержит 3 подлера: причинно-маскированное самоуцелевое внимание, перекрестное внимание и сеть подкармандатных. (Тоже #словотворчество бтв) |
Относительные характеристики были сравнены между глобальным (RNNsearchсюмаминого) и местными (раздвижными окна) архитектурой внимания для машинного перевода, обнаруживая, что смешанное внимание имело более высокое качество, чем внимание во всем мире, в то время как местное внимание сократило время перевода.