 Кидать технические статьи в локальный переводчик лисы это отличный способ развлечься, пытаясь понять, что хотел сказать автор Преимущество трансформаторов не имеют никаких повторяющихся единиц, поэтому требуется меньше времени на обучение, чем более ранние повторяющиеся нейронные архитектуры (RNN), такие как длительные краткосрочные память (LSTM). 6 comments
Одним из ключевых нововведения было использование механизма внимания, в котором использовались нейроны, которые размножают выработки других нейронов, так называемых мультипликативных единиц. Нейронные сети с использованием мультипликативных агрегатов были позже названы сетями сигма-пи или сетями более Относительные характеристики были сравнены между глобальным (RNNsearchсюмаминого) и местными (раздвижными окна) архитектурой внимания для машинного перевода, обнаруживая, что смешанное внимание имело более высокое качество, чем внимание во всем мире, в то время как местное внимание сократило время перевода. Параллеля вниманию Модели Seq2seq с вниманием (включая себя внимания) по-прежнему страдают от той же проблемы с повторяющимися сетями, которые им трудно размахивать, что помешало им ускориться на графических процессорах. В 2016 году разлагаемое внимание применяло механизм самообеспечения к сетям, которые легко параллелизируют, и достижение COTA приводит к текстуальному выражению с на порядок меньше параметров, чем LSTM. Каждый слой кодера содержит 2 подлера: самоуцелевое внимание и сеть кормового. Каждый слой декодер содержит 3 подлера: причинно-маскированное самоуцелевое внимание, перекрестное внимание и сеть подкармандатных. (Тоже #словотворчество бтв) |
Gregory's Server
А ещё он выдает #словотворчество
Например «Преддецессоры»