Затухающий градиент — это проблема, возникающая в процессе обучения глубоких нейронных сетей, когда градиенты становятся слишком малыми на уровне многих слоев. Это приводит к замедлению или полной остановке обучения. Причиной являются небольшие значения производных функций активации, что особенно затрудняет обучение на ранних слоях сети. Для решения этой проблемы применяют функции активации ReLU, остаточные связи, нормализацию слоев и особые архитектуры сетей.