Метод Ньютона — это итеративный алгоритм оптимизации второго порядка, который использует данные о градиенте и гессиане целевой функции для поиска её минимума или максимума. В ходе каждой итерации метод приближает функцию квадратичной формой и определяет её экстремум. Такая процедура обеспечивает квадратичную скорость сходимости рядом с оптимумом, что делает её значительно более эффективной по сравнению с градиентным спуском, особенно в случае хорошо обусловленных задач.