Дистилляция знаний — это процесс, при котором информация передается от сложной модели к более простой. Используются не только правильные ответы, но и вероятностные распределения предсказаний учителя. Это позволяет ученику лучше понимать нюансы принятия решений. Метод способствует созданию компактных моделей, которые сохраняют высокую производительность при снижении требований к вычислительным ресурсам.