Nous: Hermes 2 Mistral 7B DPO

Модель Hermes 7B является флагманом, представляющим собой оптимизацию по прямым предпочтениям (DPO) на основе [Teknium/OpenHermes-2.5-Mistral-7B]. Она демонстрирует улучшения по всем тестируемым метрикам, включая AGIEval, BigBench Reasoning, GPT4All и TruthfulQA. Перед оптимизацией DPO модель была обучена на 1 000 000 инструкций и чатов, соответствующих качеству GPT-4 или выше. Основным источником данных служили синтетические наборы, а также другие высококачественные датасеты.