MiniMax: MiniMax-01

MiniMax-01 объединяет возможности моделей MiniMax-Text-01 для генерации текста и MiniMax-VL-01 для анализа изображений. Эта модель включает 456 миллиардов параметров, из которых 45,9 миллиарда активируются при каждом выводе. Она способна обрабатывать контекст до 4 миллионов токенов. Текстовая модель использует гибридную архитектуру, которая сочетает Lightning Attention, Softmax Attention и Mixture-of-Experts (MoE). Модель для работы с изображениями основана на структуре "ViT-MLP-LLM" и обучена на основе текстовой модели.