DeepSeek-Coder-V2

DeepSeek-Coder-V2 представляет собой открытую модель языкового кодирования, основанную на смеси экспертов (MoE). Она была дополнительно предобучена на промежуточной контрольной точке DeepSeek-V2 с использованием 6 триллионов токенов. Исходная модель V1 была разработана с нуля на 2 триллионах токенов, состоящих на 87% из кода и на 13% из естественного языка на английском и китайском. Для предобучения использовался корпус кода на уровне проектов с применением задачи заполнения пропусков.