II.10Разработка и эксплуатация AI/ML-систем

EnvFactory-8B — диалоговая языковая модель семейства Qwen3, разработанная LARK-Lab на основе Qwen/Qwen3-8B. Модель дообучена с помощью SFT и обучения с подкреплением на синтезированных траекториях использования инструментов и предназначена для создания агентов, которые ведут многошаговый диалог, выбирают инструменты и взаимодействуют с ними для выполнения задач. Модель имеет плотную архитектуру Qwen3ForCausalLM с 7,6 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. В обучении использованы 53,4 тыс. отфильтрованных SFT-траекторий и 3,09 тыс. RL-траекторий, построенных на проверенных исполняемых средах из 85 окружений в семи областях. В опубликованных тестах EnvFactory-8B превосходит базовую Qwen3-8B по нескольким показателям использования инструментов, включая многошаговые сценарии. Модель подходит для англоязычных диалоговых агентов с доступом к инструментам через MCP и для выполнения составных задач, требующих серии вызовов инструментов. Это текстовая модель генерации, а не среда исполнения: подключение MCP-инструментов и настройка агента выполняются отдельно. Распространяется под лицензией Apache-2.0.

Systran/faster-distil-whisper-small.en — конверсия модели distil-whisper/distil-small.en в формат CTranslate2. Репозиторий подготовлен Systran для запуска в CTranslate2 и проектах на его основе, включая faster-whisper. Модель предназначена для распознавания английской речи в аудиозаписях и выдачи транскрипции. Веса сохранены в FP16; при загрузке через CTranslate2 можно выбрать другой тип вычислений. Репозиторий распространяется по лицензии MIT. Подробности об архитектуре, размере и контекстном окне в доступных данных отсутствуют.

Necklace/faster-nb-whisper-large — конверсия модели NbAiLab/nb-whisper-large в формат CTranslate2 для запуска через CTranslate2 и проекты на его основе, например faster-whisper. Модель предназначена для автоматического распознавания речи; в карточке указана поддержка норвежского языка. Веса сохранены в FP16, а при загрузке можно выбрать другой compute_type в CTranslate2. Репозиторий распространяется по лицензии Apache-2.0.

NeuML/fasttext — экспорт английских векторов FastText Wiki News размерности 300 из набора wiki-news-300d-1M-subword.vec.zip в формат библиотеки staticvectors. Модель предназначена для получения векторных представлений слов и вычисления сходства между предложениями; запуск инференса в Python с NumPy обеспечивает работу без отдельной нейросетевой среды. Репозиторий содержит плотные статические векторы в формате safetensors. Модель рассчитана на английский язык и применяется в задачах семантического сравнения текстов. Лицензия — CC BY-SA 3.0, предусматривающая указание авторства и распространение производных материалов на совместимых условиях.

Flex-code-2x7B-1T — языковая модель семейства FlexOlmo от Allen Institute for AI (AI2), предназначенная для генерации текста с акцентом на программный код. Это вариант архитектуры Mixture-of-Experts: в карточке модели описана система из экспертов, обученных на разных типах данных, включая код; в метаданных для этой модели указаны 6,9 млрд параметров и архитектура FlexOlmoForCausalLM. Модель поддерживает диалоговый режим, принимает текст и генерирует текст. Карточка сообщает об обучении кодового эксперта на специализированных данных, но не приводит отдельной оценки качества именно этой версии. Модель можно применять для генерации и продолжения кода, а также для диалоговой помощи при решении задач программирования. Метаданные указывают поддержку английского языка и контекст до 4096 токенов. Для работы требуется Transformers версии 4.57.0 или новее. Модель распространяется по лицензии Apache-2.0.

functionary-medium-v3.1-GGUF — это квантизированная версия языковой модели functionary-medium-v3.1, разработанной meetkai и опубликованной в формате GGUF компанией Second State Inc. Модель предназначена для диалоговых приложений и сценариев вызова функций, где требуется формировать вызовы инструментов в заданном формате с аргументами JSON. Поддерживается запуск через LlamaEdge версии 0.14.10 и выше с использованием шаблона prompt functionary-31. Заявленный размер контекста составляет 128 000 токенов. README не содержит сведений о точной архитектуре, количестве параметров, поддерживаемых языках или мультимодальности, поэтому эти характеристики нельзя достоверно определить. Доступны варианты квантизации от Q2_K до Q8_0; Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, при этом более сильная квантизация уменьшает размер файла, но может заметно снижать качество. Модель подходит для локального развёртывания, чат-приложений и интеграции с внешними инструментами через function calling. Ограничения включают возможную потерю качества в низкобитных вариантах и значительный объём файлов: от 26,4 до 49,9 ГБ для указанных сборок. Модель распространяется по лицензии MIT.

meetkai/functionary-v4r-small-preview — языковая модель MeetKai для диалогов с вызовом функций и плагинов. Она основана на Meta-Llama-3.1-8B-Instruct и имеет плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров. Модель принимает описания функций в формате JSON Schema и умеет выбирать, когда вызвать инструмент, выполнять вызовы последовательно или параллельно, учитывать их результаты и формировать ответ на их основе. Также поддерживает обычные ответы в чате и сценарии с интерпретатором кода. Модель рассчитана на интеграцию в приложения и серверы, поддерживающие совместимый с OpenAI интерфейс; для подготовки запросов предусмотрен шаблон чата Functionary. В метаданных указан контекст до 131 072 токенов и формат весов safetensors. Лицензия — MIT. Карточка описывает предварительную версию и заявляет поддержку вызова инструментов, но не приводит результатов независимых оценок качества.

FuseO1-DeepSeekR1-Qwen2.5-Coder-32B-Preview-v0.1-GGUF — это GGUF-квантизации языковой модели FuseAI/FuseO1-DeepSeekR1-Qwen2.5-Coder-32B-Preview, подготовленные пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и, судя по названию базовой модели, ориентирована прежде всего на программирование и задачи рассуждения, однако подробные сведения о поддерживаемых языках, длине контекста и точной архитектуре в README не указаны. Доступны варианты от полного BF16 размером 65,54 ГБ до квантизаций Q3–Q8 и IQ4 с размером примерно от 17,69 до 34,82 ГБ. Для квантизации использовался imatrix, а для запуска рекомендуется LM Studio; также указана совместимость с llama.cpp. В README приведён специальный формат промпта. Более качественными и рекомендуемыми названы варианты Q5, Q6 и Q4_K_M, тогда как облегчённые варианты позволяют снизить требования к оперативной памяти ценой качества. Модель текстовая; поддержка других модальностей не заявлена. Репозиторий распространяется по лицензии Apache-2.0. Ограничения включают значительные требования к памяти для 32B-модели и возможное снижение качества у компактных квантизаций. README не содержит результатов тестирования, точных характеристик базовой архитектуры, сведений о языках и контекстном окне.

Это дообученная и затем модифицированная абляцией отказов версия Gemma-4 12B Coder, опубликованная tpls. Модель предназначена для генерации кода и агентных сценариев с вызовом инструментов. Веса доступны в формате safetensors; README также указывает на отдельные готовые GGUF-квантизации. Архитектура — плотная Gemma4 Unified. Размер 12 млрд параметров указан в названии модели. Модель обучена методом SFT с QLoRA для работы с нативной разметкой вызова инструментов Gemma-4, после чего из весов удаляли направление отказа. Для обработки вызовов инструментов в llama.cpp требуется серверный shim: без него парсер может не распознать нативную разметку. Автор сообщает о прохождении 8 тестовых сценариев с shim, но это ограниченная выборка, а не общая оценка качества. Поддерживаемый язык карточки — английский. Лицензия — Gemma. Ответы и аргументы инструментов могут быть ошибочными или вымышленными, поэтому их следует проверять до выполнения. Из-за существенно ослабленных защитных механизмов модель не подходит для систем, где требуется поведение отказа.

Gemma-4 12B Coder — SFT v5 + abliterated (GGUF) — это локальная квантизированная версия кодовой модели семейства Gemma-4, разработанная на базе модели tpls/gemma-4-12B-coder-fable5-composer2.5-v1-sft-v5-abliterated и подготовленная triplezrobotics. Модель распространяется в формате GGUF для запуска через llama.cpp и Ollama; заявленный основной язык — английский. Модель предназначена для генерации кода, текстовых задач и агентских сценариев с использованием инструментов и function calling. Она сочетает дообучение SFT v5, abliteration и imatrix-квантизацию. Доступны варианты от IQ4_XS и Q3_K_M до Q8_0; Q4_K_M обозначен как сбалансированный вариант для примерно 12 ГБ видеопамяти. В README приведён пример запуска с контекстом 16 384 токена. Ключевое преимущество модели — поддержка вызова инструментов и локального развёртывания. В тесте на наборе из восьми случаев заявлен результат 8/8 при использовании recovery shim, преобразующего нативную разметку Gemma-4 в стандартные tool_calls; без shim-парсера llama.cpp показатель составил 0,125 из-за неполной обработки формата. Ответы могут содержать ошибки или вымышленные данные, поэтому аргументы инструментов необходимо проверять до выполнения. Вариант является uncensored: из весов удалено направление отказа, поэтому защитные ограничения существенно ослаблены. Это делает модель непригодной для сценариев, где обязательна встроенная политика отказа, и требует контроля со стороны пользователя. В README указана лицензия Gemma.

Это дообученная на QLoRA модель Google Gemma 4 E2B Instruct, подготовленная автором rohitsoni1010 для агентного программирования. В основе — плотная мультимодальная архитектура Gemma4ForConditionalGeneration; модель поддерживает диалог и интерфейс вызова инструментов. В README указан набор настройки sft_balanced, а в метаданных — обучение на датасете r0b0tlab/qwen3.8-max-glm5.2-kimi-k3-distillation и формат safetensors. Модель предназначена для задач программирования с агентным поведением, где полезны диалог и вызов инструментов. Описание карточки не уточняет конкретные языки программирования, контекстное окно, поддерживаемые модальности на входе этой версии или результаты оценки качества. Лицензия — Gemma; применяются условия лицензии Google Gemma.

GLiClass Base v1.0 — компактная модель классификации последовательностей от разработчиков семейства GLiClass, вдохновлённая GLiNER. Она выполняет классификацию текста без дообучения на конкретной разметке: пользователь задаёт категории, а модель оценивает текст за один проход. В карточке указана архитектура GLiClass; веса доступны в форматах Safetensors и ONNX. Размер версии Base в README — 186 млн параметров. Модель подходит для классификации тем и тональности, а также для оценки релевантности документов в RAG-сценариях. В тестах zero-shot она показала результаты на наборах IMDB, AG_NEWS и Emotions; точность зависит от задачи и формулировок категорий. Обучение проводилось на синтетических данных. Карточка заявляет возможность коммерческого использования, а метаданные указывают лицензию Apache-2.0.

GLM-4.7-Flash-FP8 — это FP8-квантизированная версия модели GLM-4.7-Flash, разработанной zai-org. Модель предназначена для задач генерации текста и инференса через библиотеку Transformers и сервер vLLM; в README также указана поддержка архитектуры glm4_moe_lite, что указывает на использование MoE-подхода. Сведения о поддерживаемых языках и модальностях отсутствуют. Квантизация выполнена методом FP8 E4M3 с масштабами, встроенными в тензоры. Размер исходной модели в формате BF16 составляет около 62 ГБ, квантизированной версии — около 30 ГБ. В формате BF16 сохранены lm_head, embed_tokens, layernorms и веса маршрутизатора. В README приведён контекст длиной 8192 токена: на двух видеокартах RTX 3090 по 24 ГБ модель потребляла около 14,7 ГБ VRAM на GPU и достигала пропускной способности 19,4 токена в секунду при использовании vLLM 0.13.0 и tensor parallelism на двух GPU. Основное преимущество модели — существенно меньший объём хранения и потребление видеопамяти по сравнению с версией BF16 при сохранении ключевых компонентов в BF16. На GPU с аппаратной поддержкой FP8, включая RTX 40xx и более новые Ada Lovelace, ожидается более высокая производительность; RTX 3090 использует Marlin kernel для распаковки весов. Для запуска требуются vLLM версии 0.13.0 или новее и Transformers 5.0 или новее. Ограничения включают зависимость от совместимого оборудования и программного стека, а также отсутствие в README подробностей о качестве, результатах бенчмарков, языковой поддержке и максимальном контексте базовой модели. Лицензия — MIT.

GLM-5.3-Flash Spark Q2XL MTP — это GGUF-квантизация модели zai-org/GLM-5.3-Flash, подготовленная автором репозитория для запуска на NVIDIA DGX Spark / GB10 с 128 ГБ памяти. Веса общим объёмом около 105 ГиБ используют смешанную точность: матрицы внимания и общие эксперты сохранены с большей точностью, а матрицы маршрутизируемых экспертов сжаты сильнее. Калибровка выполнена с использованием importance matrix; предусмотрено спекулятивное декодирование MTP. Модель предназначена для генерации текста в диалогах и локальных задачах программирования. В тестах автора на одном DGX Spark она показала 159/164 на HumanEval и 153/164 на HumanEval+ Mini; результаты получены на одном примере для каждой задачи и при настройке reasoning_effort=low, поэтому их не следует считать независимой всесторонней оценкой качества. Для работы автор проверял сборку GLM5-Next на базе llama.cpp с включённым native MTP и контекстом 32 768 токенов. Репозиторий распространяется по лицензии MIT.

GLM-5.3-Flash-UD-Q4_K_XL-layers — пакет слоёв модели семейства GLM для распределённого инференса через Mesh LLM. Он получен из unsloth/GLM-5.3-Flash-GGUF: исходный GGUF разделён на артефакты по слоям, чтобы запускать модель на локальном кластере из нескольких машин, когда одного узла недостаточно. Поддерживается локальный чат и работа через совместимый с OpenAI API интерфейс Mesh LLM. Пакет предназначен для приватного локального использования, распределённой подачи запросов и подключения к рабочим процессам чата и генерации текста. Репозиторий указывает вариант UD-Q4_K_XL и лицензию MIT. Архитектурные характеристики и подробности о контексте, языках и качестве следует сверять с карточкой исходной модели.

Это пакет слоёв модели gpt-oss-120b-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого инференса на кластере локальных машин. Он получен из unsloth/gpt-oss-120b-GGUF и сохраняет исходное распределение GGUF, разделённое на артефакты по слоям. Пакет предназначен для запуска через Mesh LLM, в том числе когда модель слишком велика для одного компьютера. Модель поддерживает генерацию текста и диалоговый режим. Mesh LLM позволяет распределять вычисления между несколькими узлами и предоставлять локальный API, совместимый с OpenAI Chat Completions. Формат исходных весов — GGUF; вариант пакета — UD-Q4_K_XL. Для архитектурных сведений, рекомендаций по шаблону чата и лицензии README отсылает к карточке исходной модели, поэтому эти условия для данного пакета отдельно не приводятся.

Granite-20B-FunctionCalling — языковая модель IBM Research, дообученная на основе ibm-granite/granite-20b-code-instruct для выполнения инструкций, связанных с вызовом функций. Она обучена на семи задачах: вложенный вызов функций, цепочки и параллельный вызов функций, определение имени функции, извлечение пар параметр–значение, выбор следующей функции и генерация ответа. Модель предназначена для диалоговых сценариев, где нужно определить и сформировать вызовы функций; её архитектура — GPTBigCode, а контекст составляет 8192 токена. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache 2.0.

grug-35b-v2 — разговорная модель для генерации текста и диалогов, разработанная ProCreations на базе Ornith-1.0-35B от DeepReinforce. Это дообученная модель семейства Qwen3.5 MoE; по карточке, обучение использовало LoRA для attention, DeltaNet и общие пути, затем веса были объединены в bf16 и продолжено дообучение на данных для длинных агентных сессий и сложных рассуждений. Метаданные указывают формат safetensors и поддержку чата. Модель формирует внутренние рассуждения в стиле grug между специальными разделителями, а итоговые ответы — на обычном английском. Она предназначена для генерации кода и решения математических задач с меньшим расходом токенов, а также для агентных сценариев с вызовом инструментов. В README приведены результаты HumanEval, MBPP, GSM8K и MATH-500, а также сравнительные замеры числа токенов; это результаты автора и они зависят от использованного тестового окружения. В описании отмечены снижение точности относительно базовой модели на HumanEval и MBPP, а также меньшая частота выбора вызова инструмента: при сделанном вызове автор сообщает о высокой корректности аргументов и выбора инструмента. Указана лицензия Apache-2.0. Для запуска автор приводит пример с vLLM и ограничением контекста в 32768 токенов; это параметр команды запуска, а не заявленная максимальная длина контекста модели.

grug-9b — дообученная ProCreations версия dense-модели Ornith-1.0-9B семейства Qwen3.5 с 9 млрд параметров. Модель предназначена для генерации текста и кода, диалогов и сценариев с агентами и вызовами инструментов. Дообучение на датасете ProCreations/grug-think учит модель формулировать рассуждения кратко: по данным автора, медианная длина рассуждения в датасете составляет 11 слов, а в тестах модели сократилось число токенов рассуждения. В сравнительных тестах автора grug-9b быстрее исходной модели и показывает близкий результат на MBPP, но уступает на HumanEval; корректность формата вызовов инструментов в тесте снизилась с 100% до 88,9%. Заявлена поддержка обработки изображений благодаря сохранённой vision tower, однако метаданные относят модель к генерации текста, поэтому качество зрительных задач по этим сведениям оценить нельзя. Для запуска требуется Transformers версии 5.8 или новее. Лицензия — MIT.

Это GGUF-квантизированная версия языковой модели llama3.1-8b_codeio_pp, разработанной командой hkust-nlp и подготовленной квантизатором bartowski. Модель предназначена для генерации текста, прежде всего для задач, связанных с программным кодом, и может использоваться локально в LM Studio, llama.cpp и других проектах на базе llama.cpp. Модель содержит 8 миллиардов параметров и распространяется в формате GGUF с вариантами квантизации от Q2 до Q8, включая Q4_K_M, Q5_K_M, Q6_K и Q8_0. Размер файлов составляет примерно от 3,7 до 8,5 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp release b4688. Более качественные варианты требуют больше оперативной памяти, а низкобитные версии экономичнее, но могут заметно уступать в качестве генерации. README не содержит сведений о поддерживаемых языках, максимальном контексте, точной архитектуре базовой модели, лицензии или результатах независимого тестирования. Поэтому эти характеристики нельзя достоверно оценить по представленным данным. Для корректной работы следует использовать указанный формат prompt и совместимый движок инференса.

HRNet-W32 — сверточная модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. Версия hrnet_w32.ms_in1k обучена авторами работы на ImageNet-1k и доступна в библиотеке timm. Она содержит около 41,2 млн параметров, рассчитана на изображения размером 224 × 224 пикселя и требует 9,0 GMACs на проход.

Inception-v3 — сверточная модель для классификации изображений и извлечения визуальных признаков. Репозиторий timm содержит веса torchvision, обученные на ImageNet-1k; модель разработана в рамках семейства Inception и опубликована в формате PyTorch, включая safetensors. Веса рассчитаны на изображения размером 299 × 299 пикселей, модель содержит около 23,8 млн параметров и требует около 5,7 GMACs на обработку изображения. Модель подходит для определения объектов и сцен на изображениях, получения карт признаков и визуальных эмбеддингов, в том числе как базовый компонент компьютерного зрения. Она обучена на ImageNet-1k, поэтому её классификация ограничена категориями этого набора данных; для специализированных классов может потребоваться дообучение. Лицензия репозитория — Apache 2.0.

IndoBERT Base p2 uncased — предварительно обученная языковая модель для индонезийского языка, созданная командой IndoBenchmark на основе архитектуры BERT. Модель обучена на корпусе Indo4B объёмом 23,43 ГБ с задачами masked language modeling и next sentence prediction; версия Base содержит 124,5 млн параметров согласно README, а метаданные каталога указывают 151,6 млн параметров. Длина контекста — 512 токенов. Модель предназначена для извлечения контекстных представлений текста и может служить основой для построения или дообучения приложений NLP на индонезийском языке, включая классификацию текстов и поиск похожих текстов. Доступны реализации весов для PyTorch, TensorFlow и Flax. Лицензия — MIT.

inf-retriever-v1-pro — специализированная языковая модель компании INF-X-Retriever для подготовки запросов к поиску в системах с плотным векторным поиском и RAG. Она преобразует сложные, многословные или требующие рассуждений пользовательские запросы в краткие поисковые формулировки, помогающие находить релевантные фрагменты текста. Модель дообучена на базе Qwen/Qwen2.5-7B-Instruct и содержит 7,1 млрд параметров; архитектура — плотная Qwen2. Модель принимает текст и генерирует текст, поддерживает английский язык, а её контекстное окно составляет 131 072 токена. Модель предназначена для поиска по сложным запросам, включая задачи, где ответ требует рассуждений или синтеза сведений из нескольких документов. В README приведены результаты INF-X-Retriever на бенчмарке BRIGHT; эти показатели относятся к системе в целом и не должны трактоваться как результаты одной только inf-retriever-v1-pro. Модель распространяется по лицензии Apache-2.0.

k1 — дообученная модель на 1,3 млрд параметров, созданная на основе deepseek-ai/deepseek-coder-1.3b-base. Она использует плотную архитектуру семейства Llama и предназначена для генерации текста; базовая модель специализируется на продолжении, автодополнении и заполнении пропусков в коде. Для k1 указан контекст длиной до 16 384 токенов, формат весов — safetensors. В карточке приведены метрики оценки, но не описаны конкретные сценарии применения или обучающие данные. Лицензия в доступных сведениях не указана.

K2 — плотная авторегрессионная языковая модель семейства Llama с 65 млрд параметров, разработанная в сотрудничестве MBZUAI, Petuum и LLM360. Репозиторий IFM/K2 содержит базовую версию модели; в проекте также выпущена отдельная чат-версия. Модель обучена на 1,4 трлн токенов в два этапа, а её контекст составляет 8192 токена. K2 предназначена для генерации текста и ответов на запросы на английском языке. Её можно использовать как основу для чат-приложений, а также для экспериментов с предварительным обучением и дообучением крупных языковых моделей. Авторы сообщают о цели воспроизводимо раскрыть процесс обучения и сопутствующие артефакты; карточка приводит оценки на общих и специализированных тестах, включая математику, медицину и программирование. Модель опубликована в формате Safetensors для Transformers и распространяется по лицензии Apache 2.0. Она обучена преимущественно для английского языка; данных о поддержке других языков в карточке нет.

Это полноточная сборка в формате GGUF BF16 модели KAT-Coder V2.5 Dev 35B-A3B от moeshawky: к базовой модели добавлена встроенная MTP-голова для спекулятивного декодирования. Архитектура — Qwen3.6-35B-A3B-класса, гибрид SSM и полного внимания; всего 35 млрд параметров, около 3 млрд активных на токен, 256 экспертов, из которых активны 8. Модель принимает текст и предназначена для генерации текста в диалоговом режиме, в том числе для задач программирования; MTP-голова может ускорять декодирование при поддержке со стороны сборки llama.cpp. В карточке указаны английский и китайский языки. Репозиторий содержит один файл GGUF v3 размером около 66,2 ГиБ; для размещения весов требуется ориентировочно 75 ГБ или более свободной оперативной памяти или видеопамяти. Для использования нужна совместимая сборка llama.cpp с поддержкой MTP. Лицензия — Apache-2.0.

KielEmbed-Code — модель плотных эмбеддингов для представления кода и текста, опубликованная под идентификатором kiel2/KielEmbed-Code. Это Sentence Transformer, дообученный на базе microsoft/codebert-base с архитектурой RoBERTa. Модель кодирует предложения и фрагменты кода в векторы размерности 768; сходство между ними оценивается косинусной мерой. Максимальная длина входной последовательности — 512 токенов по README и 514 токенов по метаданным. Модель предназначена для семантического поиска по коду и тексту, сравнения смысловой близости и кластеризации. В README указаны 10 000 обучающих примеров и дообучение в течение одной эпохи с CosineSimilarityLoss. Эти сведения описывают обучение, но не подтверждают качество на независимых тестах. Условия лицензирования в предоставленных данных не указаны.

Myric/Laguna-S-2.1-APEX-GGUF — неофициальная общественная GGUF-квантизация модели poolside/Laguna-S-2.1, разработанная сообществом Myric. Базовая модель представляет собой open-weight агентную MoE-модель для программирования с общим объёмом 118 млрд параметров и примерно 8 млрд активных параметров. Она предназначена для генерации кода, решения задач разработки и агентных сценариев. Доступны варианты с разной степенью сжатия: от APEX-i-quality размером около 73,9 ГБ до экспериментального APEX-i-mini размером около 43,6 ГБ. Для ускорения генерации предусмотрена совместная работа с draft-моделью DFlash в режиме speculative decoding. Архитектура включает 48 слоёв, 256 маршрутизируемых и один общий эксперт, top-10 маршрутизацию, GQA с softplus-гейтингом на уровне голов, а также смешанное sliding-window/global attention. Заявленный контекст составляет 1 млн токенов. APEX распределяет точность квантизации с учётом роли тензора и слоя, сохраняя более высокую точность для общих экспертов и краевых слоёв и сильнее сжимая разреженные маршрутизируемые эксперты. Языки модели в README не указаны. Сильной стороной является существенное уменьшение размера по сравнению с BF16-версией при сохранении потенциально близкого качества, а также возможность локального запуска. DFlash Q4_K_M имеет размер около 652 МБ и в приведённых тестах ускорял генерацию до 1,20 раза для варианта APEX-i-quality; на специализированных задачах разработчики базовой модели заявляют более высокие ускорения, однако эти результаты относятся к отдельной карточке DFlash. Показатели perplexity для APEX-вариантов ещё не измерены, поэтому качество квантизации не подтверждено. Вариант APEX-i-mini обозначен как экспериментальный и может заметно уступать более крупным вариантам. Для DFlash требуется форк llama.cpp от Poolside. Лицензия указана как openmdw-1.1. Квантизация не связана с Poolside или unsloth, предоставляется без гарантий и должна быть проверена перед использованием в критически важных сценариях.

LayerSkip Code Llama 7B — модель Meta, представленная Facebook Research, полученная дальнейшим предобучением Code Llama 7B с применением LayerSkip. Она предназначена для генерации и автодополнения программного кода, а также для ускоренного вывода с помощью self-speculative decoding: ранние слои предлагают токены, а оставшиеся слои проверяют их. Модель работает с текстовым вводом и выдаёт текст, в том числе код; карточка указывает английский язык. В README приведён пример измерения на одной GPU NVIDIA A100: self-speculative decoding показал 50,38 токена в секунду против 38,67 при авторегрессионной генерации в указанной конфигурации. Эти результаты зависят от реализации и оборудования. Оптимизированные реализации повторно используют веса и KV-кэш ранних слоёв; вариант через стандартный Transformers описан как менее оптимальный по памяти. Обучающая реализация помечена как находящаяся в разработке. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.