II.2Создание и понимание программного кода

airoboros-3b-3p11 — экспериментальная языковая модель jondurbin для генерации текста и диалогов по инструкциям. Она основана на архитектуре StableLM Epoch и содержит 2,7 млрд параметров; модель обучена на наборе airoboros-3.1 с преимущественно синтетическими данными. Контекст составляет до 4096 токенов, для диалогов используется формат Llama 2 Chat. Модель рассчитана на следование инструкциям, ответы на вопросы по предоставленному контексту, суммаризацию и помощь с кодом. Среди специализированных примеров обучения — структурированное представление математических решений в MathJSON, извлечение полей из журналов, обезличивание текста и генерация аргументов функций в JSON или YAML. Для этих сценариев в README рекомендуются явно заданный формат запроса и низкая температура генерации. Это общая экспериментальная модель, ориентированная на выполнение инструкций, а не на непринуждённое общение или ролевые диалоги. Карточка указывает на ограничения качества отдельных инструментов обработки MathJSON. Лицензия — CC BY-SA 4.0.

mrfakename/Apriel-5B-Instruct-llamafied — приблизительная конверсия Apriel-5B-Instruct в формат Llama, опубликованная пользователем mrfakename. Это плотная языковая модель с архитектурой LlamaForCausalLM примерно на 4,6 млрд параметров, предназначенная для генерации текста и диалогов. Модель принимает текст и выдаёт текст; заявленный контекст — 16 384 токена. Формат Llama упрощает запуск и совместимость с популярными средствами дообучения; для использования в Transformers не требуется trust_remote_code. Модель подходит для ведения диалога, выполнения инструкций, рассуждений, помощи с кодом и генерации текста — эти сценарии унаследованы от исходной Apriel-5B-Instruct. В карточке базовая модель описана как англоязычная; поддержка других языков отдельно не подтверждена. Файлы представлены в формате safetensors. Лицензия — MIT, как у исходной модели.

TuralBayev разработал axeron-verify-05weight как объединённую модель семейства Qwen2.5, созданную методом Task Arithmetic с помощью forgelm. В основе лежит Qwen/Qwen2.5-3B; при объединении использованы Qwen2.5-3B-Instruct и Qwen2.5-Coder-3B-Instruct. Модель имеет плотную архитектуру Qwen2ForCausalLM, содержит 3,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; поддержка интерфейса вызова инструментов указана в метаданных. Веса сохранены в формате safetensors, для вычислений использована точность bfloat16. Карточка не описывает отдельные области применения или языки; базовая модель Qwen2.5-3B-Instruct характеризуется каталогом как компактная многоязычная модель для выполнения инструкций и генерации текста, включая структурированные ответы. Лицензия в предоставленных данных не указана. Качество и специализация результата объединения отдельно не описаны, поэтому его пригодность для конкретных задач следует оценивать на соответствующих примерах.

BrokenLlama-3-8b — полноценно дообученная авторами investbrainsorg плотная причинно-языковая модель семейства Llama 3 на базе Meta-Llama-3-8B. Она предназначена для диалогов, генерации текста и кода; в карточке также заявлена поддержка вызова функций. Модель содержит 7,5 млрд параметров, принимает текст, поддерживает контекст до 8192 токенов и рассчитана на английский язык. Авторы сообщают, что обучали модель 48 часов на четырёх ускорителях A100 с набором данных investbrainsorg/BrokenLlama-v1, стремясь ослабить исходное выравнивание и сместить поведение модели. Качество оценок в карточке ещё не приведено. Модель распространяется по лицензии Meta Llama 3 Community License Agreement; авторы разрешают дальнейшее использование в качестве базовой модели при указании авторства.

puwaer/DeepSeek-V4-Flash-0731-reap-200b-gguf — это GGUF-сборка модели puwaer DeepSeek-V4-Flash-0731-reap-200b, подготовленная для запуска через llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и задач с вызовом инструментов; встроенный шаблон чата поддерживает режим рассуждений и tool calling в OpenAI-совместимом формате. Это разреженная Mixture-of-Experts-модель с 178 маршрутизируемыми экспертами на слой вместо 256 у базовой версии. Сборка доступна в вариантах MXFP4_MOE, Q3_K_M, IQ3_XXS, Q2_K и IQ1_M размером примерно от 56,36 до 103,85 GiB. Вариант MXFP4_MOE численно идентичен исходному safetensors-чекпойнту, а остальные варианты являются повторной квантизацией уже 4-битных данных и могут заметнее снижать качество. В README подтверждён контекст 4096 токенов для примера запуска; поддерживаемые языки и точный максимальный контекст не указаны. Сильные стороны модели — существенно меньший размер по сравнению с базовой версией на 284B параметров, сохранение высокой точности на ряде тестов и поддержка рассуждений и инструментов. Бенчмарки квантованных вариантов отдельно не проводились, поэтому их качество не измерено. Для запуска рекомендуется полный GPU-offload; самая крупная сборка занимает 103,85 GiB и не помещается на одной видеокарте с 96 GiB памяти. Частичный offload и распределённый запуск не были проверены. Модель распространяется по лицензии MIT.

nsd12/deepseek-v4-gguf — это квантованная версия языковой модели DeepSeek-V4-Flash в формате GGUF, подготовленная antirez на базе модели DeepSeek. Модель предназначена для генерации текста и запуска локального вывода через inference engine ds4, с оптимизацией для систем Apple Silicon и Metal. В метаданных указан английский язык. Модель использует архитектуру Mixture of Experts (MoE). Доступны варианты с квантованием экспертных блоков до 2-битного уровня (IQ2_XXS и Q2_K) размером около 80,8 GiB и до 4-битного уровня Q4_K размером около 153,3 GiB. Остальные компоненты, включая внимание, общих экспертов и выходной слой, в основном сохраняются в Q8_0, F16 или F32 для снижения потерь качества. Отдельный файл MTP размером 3,6 GiB предназначен для опционального speculative decoding и не является самостоятельной моделью. Вариант q2 рассчитан на компьютеры с 128 ГБ оперативной памяти, а q4 — на системы с не менее чем 256 ГБ RAM. Ключевое ограничение — квантизации специфичны для inference engine ds4 и могут быть несовместимы с другими загрузчиками; MTP требует специальной поддержки. В примере запуска ds4 используется контекст до 100000 токенов, однако собственный максимальный контекст модели в README не указан. GGUF-файлы распространяются по лицензии MIT, при этом базовая модель принадлежит DeepSeek и распространяется с условиями её релиза.

Dirk-Qwen3.8-27B-MLX-oQ6e — это квантизированная MLX-версия базовой модели Qwen/Qwen3.8-27B, разработанная автором peculiar-ragdoll. Модель представляет собой плотную vision-language модель с поддержкой текста и изображений, ориентированную на работу на компьютерах Apple Silicon через MLX и совместимые среды, включая oMLX и mlx-vlm. Заявленная языковая поддержка включает английский и китайский языки. Модель использует смешанную квантизацию oQ6e с калибровкой imatrix и размером около 22,1 ГБ, примерно 6,9 бит на вес. Веса, vision tower и MTP-head сохранены; MTP может применяться для speculative decoding и ускорения генерации в совместимых runtime. Максимальное окно контекста в примере конфигурации составляет 262144 токена. В комплект включён Sharp chat template v22.5.0, который по умолчанию задаёт компактные ответы и средний уровень рассуждений; уровень reasoning effort можно менять от low до xhigh, а рассуждения — отключать. Модель предназначена для диалогов, анализа изображений, программирования, агентских сценариев и задач, где важны краткость и скорость получения ответа. К её сильным сторонам относятся сохранённая мультимодальность, поддержка MTP, готовый шаблон чата и несколько уровней глубины рассуждений. Ограничения связаны с требованиями к памяти: вариант oQ6e рассчитан примерно на системы с 32 ГБ памяти, а MTP поддерживается не всеми загрузчиками. Для корректной работы требуется использовать mlx-vlm версии не ниже 0.6.3, а не mlx-lm. README также приводит предварительные результаты бенчмарков, которые ещё находятся в процессе измерения, поэтому их нельзя считать окончательными. Модель распространяется по лицензии Apache-2.0.

Zynerji/Ektome-Qwen3.8-27B-PristinelyUncensored-GPTQ-MTP — это 4-битная GPTQ-модель для генерации текста, созданная Ektomē на базе Qwen/Qwen3.8-27B. По заявлению автора, модель подверглась «weight surgery»: из языкового декодера удалено направление, связанное с отказами, без дополнительного обучения или fine-tuning. Веса упакованы в формат GPTQ с оптимизациями Marlin; 407 из 503 декодерных Linear-слоёв квантизованы, а исключённые модули оставлены в bfloat16. MTP-голова и vision tower сохранены, однако MTP-голова не квантизована и отключена по умолчанию. Модель предназначена для локального inference и сценариев генерации текста, включая программирование и другие задачи, где полезно speculative decoding с multi-token prediction. Автор сообщает о приросте скорости при включении MTP до 35% на коротких запросах, 30% при batch 8 и 63% на глубоком кодировании, но результаты получены на RTX PRO 6000 Blackwell и не гарантируют аналогичную производительность на другом оборудовании. Размер весов составляет около 17,7 GiB, поэтому модель рассчитана на видеокарты с 24 ГБ памяти с доступным пространством для KV-cache. Для загрузки требуется vLLM или SGLang; стандартный transformers эту конфигурацию не поддерживает. На Python 3.11 может потребоваться удалить flashinfer-python либо использовать Python 3.12. Максимальный контекст именно этой сборки в README не указан. Измерения на тестах автора показывают сохранение базовых возможностей после редактирования, но не подтверждают улучшение качества; speculative decoding также дал не полностью идентичные результаты в одном из тестов. Лицензия — Apache-2.0.

EVA-QwQ-32B-Preview — плотная языковая модель на 32 млрд параметров, созданная слиянием моделей Qwen/QwQ-32B-Preview и EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2 методом TIES с помощью mergekit. Она предназначена для генерации текста в диалоговом формате; базовая модель QwQ ориентирована также на математические рассуждения и программирование. Репозиторий использует Transformers и формат safetensors, а заявленная длина контекста составляет 32 768 токенов. Модель может подойти для диалоговых приложений и генерации ответов, а также для задач рассуждения и программирования, унаследованных от базовой QwQ. Карточка не приводит результатов оценки качества или отдельных гарантий этих возможностей. Лицензия в предоставленных данных не указана.

Functionary Small v3.2 — языковая модель команды MeetKai для диалогов с вызовом функций и инструментов. Она основана на Meta Llama 3.1 8B Instruct; в репозитории указана плотная архитектура Llama с 7,5 млрд параметров и контекстом до 131 072 токенов. Веса представлены в формате safetensors. Модель подходит для чат-сценариев, где нужно выбирать подходящий инструмент, формировать вызовы по описаниям функций в JSON Schema, запускать несколько функций параллельно или последовательно и использовать их результаты для ответа. Она также может продолжать обычный диалог без вызова инструментов и поддерживает сценарии с интерпретатором кода. Для разбора сырых ответов в структуру с полями роли, содержимого и вызовов инструментов предусмотрен пользовательский код; авторы также рекомендуют запуск через совместимый с OpenAI сервер vLLM. Лицензия — MIT. Карточка описывает интерфейс вызова инструментов, но не приводит языковых оценок или сравнительных результатов; фактическое качество зависит от формата промпта и корректной обработки вызовов инструментов.

DavidAU разработал эту экспериментальную версию Gemma 4 31B IT, дообученную с помощью Unsloth на закрытых авторских наборах данных. Модель рассчитана на диалоговую генерацию текста, включая творческое письмо, рассказывание историй, ролевые сценарии, программирование и ответы в режиме рассуждения; карточка также содержит пример генерации художественной сцены. По данным README, шаблон чата включает режим thinking по умолчанию, а для обычного instruct-режима предлагается отдельный шаблон. Базовая Gemma 4 31B IT поддерживает текст и изображения, а каталог относит эту модель к мультимодальному семейству Gemma 4 с возможностью анализа изображений. Для базовой модели README сообщает контекст до 256 тысяч токенов; метаданные указывают формат safetensors и библиотеку Transformers. Автор описывает результаты внутренних бенчмарков как сильные, но оценивание продолжается и возможны дальнейшие перенастройка и обновления. README отмечает возможные сбои форматирования тегов в блоке рассуждений и зависимость отображения этого режима от приложения. Модель выпущена по лицензии Apache-2.0.

Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP — модификация Gemma 4 31B-it, разработанная HauhauCS на основе официальных QAT-весов модели Google DeepMind. Это плотная модель на 31 млрд параметров с 4-битной квантизацией Q4_K_M, контекстом до 256K токенов и поддержкой изображений через отдельный mmproj-модуль. В README заявлен английский язык; модель распространяется в формате GGUF и совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-рантаймами. Модель предназначена для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых сценариев, где важны следование инструкциям и надежность. Вариант Balanced ориентирован на широкий круг пользователей и описан как полностью uncensored-модификация без изменений исходных датасетов и базовых возможностей. В комплект входит MTP draft head для speculative decoding; по данным автора, при использовании через llama.cpp это дает примерно 53% ускорения генерации без изменения проверяемого результата. К сильным сторонам относятся большой контекст, поддержка визуального ввода, 4-битная QAT-квантизация с заявленным близким к полноточному качеством и ускорение генерации с MTP. Ограничения включают крупный размер файлов: основная модель занимает около 18,7 ГБ, mmproj — 1,2 ГБ, а MTP-модуль — 280 МБ. Работа MTP-технологии проверялась автором через llama.cpp, а для LM Studio отмечены возможные сбои в режиме tensor-split при использовании нескольких GPU; рекомендуется использовать одну GPU с layer-split или приоритетным порядком. Лицензия указана как Gemma. В README также отмечено, что заявления об отсутствии отказов основаны на тестах автора и не исключают редких случаев уклонения от ответа на отдельных запросах.

DavidAU разработал The-DECKARD-HERETIC-UNCENSORED-Thinking — дообученную модель Google Gemma 4 E4B Instruct с настройкой на внутренних датасетах и изменённым шаблоном чата, который по умолчанию включает режим рассуждения. Модель предназначена для диалога, творческого письма, ролевых сценариев, генерации историй и кода. Автор сообщает о поддержке текста, изображений, видео и аудио, а также контекста до 128 тысяч токенов. Gemma 4 E4B описана как модель примерно с 8 млрд параметров, из которых около 4,5 млрд активны; веса этой версии представлены в формате bfloat16 и safetensors. Карточка приводит внутренние результаты сравнения с базовой моделью, но отмечает, что статистика ещё собирается и instruct-режим иногда показывает лучшие результаты, чем thinking. Использование чата в режиме instruct требует отдельного шаблона. Лицензия — Apache 2.0.

INCModel2/GLM-5.2-MXFP4-CT-AutoRound — квантизированная версия языковой модели zai-org/GLM-5.2, созданная с помощью intel/auto-round в режиме RTN. Квантизация MXFP4 применена только к компоненту MoE; веса представлены в формате Compressed Tensor и совместимы с vLLM. Модель предназначена для генерации текста и диалогового использования, а базовая GLM-5.2 рассчитана также на программирование и длительные задачи с контекстом до одного миллиона токенов. Для запуска README приводит пример с vLLM, параллелизмом по четырём устройствам и ограничением контекста в 4096 токенов для конкретной конфигурации. Модель может выдавать фактически неверные, предвзятые, оскорбительные или непристойные ответы, поэтому перед внедрением требуется проверка безопасности и качества. В метаданных указана лицензия «other»; для коммерческого использования условия следует уточнить у правообладателей.

GPT4All-J — языковая модель Nomic AI для генерации текста в стиле ассистента, дообученная на базе GPT-J на курируемом наборе диалогов и других взаимодействий с ассистентом. В обучающие данные входят задачи на рассуждение, многоходовые диалоги, код, стихи, песни и рассказы. Карточка описывает несколько версий модели; загрузка без указания revision использует v1.0. Модель предназначена для диалоговых ответов и генерации текста по запросу, включая помощь с задачами, написание историй и стихов, а также генерацию кода. Это плотная авторегрессионная архитектура GPT-J с контекстом до 2048 токенов; указанный основной язык — английский. Модель принимает текст и генерирует текст. Модель распространяется под лицензией Apache-2.0. Качество ответов зависит от запроса и версии обучающих данных; карточка не даёт гарантий точности фактов или надёжности сгенерированного кода.

Это версия модели OpenAI gpt-oss-20b, подготовленная Richard Young с помощью Heretic v1.4.0 методом abliteration для снижения частоты отказов. Модель построена на архитектуре GPT-OSS с разреженной смесью экспертов (MoE) и предназначена для генерации текста и диалогов; её можно использовать для рассуждений, задач разработчика и агентных сценариев с вызовом инструментов. Карточка сообщает о формате Harmony и возможности менять уровень рассуждений, а также приводит результат: 77 отказов из 100 запросов против 98 у исходной модели. Метаданные указывают 1,6 млрд параметров, контекст до 131 072 токенов и веса safetensors в формате MXFP4. Это производная модель от openai/gpt-oss-20b; лицензия Apache 2.0. Меньшее число отказов не означает их полного отсутствия и не гарантирует точность ответов. Для корректной работы следует использовать формат Harmony.

Kai-30B-Instruct-i1-GGUF — набор квантованных GGUF-версий модели Kai-30B-Instruct, разработанной NoesisLab и квантованной mradermacher. Модель ориентирована на генерацию текста, следование инструкциям, математические и логические рассуждения, программирование и другие задачи, связанные с текстом. В метаданных также указана тематика ads и distillation, однако подробности соответствующей специализации не приведены. Базовая модель содержит около 30 миллиардов параметров; архитектура и размер контекста в README не указаны. Поддерживаемый язык — английский. Модель работает с текстом и поставляется в различных вариантах квантования, включая IQ1–IQ4, Q2–Q6 и другие форматы. Доступны версии с разным компромиссом между размером, скоростью и качеством: например, i1-Q4_K_M отмечена как быстрая и рекомендуемая, а i1-Q4_K_S — как оптимальная по соотношению размера, скорости и качества. Наиболее компактные варианты имеют заметно более низкое качество. Основные преимущества — возможность локального запуска в формате GGUF и широкий выбор вариантов квантования под доступные ресурсы. Ограничения включают возможное ухудшение качества при низких уровнях квантования, отсутствие данных о контекстном окне, мультимодальности, результатах оценки и языках помимо английского. Лицензия базовой модели — Apache-2.0; README не уточняет, распространяются ли квантованные файлы на дополнительных условиях.

Kai 7B Beta — языковая модель для генерации текста, разработанная Keynote Technology. Данная версия распространяется в формате GGUF и представляет собой квантизированные файлы исходной модели Keynote-Technology/KAI-7B-beta; квантизацию выполнил TheBloke. Модель предназначена для задач текстовой генерации, включая сценарии, связанные с кодом, и может использоваться через llama.cpp и совместимые приложения и библиотеки для локального вывода на CPU и GPU. Из известных характеристик: модель относится к типу Mistral, содержит около 7 миллиардов параметров, поддерживает английский язык и работает только с текстом. Доступны варианты квантизации с разной разрядностью, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. Контекстное окно в предоставленных данных не указано; специальный шаблон промпта отсутствует, используется формат {prompt}. Основные преимущества — наличие вариантов от 2 до 8 бит, поддержка широкого набора локальных инструментов и возможность запуска без облачной инфраструктуры. К ограничениям относятся возможные потери качества из-за квантизации, зависимость производительности от выбранного варианта и оборудования, а также отсутствие данных о целевых бенчмарках и размере контекстного окна. В метаданных указана лицензия Apache-2.0.

Ling-2.6-flash — открытая инструктивная языковая модель компании InclusionAI для диалога и агентных сценариев. Она предназначена для вызова инструментов, многошагового планирования и выполнения задач, включая работу в агентных и программных фреймворках; также подходит для ответов на общие вопросы, математических рассуждений, следования инструкциям и обработки длинного контекста. Архитектура — гибридная MoE семейства Bailing; в карточке заявлены 104 млрд параметров всего и 7,4 млрд активных, тогда как метаданные репозитория указывают 6,4 млрд параметров. Метаданные указывают контекст до 131 072 токенов, текстовый ввод и генерацию текста; карточка отмечает интерфейс вызова инструментов. Заявлены оптимизация скорости вывода и экономии токенов, а также результаты на агентных бенчмарках. Модель распространяется по лицензии MIT. Ограничения включают возможные галлюцинации при вызове инструментов в сложных сценариях, недостаточную глубину рассуждений, не всегда естественное переключение между китайским и английским и трудности со сложными инструкциями. Карточка описывает преимущественно китайско-английские сценарии, а метаданные указывают английский язык; другие языки отдельно не подтверждены.

Llama-3-12B — разговорная языковая модель, созданная mlabonne с помощью LazyMergekit. В README она описана как слияние двух наборов слоёв Meta-Llama-3-8B; конфигурация использует метод passthrough и формат bfloat16. Архитектура — плотная модель семейства Llama с классом LlamaForCausalLM, размер составляет 11 млрд параметров, контекст — до 8192 токенов. Модель предназначена для генерации текста в диалоге и других сценариях продолжения текста. Базовая модель ориентирована на английский язык и код; метаданные отмечают возможность chat. Репозиторий содержит веса safetensors. Лицензия указана как other, поэтому конкретные условия следует сверить с файлами репозитория и лицензией исходной модели. README показывает повторное использование одной и той же базовой модели в обоих диапазонах слоёв, а метаданные классифицируют происхождение как дообучение. Точные сведения о качестве и результатах оценки не приведены.

JetBrains/Mellum2-12B-A2.5B-Thinking-GGUF-Q4_K_M — это квантизированная GGUF-версия рассуждающей языковой модели Mellum2, разработанной JetBrains. Модель предназначена для генерации текста и решения задач, требующих пошагового рассуждения, и может запускаться локально через llama.cpp, Ollama, LM Studio и другие совместимые среды. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Заявленный контекст составляет 131 072 токена. Модель поддерживает английский язык и выводит цепочку рассуждений в блоках <think>...</think> перед финальным ответом. Вариант Q4_K_M использует 4-битное k-квантизирование, занимает около 8,1 ГБ и обеспечивает сбалансированное соотношение качества и размера: совпадение наиболее вероятного токена с BF16-версией составляет около 89,8% на указанном тесте. Основные преимущества — возможность локального запуска, большой контекст, MoE-архитектура и заметное уменьшение размера по сравнению с BF16-версией. Ограничения связаны с потерями точности из-за 4-битного квантизирования, необходимостью совместимого рантайма и тем, что README не содержит подробных результатов оценки исходной модели. Модель распространяется по лицензии Apache 2.0.

Mermaid-Llama-6.7B-RAG — плотная авторегрессионная модель семейства Llama от TroyDoesAI, дообученная с помощью LoRA для генерации диаграмм Mermaid и структурированных графов знаний. Она предназначена для преобразования фрагментов Python-кода, текстовых описаний и контекста из RAG в схемы потоков, графы связей и визуальные планы. README описывает формат контекстных запросов airoboros и рекомендует использовать модель как автодополнение, а не как обычный чат. В репозитории указаны 6,6 млрд параметров, контекст до 16 384 токенов и формат safetensors. Модель подходит разработчикам для визуализации логики кода, построения графов знаний для поиска по документам и преобразования повествований в схемы персонажей и сюжетных связей. Автор заявляет о снижении галлюцинаций и высокой точности диаграмм, однако независимые подтверждения заявлений о превосходстве над GPT-4 не приведены. Лицензия — CC BY 4.0.

nm-testing/Meta-Llama-3-8B-Instruct-W8-Channel-A8-Dynamic-Asym-Per-Token-Test — тестовый квантованный вариант Meta Llama 3 8B Instruct, размещённый организацией NM Testing; исходную модель разработала Meta. Репозиторий предназначен для генерации текста и диалоговых сценариев и поддерживает использование через Transformers, vLLM и SGLang. Суффикс W8-Channel-A8-Dynamic-Asym-Per-Token указывает на 8-битное представление весов и динамическое асимметричное квантование активаций по токенам; точные характеристики реализации квантования и результаты её оценки в карточке модели не описаны. Базовая модель представляет собой авторегрессионный языковой model с оптимизированной архитектурой Transformer и Grouped-Query Attention, содержит около 8 млрд параметров, принимает только текст и генерирует текст и код. Контекст составляет 8 тысяч токенов, модель ориентирована прежде всего на английский язык и диалог с инструкциями. Она подходит для чат-ассистентов, генерации и обработки текста, но является статической моделью с ограниченным актуальным знанием и не поддерживает мультимодальный ввод. Квантованный вариант может снизить требования к памяти и повысить эффективность инференса, однако по доступным данным нельзя надёжно оценить влияние именно этой тестовой конфигурации на качество, скорость и совместимость. Для исходной Meta Llama 3 действует специальная коммерческая лицензия Meta Llama 3 Community License с ограничениями по распространению, допустимому использованию и политике безопасности; применимость этих условий к квантованному производному варианту следует проверять отдельно.

Millie 1.1 — мультимодальная языковая модель с поддержкой изображений от LLMs For All, представленная в формате GGUF для локального запуска на устройствах с ограниченной памятью. Это MoE-модель примерно с 35 млрд параметров и 3 млрд активных параметров на токен; около 90% весов хранятся в троичном представлении, остальные тензоры используют более высокую точность. Для обработки изображений предусмотрен отдельный файл vision encoder/projector, который можно не устанавливать при работе только с текстом. Модель основана на Qwen/Qwen3.6-35B-A3B и подходит для диалогов, ответов на вопросы по изображениям и локального мультимодального помощника. В приведённой авторами оценке результаты близки к исходной модели на MMLU Redux и HumanEval+, а на GPQA Diamond заметно ниже; измерения выполнены в отдельных запусках и не гарантируют аналогичных результатов в других сценариях. Репозиторий распространяется по лицензии Apache-2.0.

Minerva-7B-instruct-v1.0 — диалоговая языковая модель Sapienza NLP, созданная в рамках проекта FAIR при сотрудничестве с CINECA и участии Babelscape и проекта CREATIVE PRIN. Это дообученная версия Minerva-7B-base-v1.0 на архитектуре Mistral с 7,2 млрд параметров и контекстом до 4096 токенов. Семейство Minerva предварительно обучалось с нуля на итальянских и английских текстах; в составе данных также был код. Версия instruct прошла настройку инструкциями и оптимизацию предпочтений DPO. Модель предназначена для диалога и генерации текста: она может отвечать на вопросы, объяснять темы, помогать с рассуждениями и решать задачи по коду. В первую очередь она рассчитана на итальянский и английский языки. Разработчики предупреждают, что ответы могут содержать фактические ошибки, стереотипы, оскорбительный или иной нежелательный контент, а также быть нерелевантными или повторяющимися. Лицензия — Apache-2.0.

Это шардинг версии Mistral-7B-v0.1 — предварительно обученной языковой модели Mistral AI с 7,1 млрд параметров. Весовые файлы разбиты на части размером до 2 ГБ, чтобы снизить требования к оперативной памяти при загрузке; модель сохраняет исходные параметры Mistral-7B-v0.1 и представлена в форматах PyTorch и Safetensors. Модель предназначена для генерации текста и может служить базой для приложений на основе языковых моделей и дальнейшей адаптации под конкретные задачи. Архитектура — плотный Transformer с Grouped-Query Attention и Sliding-Window Attention; нативный контекст составляет 32 768 токенов. По заявлению карточки, модель превосходит Llama 2 13B на проверенных разработчиками бенчмарках. Модель не имеет встроенных механизмов модерации, поэтому сгенерированный текст может быть неподходящим или небезопасным. Распространяется по лицензии Apache-2.0.

Mistral-Nemo-NT-Ko-12B-dpo — диалоговая языковая модель на архитектуре Mistral с 12,1 млрд параметров, созданная werty1248 как дополнительное DPO-дообучение модели werty1248/Mistral-Nemo-NT-Ko-12B-sft с помощью LoRA. Она предназначена для генерации ответов по инструкциям и многоходового общения; в описанных тестах показала сильные результаты по письму и программированию, однако DPO дало лишь небольшое общее улучшение относительно базовой SFT-модели. Для DPO использовались англоязычные, корейские и китайские пары предпочтений; часть корейских данных была переведена с английского. Базовая модель поддерживает контекст до 128K токенов, но это дообучение выполнялось с контекстом 8K. Метаданные указывают английский, корейский, японский и китайский языки. Модель распространяется в формате safetensors по лицензии Apache-2.0.

my-first-moe-3b — объединённая языковая модель, созданная автором репозитория chubakur с помощью mergekit и метода SLERP на основе Qwen/Qwen2.5-1.5B-Instruct и Qwen/Qwen2.5-Coder-1.5B-Instruct. Несмотря на название, в метаданных архитектура указана как плотная Qwen2ForCausalLM с 1,5 млрд параметров, а не MoE. Модель предназначена для генерации текста и диалогов; объединение инструктивной и кодовой моделей может быть полезно для обычных запросов и задач с программным кодом. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Файлы представлены в формате safetensors и рассчитаны на использование с Transformers; в метаданных также отмечен интерфейс вызова инструментов. В карточке не приведены результаты оценки качества или подробные сведения о поддерживаемых языках. Лицензия в предоставленных данных не указана.

OsaurusAI подготовила для Apple Silicon сборку JANG_6M модели Nanbeige4.2-3B — диалоговой языковой модели с архитектурой Looped Transformer. В README указаны 22 слоя, выполняемые дважды с общими весами, что даёт эффективную глубину 44 слоя; размер весов — 4,17 млрд параметров. Контекст составляет 256K токенов. Модель дообучена на базе Nanbeige/Nanbeige4.2-3B и представлена в формате MLX safetensors с 6-битными аффинными весами и 8-битным attention; метаданные указывают библиотеку MLX и лицензию Apache-2.0. Модель предназначена для диалогов, генерации текста, рассуждений и агентных сценариев с вызовом инструментов на английском и китайском языках. README приводит результаты проверки близости к исходной версии bf16 и скорости генерации на M5 Max, но они относятся к описанной аппаратной конфигурации и тестам автора. Для корректной работы требуется загрузчик, поддерживающий архитектуру Nanbeige с циклическим выполнением слоёв и 44 слотами KV-кэша; общий загрузчик или один только mlx_lm.generate без соответствующего класса модели может выдавать неверные ответы. Сборка предназначена для Apple Silicon и распространяется по лицензии Apache-2.0.

Nanbeige4-3B-Base — базовая языковая модель из семейства Nanbeige четвёртого поколения, разработанная командой Nanbeige. Модель содержит 3,5 млрд параметров, построена на плотной архитектуре Llama и предназначена для генерации текста и дальнейшей адаптации под прикладные задачи, например через supervised fine-tuning. В обучении использовался корпус из веб-текстов, книг, кода и научных статей, дополненный синтетическими данными для вопросов и ответов и рассуждений. Модель принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов. В карточке указаны английский и китайский языки. Разработчики сообщают о сильных результатах после дообучения на математических задачах и тестах на научные знания, в отдельных сравнениях превосходящих модели большего размера. Это базовый чекпойнт, поэтому для диалогового использования может потребоваться дополнительная настройка. Модель распространяется по лицензии Apache-2.0. Как и другие вероятностные языковые модели, она может выдавать ошибочную или неожиданную информацию, а также предвзятые или дискриминационные ответы. Разработчики не гарантируют отсутствие такого контента.