II.9Статистика, эксперименты и причинный анализ

InternLM2.5-20B-Chat — диалоговая языковая модель, разработанная командой InternLM и распространяемая в формате GGUF сообществом LM Studio. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, ведения диалогов, следования инструкциям, решения математических задач и задач, требующих рассуждений. Она также поддерживает использование инструментов и может применяться совместно с инструментом MindSearch. Модель содержит около 20 миллиардов параметров и рассчитана на контекст длиной до 32 000 токенов. В README не указаны поддерживаемые языки и мультимодальные возможности, поэтому модель следует считать текстовой. Для работы в LM Studio рекомендуется шаблон ChatML. По заявлению авторов, модель обеспечивает высокие результаты в задачах рассуждений и сопоставима с Gemma 2 27B при меньшем размере. Ограничения включают возможность генерации неточного, вредного или неподходящего содержимого, а также зависимость характеристик от выбранной GGUF-квантизации и аппаратного обеспечения. Модель помечена лицензией other; конкретные условия лицензии в README не раскрыты, поэтому перед использованием необходимо ознакомиться с условиями исходной модели InternLM2.5-20B-Chat и данной сборки.

mnma_qwen3.8_27b_nvfp4 — квантизированная версия языковой модели Qwen3.8-27B, разработанная Minima на основе посттренировочной квантизации. Модель предназначена для генерации текста, диалоговых сценариев, решения математических и экзаменационных задач, программирования и работы с длинным контекстом. Это текстовая модель без vision-компонента, сохраняющая поддерживающий рассуждения chat template. Все 496 линейных слоёв backbone, включая 48 слоёв Gated DeltaNet, 16 attention-слоёв и 64 MLP-слоя, переведены в формат NVFP4 W4A4 с размером группы 16. Embeddings, lm_head, conv1d, нормализации, A_log и dt_bias сохранены в BF16, а KV-cache использует откалиброванные статические FP8-масштабы. Заявлены существенное снижение потребления памяти и ускорение: 17,53 GiB против 50,13 GiB для BF16, 1154 против 621 токена в секунду при указанной нагрузке и время prefill 32K около 4,03 секунды против 6,90 секунды. Модель требует vLLM не ниже 0.27 и GPU с аппаратной поддержкой NVFP4, например NVIDIA Blackwell SM120. По приведённым измерениям качество в большинстве задач близко к BF16: результаты GSM8K и AIME'25 совпадают, а различия на MMLU-Pro, GPQA-Diamond и LiveCodeBench невелики. Ограничениями являются зависимость от совместимого оборудования и vLLM, а также некоторое ухудшение perplexity, особенно на контексте 4K; сравнение корректно только при одинаковых настройках обслуживания. Модель распространяется по лицензии Apache-2.0.

Nemotron-Cascade-8B-Thinking — универсальная языковая модель NVIDIA для диалогов и задач, требующих пошагового рассуждения. Она построена на архитектуре Qwen3 и дообучена на базе Qwen3-8B-Base: после многоэтапного SFT применялось последовательное обучение с подкреплением в разных областях. Модель содержит 7,6 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов; карточка указывает английский язык. Модель предназначена для рассуждений на общие знания, математики, программирования и разработки ПО, следования инструкциям и использования инструментов. Она работает в режиме thinking и использует шаблон чата в стиле Qwen3. Для локального запуска NVIDIA рекомендует температуру 0,6 и top-p 0,95; для поддержки более длинного контекста предлагается масштабирование RoPE методом YaRN. Лицензия указана как other, поэтому условия использования следует проверить в файлах репозитория.

mlx-community/Qwen3.8-27B-OptiQ-4bit — квантованная MLX-версия модели Qwen3.8-27B, разработанной Qwen, с оптимизацией mlx-optiq для локального запуска на компьютерах Apple Silicon. Модель поддерживает работу с текстом и изображениями и предназначена для генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и других сценариев мультимодального помощника. В режиме text-only её можно загружать через mlx-lm, а для image+text и расширенных возможностей требуется mlx-optiq. Модель использует гибридную архитектуру: три четверти из 64 блоков применяют linear attention, остальные — full attention. Квантование выполнено в смешанной точности: 237 чувствительных к потере качества слоёв представлены в 8-bit, а 261 менее чувствительный слой — в 4-bit; размер группы — 64. Vision tower сохранён в формате bf16 и поставляется отдельным файлом размером около 0,9 ГБ. Общий размер модели на диске составляет примерно 18,9–19 ГБ. Данные о размере контекстного окна и поддерживаемых языках в карточке не указаны. К сильным сторонам относятся сочетание мультимодальности, локальный запуск без облака и PyTorch, а также экономия памяти за счёт квантования при сохранении высокой производительности в тестах: 84,1% на MMLU, 96,1% на GSM8K, 92,1% на HumanEval и 93,5% на BFCL-V3 simple. Ограничения включают зависимость от экосистемы MLX и Apple Silicon для целевого сценария, необходимость mlx-optiq для обработки изображений и расширенного сервера, а также возможное снижение качества по сравнению с полноразмерной моделью из-за квантования. Лицензия — Apache-2.0.

Xing4.0-29B-A4B-GGUF — большая языковая модель серии Xing, разработанная China Telecom Artificial Intelligence Technology Co., Ltd. Это GGUF-представление модели Xing4.0-29B-A4B с квантованием смешанной точности IQ4_NL; размер файла составляет около 18 ГБ, что позволяет запускать модель на одной пользовательской видеокарте. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста, сложного рассуждения, программирования, инженерных задач, многошагового планирования, вызова инструментов и агентских сценариев. Она также подходит для дообучения под прикладные задачи, включая классификацию намерений, анализ таблиц, аудит договоров и ответы на вопросы по корпоративным знаниям. Заявлена совместимость с Transformers, vLLM, SGLang, KTransformers, LLaMA-Factory и MindFormers, а также с рядом агентских фреймворков. Архитектура включает MoE с 29 млрд общих параметров и 4 млрд активных параметров на токен, 40 слоёв, скрытый размер 3584, MLA-attention, 64 маршрутизируемых эксперта, 4 активных эксперта на токен и одного общего эксперта. Модель поддерживает контекст 256 тысяч токенов с возможностью расширения до 512 тысяч. Указана поддержка режима рассуждений, который можно включать или отключать при инференсе. README не сообщает полный список поддерживаемых языков и не описывает мультимодальные возможности, поэтому модель следует считать текстовой. Сильными сторонами являются большой контекст, высокая эффективность MoE при инференсе, ориентация на агентские и программные задачи, а также возможность локального запуска и доменной адаптации. Ограничения включают необходимость совместимого инференс-стека и значительный объём памяти; показатели бенчмарков приведены авторами README и могут зависеть от настроек оценки. Сведения о безопасности, фильтрации контента и конкретных языковых ограничениях не указаны.

Yi-1.5-9B-Chat-16K — диалоговая языковая модель семейства Yi, разработанная 01.AI. Это плотная авторегрессионная модель на архитектуре Llama с 8,6 млрд параметров и контекстом до 16 384 токенов. Она создана на базе Yi: семейство Yi-1.5 прошло дополнительное предобучение на корпусе объёмом 500 млрд токенов и тонкую настройку на 3 млн разнообразных примеров. Модель предназначена для диалогов и выполнения инструкций, а также для задач программирования, математики, рассуждений, понимания языка и чтения. В README отмечены улучшения по сравнению с Yi в этих задачах и сильные результаты среди открытых моделей сопоставимого размера. Репозиторий содержит веса в формате safetensors; лицензия — Apache 2.0. В предоставленных материалах не приведены отдельные результаты именно варианта 16K и перечень поддерживаемых языков.

Blossom-V7-27B — мультимодальная модель общего назначения с открытыми весами, разработанная командой Blossom. Это плотная модель семейства Qwen3.5, дообученная для работы в роли ассистента и предназначенная для локального запуска. Она принимает текст и изображения, поддерживает диалог, адаптивное рассуждение и вызов инструментов; подходит для повседневных вопросов, математики, программирования, веб-разработки и визуализации данных. Контекст достигает 262 144 токенов, при этом в README рекомендовано 131 072 токена для наилучших результатов. Для ускорения генерации поддерживается спекулятивное декодирование MTP в vLLM и llama.cpp. Модель рассчитана на развёртывание на GPU, где помещаются её веса. README указывает, что для многоходового диалога следует сохранять полное сообщение ассистента, включая поля рассуждения и вызовы инструментов. Также требуется использовать встроенный шаблон чата Blossom; подмена его шаблоном Qwen3.5 может нарушить работу. Репозиторий распространяется по лицензии Apache-2.0.

Calme 2.1 Qwen2 72B — плотная языковая модель, созданная MaziyarPanahi дообучением Qwen/Qwen2-72B-Instruct. Она предназначена для диалогов и генерации текста: отвечает на вопросы, помогает создавать и суммировать материалы, анализировать и писать код, решать сложные задачи и поддерживать принятие решений. Для диалогов используется шаблон ChatML. Модель содержит 71,5 млрд параметров, работает на базе Transformers и имеет нативное контекстное окно 32 768 токенов. В карточке указан английский язык; README приводит результаты оценок на задачах следования инструкциям, рассуждений, математики и вопросов с выбором ответа. Модель может наследовать ограничения и смещения больших языковых моделей, поэтому важные ответы требуют проверки человеком. Репозиторий распространяется по лицензии «other»; конкретные условия следует сверять с лицензией репозитория.

NVIDIA DeepSeek-R1-0528-NVFP4-v2 — FP4-квантизированный вариант модели рассуждений DeepSeek-R1-0528, подготовленный с помощью NVIDIA TensorRT Model Optimizer. Это авторегрессионная языковая модель семейства DeepSeek V3 с архитектурой трансформера; в метаданных указано 37,6 млрд параметров и контекст до 163 840 токенов. Версия v2 дополнительно квантизирует модуль wo в слоях внимания по сравнению с DeepSeek-R1-0528-FP4. Модель принимает текст и генерирует текст. Она предназначена для диалогов и решения задач, в том числе многошаговых рассуждений; доступен интерфейс вызова инструментов. Квантизация весов и активаций линейных операторов снижает требования к диску и памяти GPU примерно в 1,6 раза. Для запуска README указывает TensorRT-LLM, Linux и оборудование NVIDIA Blackwell; приведённый пример развёртывания требует 8 GPU B200. Модель основана на DeepSeek-R1-0528 и, согласно README, готова к коммерческому и некоммерческому использованию; метаданные указывают лицензию MIT. Ответы могут быть неточными, неполными или избыточными, а обучающие данные могут приводить к токсичному языку и усилению социальных предубеждений.

casperhansen/deepseek-r1-distill-qwen-7b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Qwen-7B, опубликованная пользователем casperhansen. Исходную модель разработала DeepSeek; она создана на базе Qwen2.5-7B и дообучена на синтетических данных, сгенерированных DeepSeek-R1, для усиления способностей к рассуждению. Модель предназначена для текстовой генерации, диалогов и задач, требующих пошагового рассуждения, включая математику, программирование и ответы на вопросы. Это decoder-only модель архитектуры Qwen2ForCausalLM примерно с 7 млрд параметров, 28 слоями, 28 attention heads и контекстом до 131072 токенов. Она работает только с текстом; сведения о гарантированном наборе поддерживаемых языков в карточке этой версии не указаны. Ключевое преимущество версии casperhansen — снижение требований к памяти благодаря 4-битной AWQ-квантизации с group size 128 и размеру файлов около 5,58 ГБ, что упрощает локальный запуск. Ограничения включают возможную потерю качества из-за квантизации, зависимость результатов от используемого inference-движка и промпта, а также отсутствие в карточке подробных бенчмарков, описания безопасности и заявленных гарантий качества для разных языков. Репозиторий распространяется по лицензии MIT; для производных моделей также следует учитывать условия лицензии исходной модели Qwen.

Dolphin 2.9.1 Llama 3 8B — разговорная языковая модель, подготовленная Eric Hartford, Lucas Atkins, Fernando Fernandes и Cognitive Computations на основе Meta Llama 3 8B. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, обученная полным дообучением всех весов и использующая шаблон диалога ChatML. Контекст модели составляет 8192 токена; в README указано, что полное дообучение проводилось с длиной последовательности 4K. Модель предназначена для следования инструкциям, диалогов, генерации кода и математических ответов; также поддерживает начальные агентные сценарии и вызов функций. В обучении использовались наборы данных для диалогов, кода, математики и вызова функций. Модель рассчитана на текстовый ввод и выдаёт текст. Авторы описывают Dolphin как модель без встроенных ограничений на содержание: она может охотно отвечать на небезопасные и неэтичные запросы, поэтому перед предоставлением пользователям авторы рекомендуют добавить собственный слой выравнивания. Лицензия — Meta Llama 3 Community License; коммерческое использование допускается в рамках её условий.

Dolphin 2.9.1 Yi 1.5 34B — диалоговая языковая модель, подготовленная Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и командой Cognitive Computations. Это полновесное дообучение базовой модели 01-ai/Yi-1.5-34B с архитектурой семейства Llama и 33,9 млрд параметров. Модель принимает текст и генерирует текст; для диалога используется шаблон ChatML. Контекст при обучении составлял 8 192 токена. Модель предназначена для инструктивных диалогов, написания и анализа кода, решения математических задач, вызова функций и начальных агентных сценариев. В карточке заявлена высокая податливость к запросам: авторы описывают Dolphin как uncensored и рекомендуют добавлять собственный слой выравнивания перед предоставлением модели пользователям. Модель обучалась в том числе на данных, сгенерированных GPT-4. Лицензия Apache 2.0 разрешает коммерческое использование. Модель может выдавать нежелательный или небезопасный контент; качество и безопасность результатов следует оценивать с учётом конкретного применения.

Dolphin-2.9.2-Phi-3-Medium-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Dolphin 2.9.2 на базе unsloth/Phi-3-mini-4k-instruct. Оригинальную модель разработала команда cognitivecomputations, а квантизации подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, следования инструкциям, программирования, математических задач и агентских сценариев. В README указана поддержка английского языка и текстовая модальность. Доступны варианты от Q8_0 до Q2_K и IQ-квантизаций размером примерно от 4,19 до 14,83 ГБ. Для запуска используется шаблон чата с ролями system, user и assistant. Точное число параметров и размер контекста в README явно не указаны, однако базовая модель идентифицируется как Phi-3-mini-4k-instruct. Более высокие квантизации обеспечивают лучшее качество, но требуют больше памяти; варианты Q4–Q6 и Q5_K_M указаны как рекомендуемые, тогда как низкобитные варианты экономят память ценой снижения качества. Модель распространяется по лицензии MIT.

QuantFactory/dolphin-2.9.2-qwen2-7b-GGUF — это квантизированная версия языковой модели Dolphin 2.9.2 Qwen2 7B, созданная с использованием llama.cpp. Модель разработана и обучена Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе Qwen2-7B. В обучении использовались наборы данных для инструкций, диалогов, программирования, математических задач, function calling и агентных сценариев, включая Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction и другие источники. Модель предназначена для генерации текста, выполнения инструкций, ведения диалогов, помощи в программировании, решения математических задач, начальных агентных сценариев и function calling. Она поддерживает контекст до 128k токенов, при этом полновесное дообучение выполнялось с длиной последовательности 16k. Модель является текстовой и рассчитана на использование в формате ChatML; другие модальности в README не заявлены. Языки явно не указаны. К сильным сторонам относятся широкий набор инструкционных, разговорных и кодинговых навыков, поддержка длинного контекста, локальный запуск в формате GGUF и возможность коммерческого использования в рамках условий лицензии Qwen. Модель описана как uncensored: из обучающих данных удалялись alignment и bias, поэтому она может быть более податливой, включая потенциально небезопасные запросы. Разработчики рекомендуют самостоятельно добавить слой выравнивания и фильтрации перед предоставлением модели пользователям; ответственность за создаваемый контент несёт применяющая сторона. Лицензия указана как tongyi-qianwen license, с разрешением на использование, включая коммерческое, при соблюдении её условий.

Dolphin-2.9-Llama3-70B-GGUF — это квантизированная версия языковой модели Dolphin 2.9 на базе Llama 3 с 70 млрд параметров. Исходную модель разработала cognitivecomputations, а квантизации в формате GGUF подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, программирование, математические задачи, агентские сценарии и function calling. В README указан английский язык; модальность — текстовая. Размер контекстного окна не указан. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 16,75 до 74,97 ГБ. Более качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; варианты с меньшей разрядностью экономят память, но могут заметно снижать качество. Модель использует формат диалогового шаблона ChatML с ролями system, user и assistant. К сильным сторонам относятся большой размер модели, широкий набор обучающих данных для инструкций, кода, математики, диалогов и вызова функций, а также возможность локального запуска через llama.cpp при выборе подходящей квантизации. Ограничения — значительные требования к оперативной или видеопамяти, зависимость качества от выбранного варианта квантизации и отсутствие в README сведений о точной длине контекста и результатах стандартизированных оценок. Указанная лицензия — llama3.

Dolphin 2.9 Llama 3 8B 1M — диалоговая языковая модель, подготовленная Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и командой Cognitive Computations на базе Meta Llama 3 8B. Это полнос-параметрическое дообучение плотной архитектуры Llama с шаблоном запросов ChatML; метаданные указывают 7,5 млрд параметров и контекст до 1 048 576 токенов. Модель предназначена для ответов на инструкции, диалогов, задач по коду, математики и начальных сценариев использования инструментов и function calling. В README отмечено, что в обучающем наборе есть ошибка, из-за которой модель может излишне упоминать «SYSTEM MESSAGE»; автор рекомендует явно попросить её не обсуждать системное сообщение. Модель описана как uncensored и может с готовностью выполнять вредоносные запросы, поэтому перед предоставлением пользователям автор рекомендует добавить собственный слой выравнивания. Условия использования определяются лицензией Meta Llama 3 Community License; коммерческое применение допускается в соответствии с её условиями.

bartowski/dolphin-2.9-llama3-8b-GGUF — это набор GGUF-квантизаций модели dolphin-2.9-llama3-8b, разработанной cognitivecomputations и подготовленной для локального запуска. Модель предназначена для генерации текста в диалоговых и инструкционных сценариях, включая ответы на вопросы, программирование, решение математических задач, function calling и агентские задачи. Обучение опиралось на наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, UltraChat, Orca Math и другие датасеты. Это текстовая модель на архитектуре Llama 3 с размером 8 млрд параметров. Репозиторий содержит версии от F16 до различных вариантов Q8, Q6, Q5, Q4, Q3 и IQ-квантизаций, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Квантизации выполнены с использованием llama.cpp и метода imatrix; для взаимодействия указан шаблон промпта ChatML. Поддержка мультимодальности, конкретные языки и размер контекстного окна в README не указаны. Сильной стороной модели является широкий набор обучающих данных и наличие множества вариантов для локального инференса, включая версии, оптимизированные для ARM. Более сильные квантизации обеспечивают лучшее качество, но требуют больше памяти, тогда как Q3-версии экономичнее, но заметнее теряют в качестве. Для запуска рекомендуется использовать совместимый инференс-движок, например llama.cpp или LM Studio. Лицензия обозначена как other, однако её точные условия в README не приведены.

win10/EVA-Instruct-QwQ-32B-Preview — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES. В качестве основы использована ParasiticRogue/EVA-Instruct-32B-v2, в объединение также вошла Qwen/QwQ-32B-Preview. Модель содержит 32 млрд параметров и рассчитана на генерацию текста в диалоговом формате; заявленная длина контекста — 131 072 токена. Модель подходит для диалоговых ответов, генерации текста, математических рассуждений и программирования. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers; метаданные также отмечают интерфейс вызова инструментов. Сведения о лицензии в предоставленных данных отсутствуют.

Arli AI выпустила Derestricted-версию GLM-4.6-REAP-268B-A32B, разреженной языковой модели семейства GLM с архитектурой Mixture of Experts. Веса изменены методом Norm-Preserving Biprojected Abliteration, чтобы ослабить поведение отказа и сохранить нормы весов; это не обычная квантизация. Базовая модель была сжата методом REAP: из 160 экспертов оставлено 120, а всего в ней 268 млрд параметров, из которых активируются 32 млрд на токен. Для этой версии README не приводит отдельные результаты оценки качества. Модель предназначена для генерации текста и диалогов, рассуждений, написания кода и агентных сценариев; унаследованные возможности базовой модели включают вызов функций. Она поддерживает английский язык и контекст до 202 752 токенов. Для запуска требуется совместимая инфраструктура с большим объёмом памяти; базовая модель описана как совместимая с актуальным vLLM. Лицензия — MIT.

Hermes 3 405B — большая языковая модель общего назначения от Nous Research, созданная полным дообучением Meta-Llama-3.1-405B. Она рассчитана на диалог с ассистентом, следование инструкциям, рассуждения, ролевые сценарии, генерацию кода и работу с инструментами. Модель поддерживает многошаговые беседы и контекст до 131 072 токенов; для диалога используется формат ChatML, также предусмотрены вызовы функций и структурированный вывод JSON. Модель содержит около 403,7 млрд параметров, использует плотную архитектуру Llama и распространяется в формате Safetensors. Для запуска полной версии в FP16 требуется более 800 ГБ видеопамяти; в README также упоминается отдельная FP8-квантизация NeuralMagic для VLLM, требующая около 430 ГБ. Лицензия — Llama 3.1 Community License (llama3). Карточка позиционирует Hermes 3 как модель общего назначения с улучшенными агентными возможностями, управляемостью и генерацией кода.

Hermes 4 14B — плотная языковая модель Nous Research на архитектуре Qwen3, дообученная на базе Qwen/Qwen3-14B. Она предназначена для диалогов и выполнения инструкций, включая задачи рассуждения, математики, программирования, STEM, логики, творческого письма и генерации ответов в заданном формате. Модель поддерживает гибридный режим рассуждений, следование схемам и вывод JSON, а также вызов инструментов при соответствующей настройке шаблона ChatML. Размер модели — 14 млрд параметров, длина контекста — 40 960 токенов; основным указанным языком карточки является английский. Модель распространяется под лицензией Apache-2.0. Для работы следует использовать формат ChatML; качество ответов и вызова инструментов зависит от корректной настройки шаблона и инференсного окружения. Заявления README о сравнительных результатах и улучшениях основаны на описании разработчика и не являются независимой оценкой.

WhiskyAKM подготовил GGUF-сборку K2-Horizon-7B в формате NVFP4 на основе модели IFM/K2-Horizon-7B. Это плотная авторегрессионная языковая модель с 7 млрд параметров и контекстом до 524 288 токенов; репозиторий предназначен для запуска через llama.cpp и другие движки с поддержкой GGUF. Модель рассчитана на диалоги, рассуждения, программирование, работу с длинным контекстом и агентные сценарии. В карточке приведены результаты исходной модели на математических, программных и других бенчмарках. Квантизация NVFP4 уменьшает точность представления весов и ориентирована на оборудование NVIDIA Blackwell. Репозиторий содержит файл модели в формате GGUF. Лицензия — Apache-2.0.

MLX-версия модели K2-Horizon-7B-oQ6e — квантованная конверсия IFM/K2-Horizon-7B, разработанной командой IFM. Модель относится к семейству K2 Horizon и предназначена для генерации текста, рассуждений, программирования, работы с инструментами и многошаговыми диалогами. Конверсия выполнена в формате MLX с использованием смешанной 6-битной квантизации oQ6e, оптимизированной для Apple Silicon. Модель имеет плотную архитектуру и около 7 миллиардов параметров, поддерживает контекст до 512 тысяч токенов и работает с текстом. Она ориентирована на задачи, требующие развитого рассуждения, включая разработку ПО, работу в терминале, банковские сценарии, поиск и анализ информации, а также математические задачи. Для получения наилучших результатов рекомендуется использовать высокий уровень усилий рассуждения reasoning_effort="high". Модель поддерживает специальные блоки рассуждений, вызовы инструментов и многоходовые беседы через пользовательский шаблон чата IFM. В README приведены результаты тестирования исходной K2-Horizon-7B: 70,6% в SWE-bench Verified, 39,06% в Terminal-Bench 2.1, 25,8% в tau3-Banking, 59,0% в BrowseComp и 73,3% в HMMT February 2026. Ограничения связаны с необходимостью использовать MLX-совместимую среду и oMLX версии 0.6.4 или новее с патчем поддержки типа модели k2_horizon; без него модель не загрузится. Модель распространяется по лицензии Apache-2.0, как и исходная модель.

Lion-Lamarck-v.1.0.8 — объединённая с помощью mergekit методом SCE языковая модель на архитектуре Qwen2, опубликованная пользователем nlpguy. В качестве основы использована sometimesanotion/Lamarck-14B-v0.7; в объединение также вошли SuperNova-Medius, Virtuoso-Small, Qwen2.5-14B-Vimarckoso-v3 и DeepSeek-R1-Distill-Qwen-14B. Размер модели — 14 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для диалогов и генерации текста. Она может использоваться для ответов на вопросы, помощи с математическими задачами и программированием, а также для текстовых задач, требующих рассуждений. Доступны веса в формате safetensors и интерфейс для вызова инструментов. В метаданных не указана лицензия, поэтому условия использования следует проверить на странице репозитория Hugging Face.

LuminaLM — чат-модель для генерации текста, разработанная Parallax Labs. В карточке описано обновлённое семейство модели с усиленными рассуждениями и выводом: автор сообщает об улучшениях в математике, программировании и логике, а также о снижении частоты галлюцинаций и лучшей поддержке вызова функций. В тесте AIME 2025 точность, согласно README, выросла с 74% до 89,3%; средний объём рассуждений на вопрос увеличился с 15 тыс. до 27 тыс. токенов. Модель основана на архитектуре Llama и предназначена для диалогов, решения сложных задач и генерации ответов; README также описывает сценарии с загрузкой файлов и поиском в интернете через специальные шаблоны запросов. Рекомендуемая температура генерации — 0,6. Репозиторий содержит веса PyTorch, библиотека — Transformers. Лицензия MIT. Размер модели и длина контекста в предоставленных данных не приведены.

Meta-Llama-3.1-8B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Meta Llama 3.1 8B Instruct. Исходную модель разработала Meta, а файлы в формате GGUF подготовил brittlewis12 с использованием llama.cpp и autogguf. Модель работает с текстом на входе и выходе; в метаданных указано, что поддерживается английский язык. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, рассуждений, решения математических задач, программирования и использования инструментов. Формат GGUF ориентирован на локальный запуск через совместимые приложения и llama.cpp, включая устройства Apple. В README также указаны улучшения для работы с длинным контекстом, однако точный размер контекстного окна не приведён. Ключевые достоинства — относительно небольшой размер 8B, возможность локального использования и хорошие результаты исходной модели на ряде тестов, включая HumanEval, GSM-8K, MMLU и API-Bank. Ограничения включают текстовую модальность, отсутствие сведений о конкретном типе и степени квантизации, а также возможное снижение точности по сравнению с полной версией из-за квантизации. Модель распространяется по лицензии Llama 3.1; применимые условия определяются лицензией Meta.

Nemotron-Cascade-8B — языковая модель общего назначения от NVIDIA, дообученная на базе Qwen3-8B-Base. Модель имеет плотную архитектуру Qwen3 и около 7,6 млрд параметров; поддерживает контекст до 32 768 токенов и работает через Transformers в формате safetensors. Модель предназначена для диалогов и генерации текста, включая рассуждения, следование инструкциям, математические задачи, программирование, инженерные задачи в ПО и использование инструментов. Доступны режимы рассуждения и обычного ответа, переключаемые тегами /think и /no_think. В карточке описано последовательное дообучение с многоэтапным SFT и обучением с подкреплением по разным областям. Для длинного контекста NVIDIA рекомендует RoPE scaling с YaRN; это требует соответствующей настройки конфигурации. Метаданные указывают лицензию как other, поэтому конкретные права использования следует сверить с условиями репозитория.

Phi-3-Medium-128K-Instruct — языковая модель Microsoft из семейства Phi-3 с плотной архитектурой Phi3ForCausalLM и 13,8 млрд параметров. Это версия с настройкой для следования инструкциям и диалогового формата; постобучение включало supervised fine-tuning и direct preference optimization. Модель предназначена для генерации текста, ответов на вопросы и задач, требующих рассуждений, в частности программирования, математики и логики. Вариант рассчитан на контекст до 128 тысяч токенов согласно карточке модели. Он ориентирован прежде всего на английский язык; карточка также отмечает многоязычность, но качество на языках помимо английского может быть ниже. Модель поддерживает сценарии генерации кода, однако её обучающие данные для кода в основном охватывают Python и распространённые библиотеки. Модель может генерировать недостоверные ответы, воспроизводить стереотипы и выдавать оскорбительный или неподходящий контент даже после настройки безопасности. Результаты, особенно код и ответы для чувствительных областей, следует проверять. Лицензия — MIT.

phi-4-GGUF — это квантизированная в формате GGUF версия языковой модели Phi-4, разработанной Microsoft. Квантизация выполнена bartowski на основе llama.cpp, релиз b4456. Модель предназначена для генерации текста, диалогового взаимодействия, решения математических задач, программирования и других задач обработки естественного языка. Модель поддерживает контекст до 16 000 токенов и обучалась на 9,8 триллиона токенов, включая синтетические данные, отфильтрованные общедоступные веб-страницы, академические книги и наборы вопросов и ответов. В метаданных указан английский язык. Формат GGUF и совместимость с llama.cpp делают модель пригодной для локального запуска в приложениях, поддерживающих этот формат, включая LM Studio. К сильным сторонам относятся широкий набор обучающих данных, поддержка длинного контекста и специализация на задачах диалога, математики и кода. Модель может генерировать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. В README не указаны конкретная архитектура, число параметров и характеристики отдельных вариантов квантизации. Модель распространяется по лицензии MIT.

unsloth/phi-4-GGUF — это конвертированная в формат GGUF версия модели Phi-4, разработанной Microsoft Research и основанной на microsoft/phi-4. Unsloth адаптировала модель под архитектуру Llama, чтобы упростить использование и дообучение, а также внесла исправления, связанные с Phi-4. Модель распространяется для запуска через llama.cpp и других совместимых инструментов. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических задач и программирования. Это плотный decoder-only Transformer на 14 млрд параметров с текстовым вводом, оптимизированным для запросов в чат-формате. Заявленная длина контекста составляет 16K токенов, основной язык — английский. В репозитории доступны варианты квантования GGUF, включая phi-4-Q2_K_L.gguf, что позволяет запускать модель с различными компромиссами между качеством, скоростью и требованиями к памяти. Сильными сторонами модели являются ориентация на качественные данные, развитое рассуждение, точное следование инструкциям и поддержка сценариев дообучения. Ограничения включают текстовую модальность, преимущественную ориентацию на английский язык, ограничение контекста в 16K токенов и возможные потери качества, зависящие от выбранного уровня квантования. Модель распространяется по лицензии MIT.