II.4Отладка, тестирование и качество ПО

Gemma 4 31B MXFP4 CRACK — мультимодальная модель на архитектуре Gemma 4, опубликованная dealignai и основанная на google/gemma-4-31b-it. Это дообученная версия с удалёнными отказами, предназначенная для диалогов, ответов на вопросы, многошаговых рассуждений, генерации кода и работы с изображениями. Модель плотная, использует гибридное скользящее и глобальное внимание и квантизацию MXFP4; для запуска автор рекомендует vMLX на Apple Silicon с достаточной общей памятью. В карточке заявлены сохранение возможностей работы с изображениями и проверка генерации кода и рассуждений. По приведённым авторами оценкам, MMLU составляет 82,9% против 88,6% у базовой модели, а соответствие запросам из категорий HarmBench — 95%; это указывает на заметное снижение отказов, в том числе для опасных запросов. Метаданные указывают лицензию Gemma. Автор обозначает модель как исследовательскую; пользователю следует учитывать лицензионные условия Gemma и применимое законодательство.

TIGER-Lab разработала General-Reasoner-Qwen2.5-14B — дообученную причинно-следственную языковую модель семейства Qwen2.5 с 14 млрд параметров. Она предназначена для диалоговой генерации текста и решения задач, требующих рассуждений в разных областях: математике, программировании, физике, химии, финансах и гуманитарных дисциплинах. Модель обучена на наборе из более чем 230 тысяч проверяемых вопросов; подход General-Reasoner использует проверку ответов компактной генеративной моделью-верификатором и не включает отдельный этап RL-обучения. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана прежде всего на английский язык. Репозиторий использует формат safetensors и библиотеку Transformers; метаданные указывают интерфейс для диалога и вызова инструментов. Лицензия — Apache-2.0. Карточка сообщает о результатах на нескольких бенчмарках, но не приводит конкретных значений в предоставленном фрагменте; ответы модели могут требовать проверки.

GLM-4.7-Flash-bf16 — диалоговая языковая модель семейства GLM4 MoE Lite, подготовленная сообществом mlx-community в формате MLX из zai-org/GLM-4.7-Flash. Она предназначена для генерации текста в диалоге, включая рассуждения и программирование. Модель содержит 4,1 млрд параметров и поддерживает контекст до 202 752 токенов; карточка указывает поддержку английского и китайского языков. Модель построена на архитектуре Glm4MoeLiteForCausalLM и использует библиотеку MLX. Репозиторий содержит веса Safetensors и доступен по лицензии MIT. В README приведена команда установки mlx-lm для использования модели на MLX-совместимой платформе.

Granite-4.2-3B GGUF — это набор квантизированных версий компактной reasoning-модели Granite-4.2-3B, разработанной IBM и распространяемой пользователем NANI-Nithin в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста, решения математических и многошаговых задач, программирования, агентских сценариев и вызова инструментов. Она поддерживает встроенное рассуждение с использованием блоков <think>...</think> и режимы полного, отключённого и облегчённого рассуждения, позволяющие выбирать баланс между качеством и задержкой ответа. Модель построена как плотный decoder-only Transformer с 3 млрд параметров, Grouped Query Attention с 40 attention heads и 8 KV heads, RoPE с θ = 10 000 000 и MLP-блоками. Заявлено контекстное окно 512K токенов, подходящее для длинных документов, многошаговых диалогов и сложных agentic workflows. В README явно указана текстовая генерация; сведения о поддерживаемых языках и мультимодальности не приведены. К сильным сторонам относятся малый размер, встроенное reasoning, гибкие режимы рассуждения, поддержка reasoning-augmented tool calling и широкий выбор квантизаций — от BF16 и почти без потерь Q8_0 до сильно сжатых вариантов для устройств с ограниченной памятью. К ограничениям относятся неизбежное снижение качества при агрессивной квантизации, а также отсутствие в предоставленных данных результатов бенчмарков и подробностей о языковом покрытии. Модель и её квантизированные варианты заявлены под лицензией Apache 2.0, допускающей коммерческое и исследовательское использование.

Hugo-7B-slerp — диалоговая языковая модель на архитектуре Mistral, созданная paulilioaica слиянием методом SLERP моделей Mistral-7B-Instruct-v0.2 и CodeNinja-1.0-OpenChat-7B с помощью mergekit. Она предназначена для генерации текста и ответов на инструкции в диалоговом формате; объединяет возможности исходных моделей, включая общие диалоговые задачи и работу с кодом. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README приведены результаты оценок на ARC, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K, но они не гарантируют аналогичное качество на других задачах. Языковая поддержка и специализированные области применения в карточке не перечислены. Модель распространяется по лицензии Apache-2.0.

Infinity-Instruct-3M-0625-Llama3-8B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), созданная дообучением Llama 3 методом supervised instruction tuning на наборах Infinity-Instruct-3M и Infinity-Instruct-0625. Это плотная авторегрессионная модель семейства Llama примерно с 7,5 млрд параметров, предназначенная для диалогов и следования инструкциям. Она принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. Модель не обучалась с использованием обучения с подкреплением по обратной связи от людей (RLHF), а разработчики сообщают о хороших результатах на AlpacaEval 2.0 и MT-Bench. Модель подходит для многошаговых диалогов, ответов на вопросы, повседневных текстовых задач, а также задач по коду и математике. Карточка указывает англоязычный контекст, поэтому основной подтверждённый язык — английский. Репозиторий распространяется в формате safetensors. В README указана лицензия Apache-2.0 в метаданных, однако там же ресурсы проекта, включая веса, ограничены академическими исследованиями и запрещены для коммерческого использования; это расхождение следует учитывать при применении. Разработчики также предупреждают, что точность ответов не гарантируется.

Ttimms/KAT-Coder-V2.5-Dev-REAP-50-GGUF — это квантизированная GGUF-версия модели KAT-Coder-V2.5-Dev, разработанной Kwaipilot и подготовленной Ttimms. Модель предназначена для генерации текста и программного кода, агентного программирования и работы через llama.cpp-совместимые приложения. Указан английский язык. В основе лежит гибридная архитектура Gated-DeltaNet и Mixture of Experts (MoE). В результате 50-процентного pruning методом REAP число экспертов сокращено с 256 до 128, общий размер составляет около 19 млрд параметров, а активными при инференсе являются примерно 3 млрд параметров. Vision tower удалён, MTP head отсутствует. Доступны варианты квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0; рекомендуемый Q4_K_M занимает около 11,4 ГБ и рассчитан на запуск в системах с 16 ГБ памяти. Сильные стороны модели — высокая эффективность MoE при относительно умеренных требованиях к вычислениям, поддержка CPU и Apple Silicon, а также хорошие заявленные результаты на HumanEval+ и MBPP+. Для работы требуется свежая версия llama.cpp с поддержкой архитектуры qwen35moe; поддержка Ollama зависит от обновления встроенной версии llama.cpp. Более качественные кванты требуют больше памяти, а Q8_0 нуждается более чем в 16 ГБ или в выгрузке части вычислений на CPU. Заявленные результаты основаны на одиночных greedy-запусках и имеют заметный разброс между повторными измерениями. Модель распространяется по лицензии Apache-2.0.

MiMo-Negentropy-9B-AGSI — плотная модель семейства Qwen3.5 примерно на 9 млрд параметров, созданная слиянием MiMo-V2.6-Distill-Qwen-9B от Xiaomi MiMo и Negentropy-claude-opus-4.7-9B от Jackrong. В README слияние названо AGSI Pipelined Fusion и описано как адаптивная спектральная интерполяция весов с защитой от конфликтов параметров. Модель предназначена для диалоговых и агентных сценариев, включая программирование, рассуждения и работу с терминалом. Метаданные указывают поддержку английского и китайского языков; репозиторий содержит веса в формате safetensors. Лицензия — MIT. Это текстовая генеративная модель с возможностью чата. Карточка не приводит результатов сравнительной оценки и не подтверждает практические гарантии качества; мультимодальные возможности базовой модели не следует автоматически считать возможностями этой версии.

Openai_gpt-oss-20b-NEO-GGUF — это набор квантованных GGUF-версий модели openai/gpt-oss-20b, подготовленный DavidAU с использованием NEO Imatrix и собственного NEO-набора данных. Модель предназначена для генерации текста, диалогов, программирования, решения задач, рассуждений, мозгового штурма и творческих сценариев. В карточке заявлена лицензия Apache-2.0. Модель имеет архитектуру Mixture of Experts с 20 млрд параметров и поддержкой до 24 экспертов, из которых можно активировать часть в зависимости от сценария. Доступны варианты IQ4_NL, Q5_1 и MXFP4_MOE с различными настройками квантования; указана поддержка контекста до 128k токенов. Основной заявленный язык — английский. Также заявлена поддержка использования инструментов и browsing, однако подробности совместимости зависят от программного обеспечения для запуска. Сильные стороны модели — универсальность, задачи программирования и заявленное улучшение производительности благодаря NEO Imatrix, особенно в некоторых низко- и среднебитных вариантах квантования. Ограничения включают зависимость качества от выбранного кванта, числа активных экспертов, семплеров и настроек запуска; автор отдельно отмечает проблемы квантования, связанные с необычными размерами тензоров исходной модели. Рекомендуется проверять конкретный файл и параметры в используемом inference-интерфейсе.

OpenBuddy CodeLlama 70B v17.1 4K — многоязычная чат-модель семейства LLaMA, разработанная командой OpenBuddy на базе серии Meta LLaMA. Она предназначена для диалоговых ответов и генерации текста, в том числе в сценариях помощи с программированием. Модель имеет плотную архитектуру LlamaForCausalLM и содержит 68,8 млрд параметров; репозиторий использует формат safetensors, а контекст составляет до 16 384 токенов. В метаданных и карточке указана поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и русского языков. Модель может выдавать ошибочные, вредные или оскорбительные ответы, поэтому её не следует использовать для критически важных медицинских, финансовых, юридических решений или управления потенциально опасными системами. Лицензия — LLaMA 2: для использования требуется соответствовать условиям Meta и иметь одобрение на доступ к LLaMA.

unsloth/phi-4 — версия Phi-4 от Unsloth, созданная на основе microsoft/phi-4. Авторы сообщают о переносе модели на архитектуру Llama для упрощения использования и дообучения, а также о внесении исправлений Phi-4. Модель содержит 14,1 млрд параметров и принимает текст, преимущественно в формате чата; длина контекста — 16 384 токена. Модель предназначена для генерации текста и диалогов на английском языке, включая задачи рассуждения, логики, математики и программирования. Её можно использовать как основу для генеративных функций в сценариях с ограничениями по памяти, вычислительным ресурсам или задержке. По карточке базовая Phi-4 разработана Microsoft Research и обучена с использованием синтетических данных, отфильтрованных публичных веб-источников, академических книг и наборов вопросов и ответов; для улучшения следования инструкциям применялись supervised fine-tuning и direct preference optimization. Репозиторий использует формат safetensors и распространяется по лицензии MIT. Модель ориентирована прежде всего на английский язык; как и другие языковые модели, она может ошибаться, поэтому её ответы следует проверять, особенно при использовании в высокорисковых сценариях.

Mungert/Phi-4-mini-instruct.gguf — GGUF-версия модели Phi-4-mini-instruct, разработанной Microsoft и распространяемой на основе этой модели. Это компактная открытая instruction-tuned модель для генерации текста, диалогов, следования инструкциям, рассуждений, генерации кода и function calling. Модель ориентирована на локальный запуск с ограниченными ресурсами и низкой задержкой, а также поддерживает сценарии чат-комплитов. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-источниках; для улучшения следования инструкциям и безопасности применялись supervised fine-tuning и direct preference optimization. Заявлена поддержка контекста до 128K токенов и мультиязычных сценариев, однако конкретный перечень языков в README не указан. Для диалогов используется специальный chat format, а для вызова инструментов предусмотрен структурированный формат с описанием функций в JSON. Преимуществами являются открытая доступность, большой контекст, поддержка reasoning, генерации кода и function calling, а также наличие GGUF-формата, подходящего для локального inference. Ограничения зависят от аппаратной конфигурации и выбранной квантизации; в описанном CPU-сценарии на шести потоках загрузка занимала около 15 секунд, а inference был медленным и обрабатывал только один пользовательский запрос одновременно. Модель распространяется по лицензии MIT.

ZeroXClem-Qwen3-4B-NexusPrime — языковая модель, созданная командой ZeroXClem с помощью слияния нескольких дообученных моделей Qwen3-4B методом Model Stock в MergeKit. Это плотная авторегрессионная модель на 3,7 млрд параметров для генерации текста, диалога и технических задач; заявленное максимальное окно контекста — 40 960 токенов. Она объединяет направления программирования и пошаговых рассуждений, поэтому предназначена для генерации и объяснения кода, решения математических и логических задач, структурированных ответов и технической документации. В README заявлена многоязычная поддержка, включая более 20 языков у одного из компонентов слияния; метаданные карточки указывают английский язык. Модель опубликована в формате safetensors и работает с библиотекой Transformers; README рекомендует стандартный шаблон чата Qwen3. Лицензия — Apache-2.0. Карточка заявляет широкие возможности, однако не приводит независимых оценок качества; модель описана как неконтролируемая и может выдавать нежелательный контент, поэтому для чувствительных сценариев требуется проверка результатов.

Esper 3.1 — дообученная компанией Valiant Labs языковая модель для программирования, проектирования архитектуры и DevOps. Она основана на Qwen3-4B-Thinking-2507 и предназначена для диалогов, следования инструкциям и решения задач с рассуждением, в том числе сложных задач разработки и эксплуатации систем. Модель использует плотную архитектуру Qwen3ForCausalLM и содержит 3,7 млрд параметров. Она принимает и генерирует текст; заявленная длина контекста — 262 144 токена. В карточке указана поддержка английского языка. Модель дообучена на наборах данных с примерами рассуждений, программирования, DevOps и проектирования систем. Esper 3.1 подходит для генерации и анализа кода, помощи с облачной инфраструктурой и инструментами вроде Docker, Kubernetes, Terraform и Ansible, а также для обсуждения архитектуры и MLOps. Компактный размер позволяет запускать её локально и на серверах. Модель распространяется по лицензии Apache-2.0.

YTan2000/Qwen3.6-27B-TQ3_4S — сборка Qwen3.6-27B, опубликованная YTan2000 в формате GGUF с квантизацией TurboQuant TQ3_4S для локального запуска. В основе — мультимодальная причинная языковая модель с визуальным энкодером на 27 млрд параметров; архитектура семейства Qwen3.5 включает блоки Gated DeltaNet и Gated Attention. Исходная модель имеет контекст до 262 144 токенов, однако в README для конфигурации на GPU с 16 ГБ видеопамяти отмечено, что 32K и 64K помещаются, а 128K — нет. Модель предназначена для диалогов, задач программирования и рассуждений, а также работы с изображениями в поддерживающем это окружении. Файл весов занимает около 13 ГБ. Для нативной поддержки TQ3_4S нужен TurboQuant-совместимый рантайм, например форк llama.cpp tq3; README также сообщает, что для публичной сборки GGUF нет отдельного артефакта mmproj, поэтому возможности обработки изображений могут быть недоступны при таком способе запуска. Указана лицензия Apache-2.0.

Qwen 3.6 35B-A3B JANGTQ4 + CRACK — производная мультимодальная модель dealignai на основе Qwen/Qwen3-VL-30B-A3B-Thinking. Это модель Qwen с архитектурой MoE: 35 млрд параметров всего, около 3 млрд активных на токен, 256 маршрутизируемых экспертов и гибридным механизмом линейного и полноформатного внимания. Она принимает текст, изображения и видео и предназначена для диалога, визуального анализа, программирования, рассуждений и вызова инструментов. Веса сжаты форматом JANGTQ4 до 18 ГБ: маршрутизируемые эксперты используют 4-битное кодирование TurboQuant, а критичные компоненты сохраняют более высокую точность; зрительный блок работает в fp16. Режим рассуждений можно включать и отключать через шаблон чата. Заявленная длина контекста — 262 144 токена. Модель ориентирована на запуск через MLX на Apple Silicon и требует MLX Studio или jang-tools для поддержки JANGTQ. Вариант CRACK прошёл абляцию отказов на уровне весов и заметно реже отказывает в ответах на чувствительные запросы. По данным карточки, результаты MMLU-200 ниже базовой модели, особенно в математике; в режиме рассуждений иногда возможны циклические ответы на запросы с экстремальными отказами. Модель выпущена под лицензией Apache-2.0.

Qwen3.8-27B-UD-Q3_K_XL-DFlash2-MLX — это MLX-квантизация базовой модели Qwen/Qwen3.8-27B, подготовленная для локального запуска на компьютерах Apple Silicon. Модель разработана автором репозитория nathansutton и предназначена прежде всего для генерации текста, написания и анализа кода, а также работы в локальном coding-агенте chad, стилизованном под Claude Code. Модель поддерживает текстовый ввод и вывод; язык базовой модели и точный перечень поддерживаемых языков в README не указаны. Модель имеет плотную гибридную архитектуру Qwen3.8-27B с 27 млрд параметров, 64 слоями, включая 48 слоёв GatedDeltaNet и 16 слоёв полноформатного attention. Основная часть весов квантизирована до 3 бит с группами размера 64, эмбеддинги также имеют 3-битную квантизацию, а lm_head — 5-битную. Нативное контекстное окно составляет 262 тысячи токенов. Размер весов — около 12,1 ГБ, вместе с дополнительным drafter-модулем — около 13,3 ГБ; модель рассчитана на Apple Silicon с 24 ГБ памяти, но в таком режиме фактический доступный контекст обычно составляет десятки тысяч токенов. В комплект входит 1,9-миллиардный DFlash2 block drafter, который ускоряет авторегрессионную генерацию за счёт спекулятивного декодирования. Он квантизирован до 4 бит и предлагает блоки токенов, проверяемые целевой моделью с сохранением её распределения при семплировании. На M4 Pro с 24 ГБ памяти README сообщает ускорение примерно с 17,5 до 60,1 токена в секунду для жадной генерации и с 22,4 до 49–51 токена в секунду для режима с sampling; на длинных агентских контекстах прирост ниже. Ограничения включают зависимость от Apple Silicon и памяти, снижение эффективного контекста на устройствах с 24 ГБ, а также возможные расхождения жадной генерации с последовательным декодированием из-за различий вычислительных ядер. Целевые веса наследуют лицензию базовой модели Qwen3.8-27B, а содержимое каталога dflash — лицензию исходного релиза DFlash2. Перед использованием или распространением необходимо проверить условия обеих лицензий.

Qwen3.8-9B-Distill-MTPLX-Q6G64 — локальная MLX-версия модели empero-ai/Qwen3.8-9B-Distill, подготовленная pooyakn73 с использованием MTPLX для нативного multi-token prediction и speculative decoding на Apple Silicon. Это мультимодальная модель архитектуры Qwen3-Next с поддержкой текста и изображений, предназначенная для локальной генерации текста, программного кода и анализа изображений с ускоренным декодированием. Модель содержит около 9 млрд параметров, контекстное окно 262 144 токена и занимает около 8,7 ГБ на диске. Основная часть параметров квантизирована до 6 бит с group size 64 и affine-квантизацией, тогда как MTP draft head и vision tower сохранены в bf16. Такая конфигурация позволяет использовать speculative decoding без потери корректности, а на Apple M5 Pro демонстрирует до 74,9 токена в секунду при оптимальной глубине спекуляции 2. Vision tower восстановлен и сохранён, поскольку стандартный путь конвертации MLX мог его исключать. Сильные стороны модели — сочетание мультимодальности, большого контекстного окна, компактного размера и высокой скорости локального вывода на Apple Silicon. В тесте HumanEval она показала pass@1 81,10% при настройке reasoning effort xhigh, однако более крупные модели в приведённом сравнении достигли около 96% и выше, поэтому модель может уступать им в сложных задачах рассуждения и генерации кода. Указанные показатели скорости и качества зависят от оборудования, настроек декодирования и длины генерации. Модель распространяется по лицензии Apache-2.0.

Tess-2.0-Llama-3-8B — универсальная языковая модель с диалоговой настройкой, разработанная в серии Tess; вычислительные ресурсы для обучения предоставила KindoAI. Модель дообучена на базе meta-llama/Meta-Llama-3-8B и содержит около 7,5 млрд параметров. Она использует архитектуру LlamaForCausalLM, формат весов safetensors и шаблон диалога Llama 3 с контекстом до 8192 токенов. Модель предназначена для общения с пользователем, выполнения инструкций, генерации текста и помощи с задачами по программированию и общего назначения. Для настройки использовали около 100 тысяч примеров кода и общих задач из набора Tess-2.0; обучение длилось одну эпоху с низкой скоростью обучения, чтобы сохранить разнообразие ответов. Модель описана как малоограниченная и часто следующая инструкциям. Лицензия — Llama 3. Модель может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или другой неподходящий контент; важные сведения следует проверять.

CortexLM/Teutonic-1-Chat-Preview — экспериментальная чат-модель, разработанная CortexLM на базе текстовой линии Qwen3.5-9B. Модель предназначена для диалогов с поддержкой рассуждений, решения проверяемых математических и программных задач, работы с инструментами и обработки длинного контекста. Это предварительный снимок в процессе обучения, поэтому он не рекомендуется для production-сценариев. Модель использует гибридную архитектуру с linear attention и softmax attention, относится к классу примерно 9B параметров и поставляется с весами FP8 block-scaled e4m3 и конфигурацией квантования в стиле Qwen. Поддерживается текстовая модальность и английский язык. Заявлена вместимость контекста до 256 тысяч входных токенов благодаря RoPE с max_position_embeddings 262144. Шаблон чата поддерживает опциональные блоки рассуждений <think>…</think> и разметку вызова инструментов. Сильные стороны текущего checkpoint — извлечение информации из длинного контекста, включая внутренние тесты с одним ключевым фрагментом на 128k и 256k токенах, а также математические задачи и сохранение качества чата. Ограничения связаны с экспериментальным статусом: обучение продолжается, стабильная генерация ответов длиной 64k ещё не завершена, более сложные многоключевые и многошаговые задачи длинного контекста требуют доработки, а мультимодальность запланирована на будущее. Модель распространяется по лицензии Apache-2.0.

InternScience/Agents-A1-4B-Q4_K_M-GGUF — квантизированная версия плотной языковой модели Agents-A1-4B, разработанная командой InternScience. Модель предназначена для агентных сценариев с длинной последовательностью действий: поиска, инженерных и научных задач, следования сложным инструкциям, профессионального вопросно-ответного взаимодействия и вызова внешних инструментов. Она поддерживает планирование, разбиение сложных задач на шаги, адаптацию по промежуточным результатам, function calling и интеграцию с API, интерпретаторами кода и поисковыми системами. Модель содержит около 4 миллиардов параметров и распространяется в формате GGUF с квантизацией Q4_K_M, что снижает требования к памяти и делает её подходящей для локального запуска. В карточке указаны теги vision и vlm, однако подробные сведения о поддерживаемых визуальных модальностях, языках и размере контекстного окна отсутствуют. По заявленным результатам Agents-A1-4B показывает высокую эффективность на BrowseComp, XBench-DS-2510, GAIA, FrontierScience-Research и IFEval, конкурируя с более крупными моделями при меньшем числе параметров. Ограничения модели включают неизвестные из README языковые и мультимодальные возможности, а также отсутствие подробностей о требованиях к оборудованию и точных условиях применения квантизированной сборки. Модель и её базовые компоненты распространяются по лицензии Apache-2.0; формат совместим с экосистемой GGUF и предназначен для использования с соответствующими локальными средствами инференса.

Dans-PersonalityEngine-V1.3.0-24b — языковая модель PocketDoc, дообученная на базе mistralai/Mistral-Small-3.1-24B-Base-2503. Это плотная авторегрессионная модель семейства Mistral с 23,4 млрд параметров, рассчитанная на генерацию текста и диалог в формате DanChat-2. Контекстное окно составляет 131 072 токена; автор указывает, что при длине свыше 32 768 токенов качество извлечения информации снижается. Модель предназначена для ролевых диалогов, совместного написания прозы и историй, генерации кода, вызова инструментов и решения сложных задач. Она дообучалась на более чем 50 специализированных наборах данных; основной язык — английский, также заявлена поддержка арабского, китайского, французского, немецкого, хинди, японского, корейского, португальского и испанского. В метаданных среди возможностей отмечены чат и код. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Автор сообщает о тренировке с помощью Axolotl на восьми GPU H100 в течение 50 часов. Качество ожидается наивысшим для английского языка; для контекста длиннее 32 768 токенов автор предупреждает о снижении точности извлечения информации.

DistilGPT-OSS-qwen3-4B — созданная сообществом дообученная языковая модель на базе Qwen/Qwen3-4B-Thinking-2507. Она предназначена для диалогового помощника, генерации и объяснения кода, математических задач, кратких пересказов и повседневных запросов, в том числе локального использования. Обучение на ответах с рассуждениями GPT-OSS должно улучшить следование инструкциям и позволяет задавать уровень рассуждений low, medium или high через системный промпт. Модель плотная, содержит 3,7 млрд параметров, принимает и генерирует текст; заявленный контекст — до 262 144 токенов, а при высоком уровне рассуждений модель может использовать до 65 536 токенов на рассуждение. Модель выпущена в формате bf16 Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Разработчик отмечает, что это независимый проект сообщества, не связанный с Alibaba или OpenAI. По заявлению автора, модель менее ограничительна, чем исходная GPT-OSS, и сохраняет safety training; она ориентирована на производительность и более разговорный стиль ответов. Размер модели ограничивает её общие знания, а ответы могут содержать ошибки: автор не рекомендует полагаться на неё в медицинских, юридических и других высокорисковых задачах.

Это GGUF-квантизированная версия модели dolphin-2.9.2-Phi-3-Medium-abliterated, разработанной cognitivecomputations и подготовленной пользователем legraphista. Модель основана на Phi-3 Medium, распространяется для генерации текста и ориентирована на диалоговые, инструкционные, математические, кодовые и агентские сценарии. В обучении исходной модели использовались, в частности, наборы Dolphin-2.9.2, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, Orca Math и Agent-FLAN. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты. Репозиторий предоставляет файлы в форматах BF16, FP16 и различных вариантах квантования GGUF: от Q8_0 и Q6_K до Q2_K, включая варианты с применением IMatrix. Размер доступных файлов составляет примерно от 5,20 до 27,92 ГБ. Указан английский язык; сведения о других языках, точном числе параметров, архитектурных деталях и размере контекста в README отсутствуют. К сильным сторонам относятся широкий выбор уровней квантования, возможность подобрать баланс между качеством и требованиями к памяти, а также использование IMatrix в ряде компактных вариантов. Ограничения включают зависимость характеристик от выбранного файла квантования и отсутствие в предоставленных данных результатов бенчмарков или подробной оценки качества. Модель и её варианты распространяются по лицензии MIT.

Dolphin 3.0 Qwen 2.5 3B — инструктивно настроенная языковая модель от Eric Hartford, Ben Gitter, BlouseJury и Cognitive Computations, созданная на базе Qwen/Qwen2.5-3B. Это плотная авторегрессионная модель с 3,1 млрд параметров, контекстом до 32 768 токенов и шаблоном диалога ChatML. Репозиторий содержит веса в формате safetensors. Модель предназначена для локального применения в качестве универсального помощника: она генерирует текст, помогает с программированием и математикой, поддерживает сценарии работы с агентами и вызова функций. Поведение можно настраивать системным промптом, включая тон и правила ответа. В обучающих данных использованы наборы для программирования, математики, инструкций, диалогов и вызова функций; в метаданных указан английский язык. Модель рассчитана на владельцев приложений, которым нужны локальный запуск и контроль над системным промптом и данными. Для запуска можно использовать Transformers, Ollama, LM Studio, vLLM, SGLang или TGI. Лицензия обозначена в метаданных как other; конкретные условия следует проверять на странице модели. Карточка не содержит результатов оценивания качества, поэтому пригодность для конкретных задач нужно проверять отдельно.

Fireball-Meta-Llama-3.1-8B-Instruct-Agent-0.003-128K-code-ds-auto-GGUF — это GGUF-квантизация инструкционной языковой модели Fireball-Meta-Llama-3.1-8B-Instruct-Agent-0.003-128K-code-ds-auto, разработанной EpistemeAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, работы с инструкциями и задач, связанных с программным кодом; запуск возможен, в частности, через LM Studio. В README указан английский язык и лицензия Apache-2.0. Модель основана на архитектуре Meta Llama 3.1 с размером 8B параметров и заявленным контекстом 128K токенов. Репозиторий содержит варианты от исходных весов F16 размером 16,07 ГБ до квантизаций Q8_0, Q6_K_L, Q6_K, Q5_K_L и других, что позволяет выбирать баланс между качеством и требованиями к памяти. Варианты Q6_K и Q6_K_L отмечены как рекомендуемые и обеспечивающие очень высокое качество. Поддерживается только текстовая модальность. Сильными сторонами являются большой контекст, инструкционная настройка, специализация исходной модели на агентских и кодовых сценариях, а также широкий выбор GGUF-квантизаций для локального запуска. Ограничения включают зависимость качества и требований к ресурсам от выбранного уровня квантизации; приведённые результаты бенчмарков показывают неоднородную производительность на задачах рассуждения, математики и общих знаний. README не содержит подробностей о методике обучения и дополнительных языках.

unsloth/GLM-4.7-Flash-NVFP4 — это версия модели GLM-4.7-Flash, подготовленная Unsloth в формате квантования NVFP4. Исходную модель разработала команда GLM компании Z.ai. Она предназначена для генерации текста, диалоговых приложений, программирования, решения задач рассуждения и агентских сценариев, где важны сочетание производительности и эффективности локального развертывания. Модель имеет MoE-архитектуру с заявленным размером 30B-A3B: 30 миллиардов параметров при активации примерно 3 миллиардов на отдельный запрос. В карточке указаны английский и китайский языки, поддержка библиотеки Transformers и запуск через vLLM или SGLang. Длина контекста и другие архитектурные характеристики не указаны. Мультимодальные возможности для этой версии не заявлены; в карточке она описана как text-generation модель. К сильным сторонам относятся компактная вычислительная нагрузка для класса 30B, возможность эффективного инференса на совместимом оборудовании и высокие результаты, заявленные для ряда тестов, включая AIME 25, GPQA, SWE-bench Verified и τ²-Bench. Ограничения связаны с использованием NVFP4-квантизации, требованиями к актуальным версиям программного обеспечения и поддержке соответствующих ядер; для запуска рекомендуются современные версии vLLM и специализированные компоненты NVIDIA. Карточка также предупреждает, что backend Marlin работает примерно вдвое медленнее. Лицензия модели указана как MIT. В карточке не приведены данные о длине контекста, требованиях к видеопамяти, качестве на русском языке и влиянии NVFP4-квантизации на точность, поэтому эти характеристики нельзя оценить по имеющейся информации.

Akicou/GLM-4.7-Flash-REAP-50 — сжатая версия GLM-4.7-Flash, созданная с помощью REAP (Router-weighted Expert Activation Pruning) от Cerebras. Из модели удалена примерно половина экспертов; README указывает 4,1 млрд параметров, а архитектура в метаданных обозначена как GLM4 MoE Lite с классом Glm4MoeLiteForCausalLM. Модель предназначена для генерации текста, особенно кода, вызова функций и агентных сценариев. Она поддерживает контекст до 202 752 токенов и рассчитана прежде всего на английский язык. Модель можно запускать через Transformers, vLLM и SGLang; указана лицензия MIT. README сообщает, что сжатие выполнено без дообучения, поэтому классификация происхождения как fine-tune в метаданных расходится с описанным методом pruning. Для GGUF-файлов автор отмечает проблему совместимости с llama.cpp и их повторную генерацию; метаданные указывают формат safetensors.

GLM-5.3-Flash — мультимодальная модель семейства GLM, разработанная Z.ai. Репозиторий unsloth содержит дообученную версию базовой модели zai-org/GLM-5.3-Flash-BF16 и распространяет веса в формате safetensors; заявлена лицензия MIT. Модель предназначена для диалогов и генерации текста, включая программирование и агентные сценарии. Архитектура GLM-5 Next сочетает разреженное и линейное внимание; в README указаны 320 млрд параметров всего и 18 млрд активных параметров. Разработчик также описывает мультимодальное предварительное обучение и улучшенную эффективность при работе с длинным контекстом, но точная длина контекста этой копии не приведена. Карточка базовой модели характеризует её как мультимодальную и поддерживающую анализ изображений, однако метаданные этого репозитория указывают в качестве задачи только text-generation. Поэтому назначение копии как модели для обработки изображений отдельно не подтверждено. Языковые теги карточки — английский и китайский. Практическое развёртывание требует соответствующей инфраструктуры для модели такого масштаба; в README перечислены SGLang, vLLM, TokenSpeed и KTransformers.

Hercules-2.0-Mistral-7B — языковая модель на архитектуре Mistral, разработанная Locutusque и дообученная на базе Mistralai/Mistral-7B-v0.1. Она предназначена для выполнения инструкций, диалогов и вызова функций в научных и технических темах, включая биологию, химию, физику, математику, медицину и информатику. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. В карточке заявлены возможности генерации кода и вызова функций. Модель подходит для специализированных чат-ботов, учебных помощников, ответов на технические вопросы и генерации кода. Она распространяется в формате safetensors по лицензии Apache-2.0. Возможны фактические ошибки и галлюцинации, в том числе в специализированных областях; обучающие данные могут содержать токсичные примеры и предубеждения.