II.4Отладка, тестирование и качество ПО

SuperGemma4-26B-Uncensored-Fast GGUF v2 — локальная GGUF-сборка, опубликованная пользователем Jiunsong и основанная на google/gemma-4-26B-A4B-it. Модель предназначена для диалогов, генерации текста, программирования и сценариев с использованием инструментов. Она позиционируется как менее ограниченная по сравнению со стандартными чат-релизами Gemma, но сохраняет естественное поведение в обычных запросах и не переводит их автоматически в режим программирования или вызова инструментов. Модель использует формат GGUF Q4_K_M и рассчитана на запуск через llama.cpp, в частности на компьютерах Apple Silicon. В README указано, что это MoE-модель, а экспорт выполнен из линии supergemma4-26b-uncensored-fast-v2 MLX. Заявлена поддержка английского и корейского языков; отдельно отмечена проверка на корейских запросах и задачах программирования. Размер контекста и точные параметры активной части модели не указаны. К сильным сторонам относятся компактный локальный формат, высокая скорость работы на Apple M4 Max, улучшения относительно исходной локальной базовой версии в коде, логике, браузерных сценариях и корейском языке, а также встроенный нейтральный шаблон чата, устраняющий известную проблему маршрутизации простых запросов в режим кода или вызова инструментов. Ограничения включают зависимость качества и скорости от оборудования и llama.cpp, квантизацию Q4_K_M и отсутствие в README подробных результатов независимого тестирования. Модель распространяется по лицензии Gemma.

jondurbin/airoboros-33b-2.1 — плотная авторегрессионная модель семейства LLaMA с 32,3 млрд параметров, дообученная разработчиком jondurbin на синтетических инструкционных данных airoboros. Она предназначена для диалогов и выполнения текстовых инструкций: отвечает на вопросы по предоставленному контексту, помогает с программированием и планированием, пишет художественные тексты и продолжения глав, а также поддерживает ролевые диалоги с заданными персонажами. В обучающие данные включены примеры генерации JSON и YAML для вызова функций. Модель принимает текст и генерирует текст. Для неё заявлено контекстное окно 4096 токенов, увеличенное с помощью RoPE scaling; автор отмечает, что обучающих данных для такой длины было немного. Рекомендуемый шаблон запроса использует префикс системного сообщения, роли USER и ASSISTANT; при генерации диалога полезно останавливать вывод на следующем маркере USER, иначе модель может продолжить имитировать разговор. Модель экспериментальная, а результаты могут зависеть от точного шаблона промпта. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

airoboros-m-7b-3.0 — экспериментальная универсальная языковая модель, созданная jondurbin на основе датасета airoboros-3.0, преимущественно синтетических данных. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; она принимает текст и выдаёт текст. Модель рассчитана прежде всего на следование инструкциям, ответы по заданному контексту и многошаговый диалог, а не на непринуждённую беседу. Среди заявленных сценариев — суммаризация, помощь с программированием, генерация структурированных аргументов функций и составление планов выполнения задач с инструментами. Для математических вопросов описан экспериментальный подход MathJSON: модель формулирует выражение, которое можно вычислить внешним средством. В карточке также отмечены данные для многоходового ролевого диалога. Для формата диалога используется шаблон Llama 2 chat. Модель выпущена под лицензией Apache-2.0. Автор характеризует её как экспериментальную; для MathJSON требуется внешний вычислитель, а сам подход описан как неполный. Карточка рекомендует низкую температуру генерации; ответы по контексту могут быть ненадёжны, поэтому следует явно просить модель не выдумывать сведения.

Baichuan2-7B-Chat — разработанная Baichuan Intelligence чат-модель семейства Baichuan 2 с плотной архитектурой BaichuanForCausalLM и 7 млрд параметров. Семейство обучено на 2,6 трлн токенов; модель предназначена для диалога и генерации текста на китайском и английском языках. Её проверяли на задачах общего назначения, права, медицины, математики, программирования и многоязычного перевода. Модель принимает текст и генерирует текст, а её контекст ограничен 4096 токенами. Для запуска требуется PyTorch 2.0 или новее. Карточка описывает поддержку академических исследований; коммерческое использование требует предварительной заявки и получения лицензии Baichuan, с указанными в соглашении ограничениями. Возможны ошибки и небезопасные ответы; разработчик предупреждает о необходимости соблюдать требования к проверке и регистрации интернет-сервисов.

Solstice-AI/DeepSeek-V4-Flash-Vision-Exp-NVFP4 — мультимодальная модель для задач image-text-to-text, разработанная Solstice-AI на основе экспериментальной модели DeepSeek-V4-Flash-Vision-Exp от DeepSeek. Она предназначена для анализа изображений и текста, визуального контроля качества, распознавания объектов и текста на изображениях, а также текстовой генерации и многошагового рассуждения в сценариях, требующих большого контекста. Модель имеет архитектуру MoE с 305 млрд параметров, 256 маршрутизируемыми экспертами и примерно 13 млрд активируемых параметров на токен; заявлено 43 слоя. Контекстное окно составляет 1 048 576 токенов, используется native YaRN. Зрительная часть включает 32-слойный Vision Transformer и работает в формате BF16. Эксперты квантизированы в SafeTensors NVFP4: W4A4, group size 16, с block-scale calibration. Ключевая особенность — bit-exact транскодирование MXFP4 в NVFP4 без заявленной потери точности. Модель оптимизирована для NVIDIA Blackwell, включая B200, GB200, DGX Spark и RTX 5090, а также для vLLM и TensorRT-LLM. Согласно README, к сильным сторонам относятся сохранение качества базовой модели на GSM8K, тестах извлечения данных из длинного контекста и мультимодальном visual question answering; для vision QA заявлены точное совпадение ответов и время до первого токена менее 50 мс. Ограничения связаны с экспериментальным статусом, специализированной поддержкой оборудования NVIDIA Blackwell и зависимостью от совместимых inference-движков. Модель распространяется по лицензии MIT; упаковка и сопровождение выполнены Solstice-AI, а квантизационный pipeline создан с использованием NVIDIA TensorRT ModelOpt.

Dolphin-Llama2-7b — языковая модель команды Dolphin, обучение которой спонсировала preemo. Это дообученная плотная модель семейства Llama 2 с 6,6 млрд параметров и контекстом до 4096 токенов. Она принимает текстовые инструкции и генерирует текст; для диалога используется формат промпта, похожий на Vicuna, с полями SYSTEM, USER и ASSISTANT. Модель предназначена для ответов на инструкции, диалога и выполнения широкого круга текстовых задач. При дообучении использовался открытый вариант данных Orca: инструкции FLANv2 с ответами GPT-3.5 и GPT-4; авторы сообщают о фильтрации отказов и ограничений, поэтому модель может отвечать на запросы, от которых другие модели откажутся. Это повышает риск нежелательных или вредоносных ответов; автор рекомендует добавить собственный слой выравнивания перед предоставлением модели пользователям. В карточке указана лицензия Llama 2, допускающая коммерческое и некоммерческое применение с соблюдением её условий.

Gevva e2b Multimodal — мультимодальная модель-классификатор, созданная Дэйвом Бёрхансом и дообученная на основе google/gemma-4-E2B-it. Она предназначена для быстрых решений по тексту и изображениям: проверки утверждений по источникам, выявления галлюцинаций, маршрутизации запросов к инструментам и проверки того, подтверждают ли диаграммы, таблицы или документы заданное утверждение. В README заявлена обработка контекста до 128 000 токенов, задержка около 15 мс на GPU и около 147 мс на обычном CPU; модель распространяется в формате safetensors и рассчитана на использование через Transformers. Модель поддерживает английский, французский, испанский, немецкий, китайский, арабский, хинди, русский, суахили и вьетнамский языки. README также описывает применение для проверки ответов учащихся по эталону. Заявления о лидерстве на JevBench, скорости и точности приведены авторами модели и зависят от условий измерений. Лицензия — Apache 2.0.

noctrex/GLM-4.7-Flash-MXFP4_MOE-GGUF — квантизированная версия диалоговой MoE-модели GLM-4.7-Flash от Z.ai, представленная в формате GGUF. Репозиторий содержит вариант квантования MXFP4_MOE. Модель предназначена для диалоговой генерации текста. Базовая GLM-4.7-Flash также описана как модель для рассуждений и программирования; для общего чата README приводит рекомендуемые параметры генерации. Указан интерфейс чата и рекомендации для вызова инструментов. Квантование может снизить требования к памяти при запуске, но карточка не сообщает о замерах качества или скорости именно этой версии. Лицензия и сведения о размере и длине контекста в предоставленных данных отсутствуют.

Карточка модели dedsecisback2026/Hermes на Hugging Face совпадает с карточкой mlabonne/Hermes-3-Llama-3.1-8B-lorablated, поэтому описание составлено по ней. Hermes-3-Llama-3.1-8B-lorablated — диалоговая модель на архитектуре Llama 3.1, опубликованная mlabonne. Это версия NousResearch/Hermes-3-Llama-3.1-8B, изменённая методом abliteration: к ней применили LoRA-адаптер, полученный сравнением вариантов Llama 3.1, а затем объединили веса методом task arithmetic. Модель содержит 7,5 млрд параметров, принимает текст и предназначена для генерации ответов в диалоге; заявленный контекст — до 131 072 токенов. Вариант lorablated рассчитан на ответы на запросы, от которых исходная Hermes 3 могла отказаться, включая допустимые запросы, которые она ошибочно отклоняет. Как и базовая модель, она подходит для инструкций, рассуждений и генерации кода. README называет модель uncensored, поэтому её ответы могут включать контент, который базовая модель отфильтровала бы. Лицензия в предоставленных данных не указана.

TelperionAI/Huihui-Qwen3.8-27B-abliterated-NVFP4 — это 27-миллиардная смешанно-квантизованная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, подготовленная с помощью llm-compressor. Основные MLP-слои используют NVFP4, часть модулей — FP8, а эмбеддинги, нормализации, vision tower и MTP-голова сохранены в BF16. Размер модели составляет около 24,7 ГБ. Для нативного NVFP4 требуется GPU архитектуры Blackwell; запуск ориентирован на vLLM и поддерживает tensor parallelism. Максимальный размер контекста в README не указан. Модель предназначена для высокопроизводительной генерации текста, включая программирование, математику, STEM, диалоги и мультиязычные сценарии. В комплекте присутствует MTP-голова для speculative decoding, однако её acceptance rate не измерен. На Blackwell заявлена существенно более высокая скорость декодирования по сравнению с INT4-сборкой, но с большей потерей точности относительно BF16-версии. Оценка проводилась только на одном корпусе и без downstream-бенчмарков; vision tower не квантизован, а модель тестировалась преимущественно как текстовая. Базовая модель была подвергнута abliteration: upstream из неё удалены направления, связанные с отказами, и это поведение наследуется данной версией. Модель распространяется по лицензии Apache-2.0.

LLaDA-MoE-7B-A1B-Base — базовая предварительно обученная языковая модель от InclusionAI, построенная как диффузионная модель языка с архитектурой Mixture-of-Experts. Это версия для исследований и дальнейшей разработки, в том числе для дообучения под конкретные сценарии. Модель обучена с нуля примерно на 20 трлн токенов; всего в ней около 7 млрд параметров, из которых при генерации активируется около 1,4 млрд. Архитектура включает 16 слоёв, использует RoPE и словарь из 157 184 токенов. Модель предназначена для генерации текста и может служить основой для задач программирования, математических рассуждений и сценариев с вызовом инструментов. Метаданные указывают контекст до 8 192 токенов; в README приведена длина контекста 4 096 токенов. Карточка не сообщает, на каких естественных языках модель обучена или проверена. Для работы указана библиотека Transformers; README также рекомендует dInfer для ускоренного инференса. Модель распространяется по лицензии Apache-2.0. Это базовый чекпойнт, поэтому для диалоговых и прикладных сценариев может потребоваться дообучение и подходящая обвязка; заявления о производительности и качестве приведены разработчиком и не сопровождаются здесь независимой проверкой.

mistral-7b-neuralhermes-2.5-dpo — разговорная модель семейства Mistral, созданная CorticalStack дообучением teknium/OpenHermes-2.5-Mistral-7B методом DPO на наборе Intel/orca_dpo_pairs. Она предназначена для диалогов и генерации ответов на текстовые запросы; метаданные также отмечают возможность общения в формате чата. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. В карточке указаны параметры LoRA: r=16, alpha=16 и dropout=0,05. Модель распространяется по лицензии Apache-2.0. README не описывает отдельные специализированные области применения или подтверждённые языки.

MyAwesomeModel — модель из репозитория dfdgdg333/MyAwesomeModel-TestRepo, доступная через библиотеку Transformers. В метаданных Hugging Face она классифицирована как модель для извлечения признаков и связана с архитектурой BERT; README при этом описывает обновлённую версию как модель с улучшенными рассуждениями, пониманием текста, генерацией кода и диалогами. Согласно README, модель предназначена для сложных задач рассуждения, математических и логических задач, ответов на вопросы, классификации текста, анализа тональности, суммаризации, перевода, генерации кода и диалогов. Также заявлены поддержка системного промпта, function calling, загрузки файлов и генерации с использованием результатов веб-поиска. Для запуска рекомендуется температура 0,6. К сильным сторонам относятся заявленные улучшения рассуждений, снижение частоты галлюцинаций и широкие результаты на бенчмарках, включая математику, программирование и понимание языка. Однако метаданные указывают pipeline-задачу feature-extraction, а README не содержит надёжных сведений о размере модели, длине контекста, поддерживаемых естественных языках или точной конфигурации архитектуры. Модель распространяется по лицензии MIT.

cortexso/phi-4-reasoning — текстовая генеративная модель семейства Phi-4-reasoning, разработанная Microsoft Research и преобразованная Menlo Research для распространения в формате GGUF через Cortex и Jan. Модель ориентирована на рассуждения по шагам, решение математических задач, ответы на научные вопросы и выполнение инструкций. Для основной ветки phi-4-reasoning заявлен размер 14 млрд параметров. Доступны квантизованные варианты GGUF от q2_k до q8_0, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью инференса. В README также упоминаются шаблоны ChatML и поддержка расширенного контекста, однако его точная длина не указана. Данных о перечне языков и мультимодальных возможностях нет; по заявленному pipeline_tag модель предназначена для генерации текста. Сильными сторонами модели являются специализация на логическом и математическом рассуждении, следовании инструкциям и возможность эффективного запуска в средах с ограничениями по памяти и задержке благодаря компактному размеру и квантизации. Ограничения включают отсутствие в представленных данных точных результатов бенчмарков, перечня поддерживаемых языков и значения контекстного окна. Модель распространяется по лицензии MIT.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая мультимодальная fine-tune-модель на базе Qwen3.6-27B, опубликованная nostrbuild при участии нескольких разработчиков и команд, включая DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh. Модель распространяется в формате GGUF, включая обычные и MTP-варианты с NEO IMATRIX-квантованием, и предназначена для запуска на потребительском оборудовании. В описании заявлены улучшенное следование инструкциям, решение задач, рассуждение и общее повышение интеллектуальных возможностей. Модель рассчитана на широкий круг сценариев, включая программирование, диалоги, анализ, творческое письмо и roleplaying, хотя специально не оптимизировалась только под творчество. Также заявлена поддержка vision. Указанные языки — английский и китайский. Размер базовой модели — 27B параметров; точное архитектурное устройство и размер контекстного окна в README не приведены. Доступны кванты с разрядностью 4 и 8 бит, а также варианты MTP для многотокенного предсказания. Для MTP рекомендуется температура не выше 1 и отключённая repetition penalty; при низкой доле принятия токенов следует использовать обычный квант. Автор заявляет превосходство над базовой Qwen3.6-27B в шести из семи тестов и сопоставимый результат в седьмом, однако эти результаты приведены без независимой проверки. Сильными сторонами заявлены instruction following, reasoning, problem solving, сохранение возможностей базовой модели, поддержка vision и хорошее качество даже у низкоразрядных квантов. Ограничения включают зависимость качества и производительности от выбранного кванта и настроек MTP, а также заявленный uncensored/heretic-профиль, который может означать ослабленные ограничения безопасности. Модель распространяется по лицензии Apache-2.0.

Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

Qybera2.5-0 — компактный диалоговый ассистент Stackpulse Cloud на базе причинной языковой модели Qwen2, дообученной следовать инструкциям. Модель содержит 494 млн параметров, принимает текст и выдаёт текст; контекст — до 32 768 токенов. В репозитории указаны веса Safetensors и библиотека Transformers. Модель предназначена для общего чата, выполнения инструкций, суммаризации, объяснения кода, локального запуска на маломощных устройствах и недорогой маршрутизации API. В карточке заявлена многоязычная поддержка с сильными сторонами в английском и китайском языках. Лицензия — Apache 2.0. Компактный размер подходит для сценариев с ограниченными ресурсами, однако модель может ошибаться и воспроизводить смещения данных обучения. Карточка не рекомендует полагаться на неё в сложных многошаговых математических задачах, продвинутых агентных сценариях и создании длинной художественной прозы без дополнительного руководства; важные ответы следует проверять.

SDLM-3B-D8 — диффузионная языковая модель семейства SDLM, разработанная OpenGVLab на основе Qwen2.5-3B. Это дообученная модель с плотной архитектурой Qwen2, примерно 3,1 млрд параметров и контекстом до 32 768 токенов; она доступна в формате Safetensors и рассчитана на генерацию текста и диалоговое использование на английском языке. Модель применяет последовательное блочное маскирование и декодирование по самому длинному уверенному префиксу, чтобы предсказывать несколько токенов за шаг. В отчёте авторов заявлены примерно двукратное ускорение относительно сопоставимых авторегрессионных моделей при близком качестве и до пятикратного ускорения относительно других диффузионных языковых моделей; скорость можно настраивать порогом уверенности. Обучение включает математические, кодовые, научные, табличные и общие диалоговые данные, что делает модель пригодной для генерации ответов, решения задач и написания кода. Лицензия — Apache-2.0.

TallGemma-Raw — объединённая языковая модель на архитектуре Gemma, созданная автором репозитория с помощью mergekit из google/gemma-2b, google/gemma-1.1-2b-it и google/codegemma-2b. Модель предназначена для генерации текста; в метаданных указаны 6,5 млрд параметров и контекст до 8192 токенов. Объединение включает базовую Gemma, инструкционную Gemma 1.1 и CodeGemma, поэтому модель может быть полезна для генерации обычного текста, диалоговых ответов и кода. Карточка не приводит отдельных оценок качества или результатов тестирования, поэтому пригодность для конкретных задач стоит проверять на собственных примерах. В репозитории указаны веса safetensors и библиотека Transformers. Лицензия в предоставленных данных не указана.

airoboros-7b-gpt4 — дообученная модель семейства LLaMA с 6,6 млрд параметров, созданная Jondurbin на синтетических обучающих данных, сгенерированных GPT-4. Она предназначена для диалоговой генерации текста и отвечает на вопросы по заданному контексту, а также решает задачи на эрудицию, математику и рассуждение, программирование, тесты с выбором ответа, заполнение пропусков и общие темы. Для общения используется шаблон Vicuna; максимальная длина контекста по метаданным — 4096 токенов. Модель обучена следовать предоставленному контексту и ограничивать ответы его содержимым, чтобы уменьшить галлюцинации. Автор отмечает, что качество математических рассуждений ограничено, а результаты примеров для версии 13B могут отличаться от версии 7B. Модель распространяется под лицензией CC BY-NC 4.0, допускающей использование с указанием авторства, но запрещающей коммерческое использование.

BitNet b1.58 2B4T — языковая модель для генерации текста, разработанная Microsoft Research. Она предназначена для диалоговых сценариев, следования инструкциям и работы с текстом и кодом. Модель обучена на 4 триллионах токенов и содержит около 2 миллиардов параметров; заявленный язык — английский. Модель построена на архитектуре Transformer с модифицированными BitLinear-слоями, RoPE, активацией ReLU² в FFN и нормализацией subln. Она обучена с нуля с использованием нативной схемы квантования W1.58A8: веса принимают тернарные значения {-1, 0, +1}, а активации квантуются до 8 бит. Максимальная длина контекста составляет 4096 токенов, используется токенизатор LLaMA 3 с размером словаря 128 256 токенов. Обучение включало предварительное обучение, supervised fine-tuning и DPO. Ключевое преимущество модели — потенциальное снижение требований к памяти, энергопотреблению и задержке благодаря нативным 1,58-битным весам. Однако эти преимущества раскрываются только при использовании специализированной реализации bitnet.cpp; стандартный запуск через transformers не обеспечивает ожидаемого прироста эффективности и может быть сопоставим по скорости и энергопотреблению с полноточными моделями. Представленная BF16-версия предназначена главным образом для обучения и дообучения, а не для развертывания. Модель распространяется по лицензии MIT.

mobiuslabsgmbh/DeepSeek-R1-ReDistill-Llama3-8B-v1.1 — повторно дистиллированная версия DeepSeek-R1-Distill-Llama3-8B, разработанная Mobius Labs. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она предназначена для генерации текста и диалоговых сценариев; заявленная длина контекста — 131 072 токена. В сравнении с исходной DeepSeek-R1-Distill-Llama3-8B карточка приводит улучшенные результаты на ARC, MMLU, GPQA, MMLU PRO и MUSR, при этом на HellaSwag результат немного ниже. Модель подходит для задач рассуждения, ответов на вопросы и других сценариев генерации текста. В репозитории доступны веса safetensors. Лицензия — MIT. В README также упоминается возможность ускорения инференса с HQQ; приведённые в карточке сравнительные результаты не заменяют независимую оценку на целевых данных.

DeepSeek-V4-Flash-0731 REAP K160 — экспериментальный производный чекпойнт модели DeepSeek-V4-Flash-0731 от DeepSeek, созданный пользователем 0xSero с применением метода REAP. Модель предназначена для исследовательского использования и инференса в условиях ограниченной памяти, включая генерацию текста, программирование, рассуждения, вызов инструментов и агентские сценарии. Это неофициальный релиз DeepSeek. Модель использует архитектуру Mixture-of-Experts: в каждом MoE-уровне сохранено 160 из 256 маршрутизируемых экспертов, то есть удалено 37,5% экспертов, при этом маршрутизация top-6, общие эксперты, attention, embeddings, output head, mHC, compressor и indexer tensors сохранены. В backbone предусмотрено 43 MoE-слоя, а также 3 DSpark MTP-блока. Заявлены английский и китайский языки. Контекст проверен на конфигурации 8192 токенов, однако полные характеристики контекста в README не указаны. Чекпойнт содержит 48 шардов Safetensors и около 107,8 млрд байт данных. К сильным сторонам относятся существенное сокращение числа экспертов и требований к памяти, структурная валидация всех тензоров и успешная базовая проверка генерации и программирования. Ограничения включают экспериментальный статус, возможное снижение качества из-за агрессивного pruning, отсутствие свежего наблюдения для весов версии 0731, отсутствие подтверждения паритета с исходной моделью по бенчмаркам и отдельную необходимость проверки совместимости DSpark MTP. Для запуска требуется DeepSeek-V4-совместимый runtime; generic Transformers может не поддерживать необходимые MXFP4, sparse-attention, tokenizer и DSpark MTP-компоненты. Производная распространяется по лицензии MIT.

SanctumAI/gemma-2-9b-it-GGUF — квантизированная GGUF-версия Gemma 2 9B IT, разработанной Google и подготовленной SanctumAI. Это текстовая decoder-only языковая модель с instruction tuning, предназначенная для генерации текста, диалогов, ответов на вопросы, суммирования и задач, требующих рассуждений. Модель работает с текстом и, согласно README, доступна на английском языке. Модель содержит около 9 млрд параметров. Доступны варианты квантизации Q2_K–Q8_0, а также f16; размер файлов составляет примерно от 3,81 до 18,49 ГБ, а оценочная потребность в RAM или VRAM — от 15,14 до 28,82 ГБ в зависимости от варианта. Квантизация позволяет запускать модель на ноутбуке, настольном компьютере или собственной облачной инфраструктуре при выборе подходящего формата, но более компактные варианты могут уступать по качеству менее квантизированным. Модель распространяется по лицензии Gemma. Для корректного диалога следует использовать шаблон Gemma с маркерами начала и конца хода пользователя и модели. README не указывает размер контекстного окна, мультимодальные возможности или поддержку языков помимо английского; также конкретные ограничения качества не описаны. Как и другие языковые модели, она может генерировать неточный, вредный или неподходящий контент, поэтому результаты требуют проверки.

InternLM2-Base-7B — базовая плотная авторегрессионная языковая модель семейства InternLM2, разработанная командой InternLM. Она содержит 7,4 млрд параметров и предназначена для генерации и продолжения текста, а также служит отправной точкой для дообучения под конкретные области и задачи. Модель принимает текст и поддерживает контекст до 32 768 токенов. Разработчики сообщают об улучшениях в рассуждениях, математике и программировании относительно предыдущего поколения, а также о результатах на длинных текстах; заявленная в README способность обрабатывать до 200 000 символов не совпадает с контекстным пределом из метаданных. Карточка приводит результаты оценок OpenCompass и предупреждает, что ответы могут содержать предвзятые или вредоносные сведения. Код распространяется по Apache-2.0. Для весов указано открытое использование в академических исследованиях; для коммерческого применения требуется получить бесплатное разрешение.

Jan-v3-4B-base-instruct-gguf — компактная каузальная языковая модель примерно на 4 млрд параметров, разработанная Jan (Jan HQ). Модель получена методом дистилляции после обучения от более крупной модели-учителя с последующим предварительным и постобучением. Она предназначена для общего использования, улучшенного следования инструкциям, локального развёртывания, дообучения под прикладные задачи и лёгкой помощи в программировании. Модель содержит 36 слоёв и использует Grouped-Query Attention (GQA) с 32 головами для запросов и 8 для ключей и значений. Заявлена нативная длина контекста до 262 144 токенов. Указан английский язык; модель работает с текстом, а тег code и описание допускают сценарии кодирования, однако специализированная кодовая версия Jan-Code в README ещё не выпущена. GGUF-версия предназначена для запуска через llama.cpp и интеграции с Jan Desktop; также описан вариант использования через vLLM. Сильными сторонами являются компактный размер, пригодность для локального использования и дообучения, улучшенное следование инструкциям и большой контекст. Ограничения включают отсутствие подробных данных о качестве на конкретных бенчмарках, языковой поддержке за пределами английского и мультимодальных возможностях. Модель распространяется по лицензии Apache 2.0.

Ling-3.0-flash-abliterated-APEX-GGUF — неофициальная общественная GGUF-сборка модели Ling-3.0-flash, разработанной inclusionAI. Модель предназначена для генерации текста и задач рассуждения, включая локальный запуск через совместимое с GGUF программное обеспечение. В официальной версии мышление включено по умолчанию. Модель использует гибридную архитектуру MoE: 124 млрд параметров всего и около 5,1 млрд активных параметров. В её основе — стек из Kimi Delta Attention и gated MLA в соотношении 5:1, разреженный MoE с 512 маршрутизируемыми экспертами, выбором top-8 и одним общим экспертом, два плотных слоя и обученная MTP-голова. Заявленный график контекстного окна составляет 8K, затем 32K и до 256K токенов. Формат GGUF использует архитектуру bailingmoe3 и смешанную квантизацию APEX; наличие поддерживаемых языков в README не указано. Эта сборка отличается от официальной применением abliterix v6 trial 21 для снижения частоты отказов и последующим преобразованием в GGUF. Поэтому она может заметно отличаться от исходной модели по поведению и безопасности; README указывает на необходимость самостоятельной оценки соответствия требованиям, контроля доступа и аудита. Также для указанных уровней квантизации не использовалась imatrix. Лицензия — MIT, при этом необходимо соблюдать условия inclusionAI и применимое местное законодательство.

Llama3.2-DeepHermes-3-3B-Preview-Reasoning-MAX-NEO-Imatrix-GGUF — это GGUF-квантизированная текстовая генеративная модель, основанная на NousResearch/DeepHermes-3-Llama-3-3B-Preview. Сборка подготовлена David_AU с использованием собственной технологии Neo Imatrix и «MAXED»-квантизации, при которой embedding- и output-тензоры сохраняются в формате BF16. Модель предназначена для локального запуска и ориентирована на рассуждения, следование инструкциям, диалог, решение задач, генерацию идей и текста, творческое письмо и ролевые сценарии. Указана лицензия Apache-2.0. Модель имеет размер около 3B параметров и поддерживает контекст до 128k токенов. Она работает только с текстом; сведения о поддерживаемых языках в README не приведены. Доступны варианты квантизации от IQ1_S до Q8_0, отличающиеся размером, скоростью и качеством. Более высокие кванты обычно лучше сохраняют способности к рассуждению, а варианты IQ4XS, IQ4NL и Q4 рекомендуются для творческих задач; для общего применения рекомендуются Q5, Q6 и Q8. Для reasoning-сценариев рекомендуется использовать как минимум IQ3. Сильные стороны модели — компактный размер, высокая скорость локального вывода, улучшенное следование инструкциям и потенциально более высокое качество благодаря Neo Imatrix и сохранению части тензоров в BF16. При этом качество рассуждений напрямую зависит от выбранного кванта: самые компактные варианты заметно уступают более крупным, а README не содержит независимых бенчмарков, подробных данных об обучении или гарантии заявленного превосходства над более крупными моделями. Для комфортной работы рекомендуется окно контекста не менее 8k токенов, особенно для вариантов IQ4 и ниже.

MaziyarPanahi/Mistral-7B-Alpaca-52k-v0.1 — дообученная модель семейства Mistral, созданная на основе mistralai/Mistral-7B-v0.1 с использованием набора инструкций Alpaca из 52 тысяч примеров. Она предназначена для генерации текста по инструкциям и ответов на запросы в диалоговом формате. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и рассчитана на контекст до 32 768 токенов. Модель работает с текстом и подходит для широких задач следования инструкциям; в карточке приведены результаты оценивания на наборах для рассуждений и понимания текста. Она выпущена в формате PyTorch и распространяется по лицензии Apache-2.0. README не приводит подробностей о целевых языках или ограничениях качества, поэтому они здесь не уточняются.

Mistral-Nemo-Instruct-2407-FP8 — инструкционная авторегрессионная плотная transformer-модель объёмом 12 млрд параметров, разработанная совместно Mistral AI и NVIDIA. Репозиторий Furiosa AI содержит вариант модели RedHatAI/Mistral-Nemo-Instruct-2407-FP8, подготовленный для запуска на аппаратной платформе FuriosaAI RNGD с использованием Furiosa-LLM. Модель принимает текст и генерирует текст, поддерживает диалоги с ролями system, user и assistant и предназначена для обычной, нерассуждающей генерации ответов в ассистентских сценариях. Линейные веса слоёв Transformer статически квантизованы в FP8, активации динамически квантизуются в FP8 для каждого токена во время инференса, а KV-кэш сохраняется в 16-битной точности. На RNGD используется tensor parallelism с размером 16 PE, что соответствует двум картам RNGD. Основной поддерживаемый стек в этом репозитории — Furiosa-LLM, однако исходная модель также может запускаться через vLLM, SGLang и Transformers. Указан английский язык; сведения о размере контекста и других языках отсутствуют. Модель подходит для чат-ботов, генерации текста и интеграции через OpenAI-совместимый API. К её сильным сторонам относятся инструкционная настройка, FP8-квантизация для эффективного инференса и поддержка специализированного ускорителя FuriosaAI RNGD. Ограничения включают нерassуждающий характер модели, зависимость данного варианта от Furiosa-LLM и оборудования RNGD, а также отсутствие в предоставленных данных подробных оценок качества. Лицензия — Apache-2.0.