II.7DevOps, облако и эксплуатация IT-систем

sapidlabs подготовила разреженную MoE-версию языковой модели NVIDIA Nemotron-3-Nano-30B-A3B: методом REAP удалена половина маршрутизируемых экспертов, по 64 из 128 в каждом MoE-слое. Это сокращает объём модели примерно с 59 до 32 ГБ; число активируемых экспертов на токен осталось равным шести, поэтому основной выигрыш — в размере и потреблении памяти, а не в скорости генерации. Модель использует архитектуру Nemotron-H с классом NemotronHForCausalLM, поддерживает чат и имеет контекст до 262 144 токенов. Модель предназначена для генерации текста, диалогов, задач программирования и рассуждений. Прунинг выполнен без повторного обучения с калибровкой на 256 примерах из набора evol-codealpaca-v1, поэтому лучше всего подтверждены сценарии, близкие к коду и рассуждениям. Формальные бенчмарки не проводились; возможна потеря качества относительно исходной модели, особенно за пределами калибровочных данных. Для запуска доступны веса safetensors через Transformers; для ускоренного пути Mamba требуются mamba-ssm и causal-conv1d. Лицензия указана как other; дополнительных условий README не приводит.

Nemotron-Flash-3B-Instruct — инструктивная языковая модель семейства Nemotron-Flash, разработанного NVIDIA. Это плотная авторегрессионная модель с архитектурой NemotronFlashForCausalLM; в метаданных размер указан как 1,3 млрд параметров, а длина контекста — 29 000 токенов. Модель предназначена для диалоговой генерации текста и компактного развертывания с низкой задержкой. В карточке заявлены сильные результаты на задачах математики, программирования и рассуждений здравого смысла, а также эффективная генерация при небольшом и большом размере пакета. Для инференса описана интеграция с Transformers, CUDA Graph и TensorRT-LLM; веса доступны в формате safetensors. Для использования требуется учитывать поддержку CUDA и доверенную загрузку пользовательского кода через trust_remote_code. Лицензия указана как other, поэтому условия использования следует уточнить в карточке модели. Заявленные сравнительные результаты приведены разработчиком; независимая проверка в этих материалах не описана.

Noema 1.5 2B GGUF — локальная языковая модель с открытыми весами, разработанная NoemaAI-labs и распространяемая в формате GGUF для запуска через llama.cpp. Это вариант модели Noema 1.5 2B, ориентированный на восстановление знаний, генерацию кода, строгое следование инструкциям, многоходовые диалоги и более эффективное рассуждение. Модель имеет около 2 млрд параметров, 24 слоя и размерность скрытого состояния 2048. В основе используется гибридная архитектура Qwen3.5 с Gated DeltaNet и gated attention. Поддерживается только текстовая модальность; основной оценённый язык — английский. Архитектурный лимит контекста составляет 262 144 токена, однако разработчик независимо проверил работу только до 24 576 токенов. MTP отключён. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M и Q4_K_M; последний рекомендован как компактный вариант по умолчанию. Сильными сторонами модели являются небольшой размер, возможность локального запуска, улучшенная генерация кода, строгое выполнение инструкций и повышенная надёжность многоходового взаимодействия. В режиме без рассуждений она подходит для кратких инструкций, структурированной генерации и кода, а режим рассуждений предназначен для более сложных задач, но может выдавать длинные или повторяющиеся ответы. README не содержит полной информации об обучении, бенчмарках, ограничениях применения и целевых сценариях исходной модели. Веса доступны для скачивания, но репозиторий не предоставляет открытой лицензии и не является open source.

NULLXES SHINRA-4B-INSTRUCT — разработанная NULLXES инструкционно дообученная плотная decoder-only Transformer-модель с архитектурой ShinraForCausalLM и 3,93 млрд параметров. Она служит языковым компонентом системы NULLXES и рассчитана на диалог, выполнение инструкций, генерацию кода и структурированных ответов, а также подготовку черновиков для агентов и инструментов. Поддерживает девять языков: английский, русский, немецкий, французский, испанский, китайский, японский, корейский и арабский. Контекст — до 32 768 токенов; README указывает, что продолжение за пределы 8 192 токенов использует экстраполяцию RoPE YaRN. Модель обучалась на текстах, коде, математике и научных материалах, а затем проходила SFT и DPO-выравнивание. Её можно применять для многоязычной генерации, помощи с программированием, следования инструкциям и выдачи JSON. Модель уступает более крупным системам в многошаговых рассуждениях и работе с редкими языками; остаточный вредоносный контент возможен. README позиционирует её для исследований и внутренней интеграции NULLXES, исключая автономные высокорисковые решения и применение без дополнительных защитных слоёв. Для загрузчиков Hugging Face требуется trust_remote_code=True. Лицензия указана как other, конкретные условия в предоставленных данных не приведены.

OrionNet — текстовая генеративная модель от Stellar Labs, опубликованная как чекпойнт PyTorch для Transformers. В README она описана как ассистент для многошаговых рассуждений, математики, программирования, ответов на общие вопросы и вызова инструментов. В метаданных указаны архитектура GemmaForCausalLM и лицензия Apache-2.0; заявление README о переработанной MoE-архитектуре расходится с указанным в метаданных плотным типом архитектуры, поэтому устройство маршрутизации экспертов подтвердить нельзя. Карточка заявляет улучшения в длинном контексте, математических задачах и снижении галлюцинаций, но не приводит размер модели или численную длину контекста, а результаты представлены без описания методики оценки. Модель принимает текст и генерирует текст; README также упоминает интерфейс для вызова инструментов. Лицензия Apache-2.0.

Ornith-1.5-35B-A3B uncensored (NVFP4) — доработанная и квантованная версия модели Ornith-1.5-35B-A3B от команды Ornith, подготовленная Robert Ressl. Модель основана на архитектуре Mixture-of-Experts: общий размер составляет 35B параметров, около 3B параметров активны при обработке токена. Это текстовая генеративная модель на английском языке, предназначенная для генерации текста, рассуждений, вызова инструментов, исследований безопасности, red-teaming и penetration testing. В README также указано, что мультимодальная оболочка и vision tower сохранены, однако подробные сведения о поддерживаемых визуальных сценариях не приведены. Модель использует abliteration в один проход и формат NVFP4 только для экспертных тензоров; attention, shared expert, router и embeddings остаются в BF16. Размер экспортированной модели составляет около 23 ГБ вместо 71,9 ГБ у BF16-версии, заявленная длина контекста — 262 144 токена. Для запуска рекомендованы SGLang и NVIDIA GPU с поддержкой Blackwell; на одной NVIDIA RTX PRO 6000 Blackwell 96 GB измерена скорость 213 токенов в секунду при коротких запросах. К сильным сторонам относятся существенно сниженная частота жёстких отказов, сохранение инструментального вызова и близкое к базовой модели качество на GPQA-Diamond: 58,6% против 61,1%. Ограничения включают остаточные отказы, возможное влияние квантования на поведение и отсутствие MTP speculative decoding, поскольку тензоры mtp.* были удалены из экспортированного контрольного пункта. Модель по умолчанию ориентирована на рассуждения; для коротких прямых ответов рекомендуется отключать режим thinking. Лицензия — MIT, унаследованная от базовой модели Ornith.

RedHatAI/Qwen3-1.7B-quantized.w4a16 — компактная языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen/Qwen3-1.7B от Qwen. Модель предназначена для рассуждений, function calling, многоязычного следования инструкциям, перевода и создания специализированных решений после дообучения. Она принимает текст и генерирует текст, поддерживая архитектуру Qwen3ForCausalLM и контекст длиной до 40960 токенов в конфигурации оценки. Ключевая особенность модели — INT4-квантизация весов линейных операторов в трансформерных блоках. Используется асимметричная поканальная по группам схема с размером группы 64 и алгоритм GPTQ, реализованный в llm-compressor; веса lm_head не квантизуются. Переход с 16 до 4 бит уменьшает размер на диске и требования к GPU-памяти примерно на 75%, что делает модель более удобной для эффективного развертывания, в частности через vLLM. К ограничениям относятся возможные потери качества, связанные с квантизацией, а также отсутствие в README количественных результатов оценки и подробного перечня поддерживаемых языков. Лицензия модели — Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

YTan2000/Qwen3.6-27B-TQ3_4S — сборка Qwen3.6-27B, опубликованная YTan2000 в формате GGUF с квантизацией TurboQuant TQ3_4S для локального запуска. В основе — мультимодальная причинная языковая модель с визуальным энкодером на 27 млрд параметров; архитектура семейства Qwen3.5 включает блоки Gated DeltaNet и Gated Attention. Исходная модель имеет контекст до 262 144 токенов, однако в README для конфигурации на GPU с 16 ГБ видеопамяти отмечено, что 32K и 64K помещаются, а 128K — нет. Модель предназначена для диалогов, задач программирования и рассуждений, а также работы с изображениями в поддерживающем это окружении. Файл весов занимает около 13 ГБ. Для нативной поддержки TQ3_4S нужен TurboQuant-совместимый рантайм, например форк llama.cpp tq3; README также сообщает, что для публичной сборки GGUF нет отдельного артефакта mmproj, поэтому возможности обработки изображений могут быть недоступны при таком способе запуска. Указана лицензия Apache-2.0.

Модель ghecko78/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-heretic — текстово дообученная и изменённая с помощью abliteration версия Qwen3.6-35B-A3B, опубликованная на Hugging Face; исходное дообучение выполнил @hesamation. Она предназначена для диалогов с развёрнутыми рассуждениями, программирования, планирования, математических задач и аналитических ответов. Обучение использовало дистилляцию рассуждений, преимущественно полученных от Claude Opus 4.6, а затем модель прошла abliteration, призванную снизить частоту отказов. В основе — мультимодальная MoE-архитектура Qwen3.6 с 35 млрд параметров, из которых активны около 3 млрд; базовая модель принимает изображения, но это дообучение было только текстовым. Контекст базовой модели составляет 262 144 токена с возможностью расширения до 1 010 000. Карточка приводит небольшой сравнительный тест MMLU-Pro, который автор характеризует как предварительную проверку, а не полноценный бенчмарк. Модель распространяется по лицензии Apache-2.0.

AtomicChat/Qwen3.6-35B-A3B-GGUF — это набор самостоятельно квантованных версий базовой модели Qwen/Qwen3.6-35B-A3B, подготовленный командой Atomic Chat в формате GGUF для локального и полностью офлайн-запуска. Модель предназначена для генерации текста, диалоговых сценариев, агентного программирования, работы с frontend-задачами и рассуждений на уровне репозитория. Модель можно использовать через llama.cpp, Ollama, LM Studio, Jan и Atomic Chat. Базовая модель содержит 36 млрд параметров и построена на архитектуре Mixture-of-Experts с 40 слоями, 256 маршрутизируемыми экспертами и выбором 8 экспертов на токен. Архитектура использует 16 attention heads и 2 KV heads, словарь из 248 320 токенов и контекст до 262 144 токенов. Исходная модель поддерживает текст и изображения, однако представленные GGUF-файлы являются текстовыми и не содержат vision projector. Репозиторий включает варианты Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0; размеры файлов составляют примерно от 21,2 до 36,9 ГБ. Квантование выполнено с importance matrix, что позволяет сохранить большую часть качества исходной модели, при этом Q4_K_M рекомендуется как оптимальный баланс размера, скорости и качества. К сильным сторонам относятся большой контекст, MoE-архитектура, возможность автономного запуска и несколько уровней квантования с разным компромиссом между качеством и требованиями к памяти. Ограничения — высокая потребность в оперативной или видеопамяти, отсутствие обработки изображений в данных версиях и необходимость применять шаблон чата Qwen3.6 через параметр --jinja. Лицензия исходной модели — Apache 2.0; квантованные файлы подготовлены Atomic Chat.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-NVFP4 — это квантизированная версия модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, опубликованная sakamakismile. Сама базовая модель разработана AEON-7 на основе семейства Qwen; данный репозиторий содержит только квантизированные веса. Модель предназначена для генерации текста, включая диалоговые сценарии, рассуждения, программирование и многоязычные задачи. Используется квантизация NVFP4 W4A4 с размером группы 16: большая часть параметров представлена в 4-битном формате, а lm_head, vision tower, conv1d DeltaNet и MTP head сохранены в bf16. Размер весов уменьшен с 55,6 до 20,58 ГБ. Сохранена MTP-голова для speculative decoding; модель рассчитана на GPU Blackwell SM120 и работу через vLLM. В README указана конфигурация с контекстом до 32 768 токенов и KV-кэшем FP8. Проверялись японское самопредставление, арифметика, проверка простоты чисел и генерация Python-кода; также приведены тесты на английском и французском языках. Сильные стороны модели — существенно меньший размер по сравнению с BF16-версией, возможность размещения на двух видеокартах по 16 ГБ с запасом для KV-кэша и ускорение за счёт speculative decoding. Для длинных запросов рекомендуется устанавливать reasoning_effort в medium: при максимальном уровне модель может чрезмерно долго генерировать блок рассуждений, зацикливаться и не выдавать итоговый ответ. В длинном одnofайловом коде иногда пропускается закрывающая скобка, поэтому рекомендуется использовать синтаксическую проверку. Модель лицензирована по Apache-2.0.

Youssofal/Qwen3.8-27B-MTPLX-Optimized-Speed-FP16 — это версия языковой модели Qwen3.8-27B, подготовленная разработчиком Youssofal для запуска через MTPLX на компьютерах Mac с Apple Silicon. Модель предназначена прежде всего для локальной генерации текста, программирования, работы с кодом, JSON и диалогами. Она совместима с Mac на чипах M1–M5 и требует не менее 32 ГБ unified memory; для M1 и M2 рекомендуется именно эта сборка FP16. Модель использует 4-битное динамическое квантование части весов, а остальные тензоры, включая масштабы, смещения, нормализации, параметры GDN-свёртки и состояния, хранятся в FP16. Она поддерживает контекст до 262 144 токенов и multi-token prediction с глубиной MTP 3, а MTPLX применяет speculative decoding на Apple Silicon. Размер загрузки составляет 20,4 ГБ. Указанная модальность — работа с текстом; README не сообщает полный перечень поддерживаемых языков, но приводит проверку на многоязычном тексте. К сильным сторонам относятся высокая скорость локальной генерации, оптимизация для Apple Silicon и сохранение точности speculative decoding при различных температурах. Для сборки заявлены 96,0% совпадения top-1 и KL-дивергенция 0,012 относительно контрольной версии Qwen3.8-27B в тесте на коде, прозе, JSON и многоязычном уведомлении. Ограничения включают необходимость совместимого Mac с достаточным объёмом памяти, отсутствие опубликованных замеров скорости именно на M1 и M2, а также более низкую точность по сравнению с 8-битной сборкой Optimized Quality. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — квантованная GGUF-версия плотной языковой модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также работы с изображениями и видео; поддерживает текстово-визуальный ввод через отдельный vision-проектор. Заявлены языки English, Chinese и multilingual. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, размер FFN 17408 и словарь на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохранены встроенные механизмы MTP/NextN, а также добавлен профиль ускорения HauhauCS FastMTP 32K для speculative decoding. Нативный контекст составляет 262 144 токена, с заявленной возможностью расширения до 1 000 000 токенов. Доступны варианты квантования от Q8_K_P до IQ2_M размером примерно от 10,32 до 31,46 ГБ; для изображений и видео требуется отдельный BF16 vision-проектор размером 931 МБ. К сильным сторонам относятся большой контекст, мультимодальность, поддержка рассуждений и агентских задач, а также заявленное ускорение генерации FastMTP до 3,02 раза для документов и до 1,93 раза для рассуждений по сравнению с вариантами без MTP. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и практически отсутствующим отказным поведением, поэтому может быть менее подходящим для критически важных длинных агентских сценариев, где предпочтительнее более сбалансированный профиль. Модель распространяется по лицензии Apache-2.0.

BenevolenceMessiah/QwQ-32B-Preview-Self-instruct-3x-TIES-v1.0 — объединённая языковая модель на архитектуре Qwen2, созданная методом TIES с помощью mergekit на основе Qwen/QwQ-32B-Preview и моделей EVA-Qwen2.5-32B-v0.2, Rombos-Coder-V2.5-Qwen-32b и Rombos-LLM-V2.5-Qwen-32b. Она предназначена для диалоговой генерации текста, математических рассуждений и программирования; поддерживает интерфейс вызова инструментов. Модель содержит 32 млрд параметров, принимает текст и рассчитана на контекст до 32 768 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

airoboros-l2-7b-2.2 — экспериментальная текстовая языковая модель на архитектуре LLaMA, разработанная jondurbin и дообученная преимущественно на синтетических данных набора airoboros-2.2. Она предназначена для ответов на инструкции и вопросы, генерации текста и кода, ответов по заданному контексту, а также формирования планов и структурированных аргументов для вызова функций. Модель содержит 6,6 млрд параметров, принимает и генерирует текст, а её нативный контекст составляет 4096 токенов. Карточка описывает шаблон диалога с метками USER и ASSISTANT и рекомендации по остановке генерации; для ответов по предоставленным источникам предусмотрен формат с явными разделителями контекста. Модель в основном ориентирована на выполнение инструкций, а не на свободный чат или ролевую игру. В README отмечены частичное выравнивание для обычного использования и возможность переопределения этого поведения системным промптом. Ответы по контексту могут галлюцинировать, поэтому автор советует явно просить не придумывать неизвестные ответы. Модель распространяется под лицензией Llama 2; опубликована в формате PyTorch.

Карточка модели jondurbin/airoboros-l2-7b-gpt4-2.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-65b-gpt4-2.0, поэтому описание составлено по ней. airoboros-65b-gpt4-2.0 — плотная языковая модель семейства LLaMA на 65 млрд параметров, дообученная jondurbin для следования инструкциям на синтетических примерах, созданных GPT-4. Серия 2.0 использует данные GPT-4 версии 0614; вариант m2.0 дополнительно объединяет набор данных 1.4.1 без дубликатов и категории system. Модель предназначена для диалоговых ответов, вопросов по предоставленному контексту, программирования, построения планов и генерации структурированных аргументов функций в JSON или YAML. Для диалога используется текстовый шаблон с ролями USER и ASSISTANT; заявленная длина контекста — 2048 токенов. В README для моделей 65B отмечено QLoRA-дообучение. Это текстовая модель, и качество её ответов не гарантирует точность: карточка рекомендует явно просить не придумывать ответ при недостатке данных. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование; коммерческое использование запрещено.

Cogito-v1 Preview — серия открытых гибридных reasoning-моделей, разработанная DeepCogito. Модели обучены с использованием метода Iterated Distillation and Amplification (IDA) и ориентированы на повышение качества открытых моделей за счёт масштабируемого выравнивания и самоулучшения. Серия предназначена для генерации текста, программирования, задач STEM, многоязычных сценариев и агентских приложений. Каждая модель поддерживает стандартный режим с прямым ответом и reasoning-режим с саморефлексией. Доступны варианты на базах LLaMA и Qwen размером 3B, 8B, 14B, 32B и 70B параметров: LLaMA-3B, LLaMA-8B, Qwen-14B, Qwen-32B и LLaMA-70B. Для каждой ветки предоставляется квантованная версия q4-km. Конкретные сведения о поддерживаемых языках, максимальном контексте и точных архитектурных характеристиках не указаны. К сильным сторонам относятся гибридный режим работы, ориентация на reasoning, кодирование, STEM и агентские задачи, а также наличие нескольких размеров для выбора компромисса между качеством и ресурсами. По заявлению разработчика, модели превосходят сопоставимые по размеру открытые модели LLaMA, DeepSeek и Qwen, а 70B-вариант превосходит LLaMA 4 109B MoE на бенчмарках; независимые результаты в README не приведены. Модели распространяются по лицензии Apache License 2.0.

DeepSeek-R1-Distill-Qwen-14B — плотная языковая модель на архитектуре Qwen2, выпущенная DeepSeek. Это 14-миллиардная версия серии дистиллированных моделей DeepSeek-R1: её дообучили на примерах рассуждений, созданных DeepSeek-R1, а в качестве основы использовали модель семейства Qwen2.5. Модель предназначена для генерации текста и диалогов с пошаговыми рассуждениями, особенно при решении математических задач, программировании и ответах на сложные вопросы. Модель принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. В карточке не указана специализация на конкретных естественных языках. Репозиторий содержит веса safetensors и рассчитан на использование через Transformers. Лицензия MIT разрешает использование и распространение на её условиях. Как и другие языковые модели, она может ошибаться, выдавать неверные рассуждения или некорректный код; качество не гарантируется для каждой задачи.

Это конвертированная в формат MLX версия DeepSeek-R1-Distill-Qwen-32B, подготовленная сообществом mlx-community из модели deepseek-ai/DeepSeek-R1-Distill-Qwen-32B с помощью mlx-lm 0.20.2. Модель построена на плотной архитектуре Qwen2 и содержит 32 млрд параметров; для генерации текста поддерживается контекст до 131 072 токенов. Она предназначена для диалоговой генерации текста и решения задач рассуждения, в том числе по математике и программированию. Репозиторий содержит веса safetensors в формате MLX. Лицензия в предоставленных данных не указана.

Карточка модели unsloth/DeepSeek-R1-Distill-Qwen-32B на Hugging Face совпадает с карточкой unsloth/DeepSeek-R1-Distill-Qwen-7B, поэтому описание составлено по ней. Это версия DeepSeek-R1-Distill-Qwen-7B, опубликованная Unsloth и основанная на дистиллированной модели DeepSeek. В карточке указано, что веса представлены в формате safetensors, архитектура — плотная Qwen2, размер — 7,1 млрд параметров, библиотека для работы — Transformers, а лицензия — Apache-2.0. Модель предназначена для генерации текста и диалогов с многошаговыми рассуждениями, в том числе для решения математических задач и задач программирования. Она обучена на примерах рассуждений, созданных DeepSeek-R1; в README для семейства дистиллированных моделей указан контекст до 128K токенов. Метаданные карточки также указывают контекст 131072 токена. Модель принимает текст и выдаёт текст. Карточка указывает английский язык; README не уточняет перечень поддерживаемых языков. Как и другие языковые модели, она может ошибаться в рассуждениях и ответах. Для использования применяется лицензия Apache-2.0.

DistilGPT-OSS-qwen3-4B — созданная сообществом дообученная языковая модель на базе Qwen/Qwen3-4B-Thinking-2507. Она предназначена для диалогового помощника, генерации и объяснения кода, математических задач, кратких пересказов и повседневных запросов, в том числе локального использования. Обучение на ответах с рассуждениями GPT-OSS должно улучшить следование инструкциям и позволяет задавать уровень рассуждений low, medium или high через системный промпт. Модель плотная, содержит 3,7 млрд параметров, принимает и генерирует текст; заявленный контекст — до 262 144 токенов, а при высоком уровне рассуждений модель может использовать до 65 536 токенов на рассуждение. Модель выпущена в формате bf16 Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Разработчик отмечает, что это независимый проект сообщества, не связанный с Alibaba или OpenAI. По заявлению автора, модель менее ограничительна, чем исходная GPT-OSS, и сохраняет safety training; она ориентирована на производительность и более разговорный стиль ответов. Размер модели ограничивает её общие знания, а ответы могут содержать ошибки: автор не рекомендует полагаться на неё в медицинских, юридических и других высокорисковых задачах.

Это GGUF-квантизированная версия модели dolphin-2.9.2-Phi-3-Medium-abliterated, разработанной cognitivecomputations и подготовленной пользователем legraphista. Модель основана на Phi-3 Medium, распространяется для генерации текста и ориентирована на диалоговые, инструкционные, математические, кодовые и агентские сценарии. В обучении исходной модели использовались, в частности, наборы Dolphin-2.9.2, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, Orca Math и Agent-FLAN. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты. Репозиторий предоставляет файлы в форматах BF16, FP16 и различных вариантах квантования GGUF: от Q8_0 и Q6_K до Q2_K, включая варианты с применением IMatrix. Размер доступных файлов составляет примерно от 5,20 до 27,92 ГБ. Указан английский язык; сведения о других языках, точном числе параметров, архитектурных деталях и размере контекста в README отсутствуют. К сильным сторонам относятся широкий выбор уровней квантования, возможность подобрать баланс между качеством и требованиями к памяти, а также использование IMatrix в ряде компактных вариантов. Ограничения включают зависимость характеристик от выбранного файла квантования и отсутствие в предоставленных данных результатов бенчмарков или подробной оценки качества. Модель и её варианты распространяются по лицензии MIT.

mlx-community/Dolphin-2.9.3-Mistral-Nemo-12b-bf16 — преобразованная в формат MLX версия Dolphin 2.9.3 на базе Mistral Nemo, подготовленная сообществом mlx-community. Это плотная языковая модель с архитектурой MistralForCausalLM и 12,1 млрд параметров, предназначенная для генерации текста и диалогового общения. Модель дообучена на базе mistralai/Mistral-Nemo-Base-2407; среди датасетов указаны Dolphin-2.9, OpenHermes-2.5, наборы для программирования, математики, вызова функций и агентных сценариев. Каталог указывает контекст до 1 024 000 токенов. Репозиторий содержит веса safetensors, а README описывает конвертацию в MLX с помощью mlx-lm 0.16.1, поэтому модель рассчитана на запуск в экосистеме MLX. Подходит для ответов на вопросы, следования инструкциям, генерации кода и решения математических задач. В метаданных указана лицензия Apache-2.0. Практическая применимость заявленной длины контекста и качество на конкретных задачах отдельно не подтверждены в предоставленной карточке.

dolphinllamaseekv1 — объединённая модель генерации текста на архитектуре Llama, созданная сообществом mergekit-community методом SLERP из cognitivecomputations/Dolphin3.0-Llama3.1-8B и deepseek-ai/DeepSeek-R1-Distill-Llama-8B. В репозитории указаны 7,5 млрд параметров и контекст до 131 072 токенов; веса доступны в формате safetensors, модель рассчитана на запуск через Transformers. Модель предназначена для диалоговой генерации текста и задач, в которых полезны возможности исходных моделей Dolphin и DeepSeek R1 Distill, включая рассуждения и программирование. Метаданные также отмечают интерфейс вызова инструментов. Объединение может сочетать свойства двух моделей, но README не приводит оценок качества или подробных результатов тестирования. Лицензия в предоставленных данных не указана.

coder3101/gemma-4-19b-a4b-it-REAP-heretic — разговорная модель на архитектуре Gemma 4, опубликованная автором репозитория coder3101. Это производная от 0xSero/gemma-4-19b-a4b-it-REAP: модель с разреженной экспертной архитектурой MoE, в которой после pruning осталось 90 экспертов на слой и около 4 млрд активных параметров на токен при общем размере примерно 19 млрд параметров. В README также описана abliteration, снижающая частоту отказов в приведённой автором проверке с 94 до 6 из 100 запросов. Модель предназначена для диалоговой генерации текста, рассуждений и задач программирования; поддерживает текстовые и визуальные входы, режим thinking и контекст до 262 144 токенов. По приведённым тестам она сохраняет результаты на простых математических задачах и кодировании, но pruning заметно снижает точность на некоторых знанияёмких темах. Метаданные указывают лицензию Gemma; перед использованием следует учитывать её условия.

Gemma-4-31B-JANG_4M-CRACK — мультимодальная чат-модель dealignai на архитектуре Gemma 4 Dense с 31 млрд параметров, основанная на google/gemma-4-31b-it. Веса изменены методом abliteration для снижения отказов на запросы; автор сообщает результаты тестирования на HarmBench и MMLU, а также отмечает улучшение устойчивости режима рассуждений в версии v2. Модель предназначена для диалогов, программирования, общих вопросов и анализа изображений. Она принимает текст и изображения, поддерживает режим thinking и гибридное скользящее и глобальное внимание. Для запуска автор рекомендует vMLX на Apple Silicon Mac с не менее чем 32 ГБ объединённой памяти; стандартные mlx_lm и mlx_vlm, согласно карточке, Gemma 4 не поддерживают. Это изменённая версия инструкционной модели Google, а не базовый чекпойнт. Abliteration снижает склонность к отказам, но автор сообщает, что модель всё ещё может отказывать на некоторые категории запросов и что режим thinking может зацикливаться при неподходящих настройках генерации. Лицензия — Gemma; карточка указывает исследовательское назначение и возлагает соблюдение применимых законов на пользователя.

Granite-4.0-H-1B-Base — базовая языковая модель команды Granite компании IBM для генерации текста. Это декодерный плотный трансформер семейства GraniteMoeHybrid с компонентами GQA, Mamba2, SwiGLU и RMSNorm. Модель содержит 1,2 млрд параметров, обучена с нуля примерно на 15 трлн токенов и поддерживает контекст до 131 072 токенов. Модель предназначена для краткого и эффективного запуска, в том числе на устройствах с ограниченными ресурсами, и для офлайн-сценариев, где важна приватность. Она может использоваться для суммаризации, классификации и извлечения информации, ответов на вопросы и дополнения кода; поддерживается заполнение пропусков в коде в формате Fill-in-the-Middle. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель распространяется по лицензии Apache 2.0. Она не проходила выравнивание безопасности, поэтому может генерировать проблемный или недостоверный текст; авторы также отмечают риск дословного воспроизведения обучающих данных. Качество следует проверять для конкретной задачи.

Hugo-7B-slerp — диалоговая языковая модель на архитектуре Mistral, созданная paulilioaica слиянием методом SLERP моделей Mistral-7B-Instruct-v0.2 и CodeNinja-1.0-OpenChat-7B с помощью mergekit. Она предназначена для генерации текста и ответов на инструкции в диалоговом формате; объединяет возможности исходных моделей, включая общие диалоговые задачи и работу с кодом. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README приведены результаты оценок на ARC, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K, но они не гарантируют аналогичное качество на других задачах. Языковая поддержка и специализированные области применения в карточке не перечислены. Модель распространяется по лицензии Apache-2.0.

Ling-lite-1.5-2507 — разговорная языковая модель серии Ling-lite, разработанная inclusionAI. Она предназначена для генерации ответов в диалоге, рассуждений, работы с профессиональными знаниями и задачами программирования. Карточка разработчика сообщает о 16,8 млрд параметров и 2,75 млрд активируемых параметров; метаданные каталога указывают архитектуру Bailing MoE и 794,8 млн параметров. Эти оценки размера расходятся, поэтому точное число параметров требует проверки. Модель использует Transformers, веса опубликованы в формате safetensors, контекст составляет 32 768 токенов. Модель стремится давать краткие ответы на простые запросы и развёрнуто разбирать сложные задачи; заявлены улучшения в логическом рассуждении, профессиональных знаниях, программировании и субъективных открытых вопросах. Подходит для диалоговых помощников, объяснений и решения задач. Опубликована по лицензии MIT. README не приводит перечень поддерживаемых языков или подробные результаты оценок, поэтому качество в конкретных сценариях следует проверять отдельно.

Locutusque/Llama-3-Orca-2.0-8B — разговорная языковая модель, дообученная Locutusque на базе Meta Llama 3 8B преимущественно на SlimOrca и дополнительных данных. Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Для диалога применяется шаблон ChatML. Модель предназначена для генерации текста в диалогах, а также для задач письма, программирования и математики. В карточке заявлены сильные результаты в написании текстов и коде; количественные оценки качества не приведены. Репозиторий содержит веса в формате Safetensors. Указана лицензия Llama 3; применяются условия лицензии Meta Llama 3.