II.8Инженерия данных и аналитика

Nemotron 3 Nano 30B-A3B GGUF — квантованный вариант NVIDIA Nemotron 3 Nano 30B-A3B, подготовленный BatiAI для локального запуска на компьютерах Mac. Это гибридная языковая модель NemotronH с архитектурой Mamba и attention и смесью экспертов: в README указаны 30 млрд параметров, 128 экспертов и 8 активных на токен. Для выполнения используется llama.cpp; доступны варианты IQ3_XXS, IQ4_XS и Q5_K_M с разными требованиями к памяти. Модель предназначена для диалогов, рассуждений, программирования и агентных сценариев, включая работу с инструментами и структурированными ответами. README описывает её как рассчитанную на длинный контекст с линейным масштабированием гибридной архитектуры и приводит тесты на Mac с Apple Silicon. В метаданных указана поддержка английского, корейского, японского и китайского языков; сведения базовой модели каталога также упоминают шесть языков. Репозиторий содержит квантованные GGUF-веса, хотя метаданные форматов обозначают их как «GGUF BF16». Лицензия — NVIDIA Open Model License, названная в README коммерчески ориентированной; перед использованием следует проверить её условия для конкретного применения. Производительность и качество зависят от выбранной квантизации и доступной памяти.

Это текстовая модель NVIDIA Nemotron-3.5-Lightning-30B-A3B-BF16 с изменёнными параметрами отказов: автор карточки сообщает, что после abliteration модель отказала в 1 из 100 тестовых запросов против 98 из 100 у исходной версии. Она предназначена для генерации текста, диалога и рассуждений, а также для дообучения и адаптации разработчиками. В карточке приведены результаты проверок на задачах знаний, рассуждений, программирования и использования инструментов. Модель использует гибридную архитектуру Mixture-of-Experts с Mamba-2, MoE и слоями Attention; всего в ней 30 млрд параметров, из которых активны 3 млрд. Формат весов — BF16, заявленная длина контекста в метаданных — 262 144 токена. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский. README указывает лицензию исходной модели как допускающую коммерческое использование, но метаданные этой копии обозначают лицензию как other, поэтому условия распространения и использования именно этой производной версии следует сверять с лицензией репозитория.

Это версия NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, преобразованная сообществом mlx-community в формат MLX для запуска с mlx-lm. Модель предназначена для генерации текста и диалогового взаимодействия. Базовая модель NVIDIA ориентирована на рассуждения, программирование и создание агентных приложений; в карточке также заявлена поддержка английского, испанского, французского, немецкого, японского и итальянского языков. В названии указана точность 5 бит. README сообщает о преобразовании исходной BF16-модели в формат MLX с помощью mlx-lm 0.29.1; метаданные указывают библиотеку MLX и формат файлов safetensors. Лицензия обозначена как other, поэтому конкретные условия использования следует сверить с лицензией базовой модели и файлами репозитория. Данных о длине контекста в предоставленных источниках нет.

Unsloth представил эту версию инструктивно дообученной языковой модели Qwen2.5 с 1,5 млрд параметров. Это плотная авторегрессионная модель семейства Qwen2, рассчитанная на диалоги и генерацию текста; метаданные также отмечают интерфейс для вызова инструментов. Архитектура Qwen2 использует RoPE, SwiGLU, RMSNorm и grouped-query attention. Контекст модели — 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель подходит для чат-ботов, следования инструкциям, генерации длинных и структурированных ответов, включая JSON, а также задач по программированию и математике. В карточке заявлена поддержка более 29 языков, среди них английский, китайский и русский; метаданные отдельно подтверждают английский. Модель загружается через Transformers и сохранена в формате safetensors. Лицензия — Apache-2.0. Компактный размер упрощает применение модели по сравнению с более крупными версиями семейства, однако качество и устойчивость могут быть ниже, чем у более крупных моделей; README не приводит подробных результатов оценки именно этого репозитория. Для работы требуется достаточно свежая версия Transformers: README предупреждает о проблемах с версиями ниже 4.37.0.

QuantFactory/Qwen2.5-1.5B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Qwen2.5-1.5B-Instruct, созданная QuantFactory с использованием llama.cpp на основе модели Qwen от Alibaba Cloud. Это каузальная текстовая модель для диалогов, генерации текста, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON. Она также улучшена для задач программирования и математики. Модель содержит 1,54 млрд параметров, из которых 1,31 млрд не относятся к эмбеддингам, и включает 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV внимания, связанные эмбеддинги слов и GQA с 12 головами для Q и 2 для KV. Поддерживаются контексты до 32 768 токенов и генерация до 8192 токенов. Модель многоязычная и поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Квантизация в формате GGUF может снизить требования к ресурсам и упростить локальный запуск, однако README не содержит сведений о конкретном типе квантизации, размере файлов, точности или производительности. Модель предназначена для текстовых сценариев и не заявляет поддержку изображений или других модальностей. Распространяется по лицензии Apache-2.0.

Qwen2.5-1.5B-Instruct-GGUF — инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это вариант базовой модели Qwen2.5-1.5B-Instruct в формате GGUF для локального запуска, в том числе с использованием llama.cpp. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, понимания таблиц и других структурированных данных, а также генерации структурированных ответов, включая JSON. Модель представляет собой causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm, bias в Attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, из которых 1,31 млрд приходятся на параметры без учёта эмбеддингов, имеет 28 слоёв и GQA с 12 головами для Q и 2 для KV. Поддерживаются контекст до 32 768 токенов и генерация до 8192 токенов. Указана поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий содержит варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. К сильным сторонам относятся небольшой размер, возможность локального запуска, улучшенные следование инструкциям, генерация длинных текстов, работа со структурированными данными, кодом и математикой, а также устойчивость к различным системным промптам. Ограничения связаны с компактным масштабом в 1,5 млрд параметров и потерями точности, возможными при квантовании; конкретные показатели производительности в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen2-7B-Instruct-GGUF — инструкционная языковая модель из серии Qwen2, разработанная командой Qwen. Это вариант Qwen2-7B-Instruct, представленный в формате GGUF для локального запуска и инференса с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, работу с инструкциями, понимание и создание текста, программирование, математику, рассуждения и многоязычные задачи. Модель содержит 7 миллиардов параметров и построена на архитектуре Transformer с активацией SwiGLU, смещениями QKV в механизме внимания и group query attention. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования. В репозитории доступны версия fp16 и квантизованные варианты GGUF: q5_0, q5_k_m, q6_k и q8_0. Точная длина контекста и полный список поддерживаемых языков в README не указаны. Модель работает только с текстом; сведения о поддержке других модальностей отсутствуют. К сильным сторонам относятся инструкционная настройка, пригодность для локального развёртывания, совместимость с llama.cpp и возможность выбирать между несколькими уровнями квантизации, балансируя качество и требования к ресурсам. Ограничения включают зависимость производительности и качества от выбранного формата GGUF и аппаратной конфигурации, а также отсутствие в предоставленных данных подробных результатов по прикладным задачам и информации о безопасностных ограничениях. Лицензия — Apache-2.0.

dnotitia подготовила вариант Qwen3-4B с изменённым шаблоном чата для удобства обучения. Веса совпадают с официальными весами Qwen3; шаблон вынесен в файл chat_template.jinja и дополнен тегами generation для поддержки assistant_only_loss в библиотеке TRL. Модель построена на плотной причинной архитектуре Qwen3ForCausalLM и содержит 3,7 млрд параметров по метаданным. Она принимает текст и предназначена для генерации текста, диалога, следования инструкциям, рассуждений, написания кода и многоязычных задач; заявлена поддержка более 100 языков и диалектов. Указанное в карточке контекстное окно составляет 32 768 токенов, тогда как метаданные каталога приводят 40 960 токенов; это расхождение требует проверки для конкретной конфигурации. Для обучения рекомендована актуальная версия Transformers. Лицензия — Apache-2.0.

coder3101/Qwen3.5-9B-heretic — созданная на основе Qwen/Qwen3.5-9B версия с изменённым поведением отказов, подготовленная автором репозитория методом abliteration. Это мультимодальная модель на 9 млрд параметров с архитектурой Qwen3.5: языковая модель объединена с обработкой изображений, а гибридная архитектура включает Gated Delta Networks и механизм внимания. Модель предназначена для диалога, рассуждений, программирования и анализа изображений; также поддерживает интерфейс вызова инструментов. По сравнению с исходной моделью в приведённом README тесте отказов стало меньше: 10 из 100 против 86 из 100 у оригинала. Модель принимает текст и изображения и формирует текстовые ответы. README указывает нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов и поддержку 201 языка и диалекта базовой модели. Весовые файлы представлены в формате safetensors; заявлена совместимость с Transformers, vLLM, SGLang и KTransformers. Лицензия — Apache-2.0. Показатель снижения отказов описывает приведённый тест и не гарантирует поведение на всех запросах; модель может отвечать на запросы, от которых исходная версия отказывалась.

hampsonw/Qwen3.6-27B-AWQ-BF16-INT4-mtp-bf16 — вариант модели Qwen3.6-27B, созданный на основе чекпойнта cyankiwi/Qwen3.6-27B-AWQ-BF16-INT4 версии 26.05.01. Модель представляет собой каузальную языковую модель с энкодером изображений, разработанную в экосистеме Qwen. Она ориентирована на генерацию текста, программирование, агентные сценарии, работу с репозиториями и задачами, требующими визуально-текстового понимания. Модель содержит около 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с заявленной возможностью расширения до 1 010 000 токенов. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Архитектура включает Gated DeltaNet, Gated Attention, FFN и механизм multi-token prediction (MTP); размер модели указан как 26,37 ГБ. Основная часть весов сжата до INT4 в формате AWQ/compressed-tensors, что снижает требования к памяти. Тензоры MTP заменены на необжатые BF16 из базовой модели и предназначены для speculative decoding в vLLM. Это может повысить эффективность генерации при использовании поддерживаемой конфигурации vLLM, однако чекпойнт требует совместимого программного стека и настройки MTP. README не приводит количественных результатов бенчмарков и подробностей об ограничениях качества мультимодального ввода. Лицензия — Apache-2.0.

FreedomAISVR опубликовал GGUF-квантизацию MXFP4 MoE мультимодальной модели Qwen3.6-35B-A3B-Fast. В ней 35 млрд параметров, из которых на каждом токене активны около 3 млрд; архитектура сочетает 40-слойный декодер с Gated DeltaNet и полным attention, а для изображений и видео использует 27-слойный энкодер на основе SigLIP. Модель поддерживает чат, анализ изображений и видео, вызов инструментов и сценарии агентного программирования. Заявленное родное окно контекста — 262 тыс. токенов, с расширением свыше 1 млн через YaRN. Эксперты хранятся в 4-битном формате MXFP4, а attention, эмбеддинги и нормализации — в Q8_0; файл визуального энкодера доступен в F16. Репозиторий рассчитан на запуск через llama.cpp: README указывает минимум 24 ГБ видеопамяти для частичной выгрузки и рекомендует 32 ГБ и более для полной выгрузки на GPU. Карточка указывает Apache-2.0. Описание скорости и результатов бенчмарков приведено автором карточки; оно не гарантирует такую же производительность на любом оборудовании.

Qwen3.6-35B-A3B-REAM-192 — мультимодальная модель Samsung SAIL Montreal, созданная слиянием экспертов базовой Qwen/Qwen3.6-35B-A3B методом REAM. В слоях MoE число маршрутизируемых экспертов сокращено с 256 до 192; модель содержит около 27,05 млрд параметров, из которых около 3 млрд активны на токен. Сохранены vision encoder и обработка изображений; веса представлены в формате bf16, без квантизации. Модель предназначена для диалогов, генерации текста по изображениям, агентного программирования и вызова инструментов. Это предварительный выпуск до оценки качества: автор сообщает, что модель загружается и связно отвечает на тестовых запросах, но результаты бенчмарков ещё не опубликованы. Для обычной текстовой и мультимодальной работы отсутствующие веса MTP не нужны, однако спекулятивное декодирование с MTP пока не поддерживается. Для инференса требуется bf16: fp16 может вызывать NaN в слоях GDN. Веса занимают около 52 ГБ; для контекста 32K автор указывает минимум около 60 ГБ VRAM. Лицензия Apache-2.0.

Youssofal/Qwen3.8-27B-MTPLX-Optimized-Speed-FP16 — это версия языковой модели Qwen3.8-27B, подготовленная разработчиком Youssofal для запуска через MTPLX на компьютерах Mac с Apple Silicon. Модель предназначена прежде всего для локальной генерации текста, программирования, работы с кодом, JSON и диалогами. Она совместима с Mac на чипах M1–M5 и требует не менее 32 ГБ unified memory; для M1 и M2 рекомендуется именно эта сборка FP16. Модель использует 4-битное динамическое квантование части весов, а остальные тензоры, включая масштабы, смещения, нормализации, параметры GDN-свёртки и состояния, хранятся в FP16. Она поддерживает контекст до 262 144 токенов и multi-token prediction с глубиной MTP 3, а MTPLX применяет speculative decoding на Apple Silicon. Размер загрузки составляет 20,4 ГБ. Указанная модальность — работа с текстом; README не сообщает полный перечень поддерживаемых языков, но приводит проверку на многоязычном тексте. К сильным сторонам относятся высокая скорость локальной генерации, оптимизация для Apple Silicon и сохранение точности speculative decoding при различных температурах. Для сборки заявлены 96,0% совпадения top-1 и KL-дивергенция 0,012 относительно контрольной версии Qwen3.8-27B в тесте на коде, прозе, JSON и многоязычном уведомлении. Ограничения включают необходимость совместимого Mac с достаточным объёмом памяти, отсутствие опубликованных замеров скорости именно на M1 и M2, а также более низкую точность по сравнению с 8-битной сборкой Optimized Quality. Модель распространяется по лицензии Apache-2.0.

RavenXAILabsLLC-Qwen3.8-27B-Abliterated-Unified-Frontier-Model-IQ-Injected-MLX-MTP — открытая текстовая генеративная модель, разработанная RavenX AI Labs LLC на основе PocketAiHub/Qwen3.8-27B-Abliterated-MLX-4bit. По данным карточки, модель объединяет дистиллированные примеры и паттерны рассуждения из нескольких заявленных frontier-моделей и дополнительно обучалась на задачах программирования, агентного tool calling, анализа безопасности, финансов и трейдинга. Заявлены 1 159 426 обучающих примеров и сохранение планирования в весах без явных тегов рассуждений в ответах. Модель предназначена для генерации текста, программирования, структурированного анализа, агентских сценариев с вызовом инструментов и API, анализа уязвимостей и задач, связанных с безопасностью. Архитектура указана как Qwen3_5, размер — 27 млрд параметров, формат — MLX 4-bit; поддерживается библиотекой MLX и ориентирована прежде всего на запуск на Apple Silicon. В карточке также заявлена совместимость с ESI и MTP drafter для speculative decoding, а рекомендуемый объём памяти составляет около 15,5 ГБ. Указан английский язык; поддержка других языков и размер контекстного окна не уточняются. Сильными сторонами заявлены универсальность, навыки программирования и рассуждений, агентское взаимодействие с инструментами, а также оптимизация для локального запуска на устройствах Apple. Производитель сообщает о результате 93% на собственном наборе из 18 тестов, однако подробная методика и независимое подтверждение этого показателя в README не приведены. Ограничениями являются отсутствие подтверждённых сведений о контекстном окне, мультимодальности, качестве на разных языках и независимых бенчмарках; возможности в сфере пентестинга и безопасности требуют осторожного применения и проверки результатов. Лицензия указана как Apache-2.0.

HarimxChoi/WarpQuant-Qwen3.8-27B-R16E4H4-Text — текстовая версия Qwen3.8-27B, подготовленная с применением WarpQuant. Репозиторий содержит причинную языковую модель, токенизатор и шаблон чата; по метаданным это плотная архитектура семейства Qwen, предназначенная для генерации текста и диалогов. Указано 22,3 млрд параметров в метаданных и около 26,9 млрд текстовых параметров в README. Контекст — до 262 144 токенов. Ключи проекций квантованы до 3 бит с вращением Адамара и восстановлением отдельных слабых столбцов; эмбеддинги токенов и выходная голова используют групповой INT4. В первой публикации восстановленные тензоры хранятся в BF16 для запуска через Transformers, поэтому фактический размер файлов больше аналитического упакованного представления. README приводит результаты сравнений на языковых и тестовых наборах и сообщает о совпадении последних токенных логитов с исходной моделью на проверенном промпте. Модель рассчитана на текстовую генерацию, чат, рассуждения и задачи вроде ответов на вопросы и программирования. В отличие от исходной мультимодальной версии, в этой сборке отсутствуют модуль обработки изображений и слой MTP. Лицензия — Apache-2.0.

XORTRON.CriminalComputing.LARGE.2026.3 — разговорная языковая модель на архитектуре Mistral, опубликованная heretic-org. По карточке это версия Mistral-Large-Instruct-2411 с abliteration: модель изменена для существенного снижения частоты отказов, а не для отдельной предметной области. Она предназначена для генерации ответов в диалоге, рассуждений, помощи с кодом и работы с длинным контекстом; исходная карточка также описывает поддержку вызова функций. Метаданные указывают 122,2 млрд параметров, плотную архитектуру MistralForCausalLM, контекст до 131 072 токенов и форматы Safetensors. Указаны английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. В приведённом сравнении частота отказов составляет 2 из 100 против 87 из 100 у исходной модели, при KL-дивергенции 0,0578; это показывает снижение отказов, но не подтверждает качество или безопасность ответов. Лицензия обозначена как other; README описывает исследовательскую лицензию Mistral для исходной модели, но условия лицензии этой производной модели однозначно не установлены.

protoLabsAI/Agents-A1-NVFP4 — квантизированная версия модели InternScience/Agents-A1, разработанная и проверенная protoLabs. Это агентная гибридная MoE-модель класса Qwen3.5-35B-A3B для генерации текста, рассуждений, работы с инструментами, function calling, программирования и других агентных сценариев. Модель предназначена для запуска через vLLM, прежде всего на GPU NVIDIA Blackwell, включая RTX PRO 6000 и RTX 50xx. Модель использует квантизацию NVFP4 W4A4 с калибровкой всех экспертов MoE и занимает около 21,8 ГБ. В контрольной точности сохранены маршрутизаторы MoE, DeltaNet-линейное внимание, эмбеддинги, lm_head, vision tower и MTP-тензоры. В README заявлена поддержка длинного контекста с проверками на длинах до 60K токенов; для работы у верхней границы рекомендуется оставить более 5K токенов запаса либо отключить режим рассуждений. Веса vision tower присутствуют, но рекомендуемая конфигурация vLLM работает только в текстовом режиме. Языки явно не указаны. По приведённым тестам NVFP4-версия превосходит официальную FP8-версию на наборах reasoning-v2, function-call и claw agentic, но немного уступает ей в code spec-delta. На одной RTX PRO 6000 заявлена скорость до 215 токенов в секунду при однопоточном чате. Ограничения включают зависимость от специальной конфигурации vLLM с marlin MoE backend на sm120, несовместимость spec-decode с этим backend и необходимость учитывать значительные затраты контекста при длинных рассуждениях. Модель распространяется по лицензии Apache-2.0.

Apriel-1.5-15b-Thinker — мультимодальная модель рассуждений из серии Apriel SLM, разработанная ServiceNow. Модель с плотной архитектурой на 15 млрд параметров принимает текст и изображения и генерирует ответы в формате диалога; её назначение включает рассуждения по тексту и изображениям, помощь с кодом, ответы на вопросы и вызов инструментов. Для обработки изображений используется архитектура LlavaForConditionalGeneration. Модель прошла продолжительное предварительное обучение на текстовых и визуальных данных, а последующее обучение с учителем выполнялось только на тексте; RL и дообучение на изображениях не применялись. Она рассчитана на общие инструкции, многошаговые задачи и агентные сценарии. Разработчики отмечают высокие результаты на ряде тестов, а также повышенный расход токенов и более долгие ответы из-за развёрнутого рассуждения по умолчанию. Лицензия — MIT. Разработчики предупреждают, что ответы могут содержать фактические ошибки и предвзятость, качество ниже на языках, представленных в обучении слабее, а в медицинских, юридических, финансовых и других критически важных сценариях требуется проверка человеком.

llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

kldzj/gpt-oss-120b-heretic — модифицированная версия открытой весовой модели openai/gpt-oss-120b, созданная разработчиком kldzj с использованием Heretic v1.0.1. Это текстовая генеративная модель для общего назначения, рассуждений, агентских сценариев и задач разработчиков; заявленная особенность версии — снижение склонности к отказам от ответов (decensored/abliterated). Модель поддерживает запуск через Transformers и vLLM и рассчитана на использование в формате harmony. Модель основана на архитектуре Mixture-of-Experts: содержит около 117 млрд параметров, из которых примерно 5,1 млрд активны при обработке запроса. Она использует посттренировочную MXFP4-квантизацию весов MoE и может работать на одном GPU с 80 ГБ памяти, например NVIDIA H100 или AMD MI300X. Заявлены настраиваемый уровень рассуждений, function calling, веб-браузинг, выполнение Python-кода и Structured Outputs. В README не указаны языки, размер контекстного окна и поддержка мультимодальных входов, поэтому модель следует считать текстовой. По приведённому сравнению, модель отказалась отвечать в 19 из 100 тестовых случаев против 97 отказов у исходной модели, однако её KL-дивергенция относительно исходной модели составляет 0,92, что указывает на заметное изменение поведения. Возможные ограничения включают высокие требования к вычислительным ресурсам, необходимость корректного использования harmony-формата и потенциальные риски, связанные со снижением защитных отказов. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование и модификацию.

IFM/K2-Horizon-7B-GGUF — это GGUF-версия модели K2-Horizon-7B, разработанной IFM. Репозиторий предназначен для запуска модели с помощью llama.cpp и содержит тензоры в исходной точности BF16, метаданные токенизатора и совместимый с llama.cpp шаблон чата. Модель представляет собой плотную decoder-only архитектуру среднего размера в семействе K2-Horizon, с 7B параметров в основном ядре и контекстным окном на 524 288 токенов. Она ориентирована на генерацию текста, агентские сценарии, программирование, задачи с длинным контекстом и рассуждения. В README указан английский язык. Модель оценивается на математических, инженерных, кодировочных и long-context-бенчмарках; среди заявленных характеристик — результат 70,6 на SWE-bench Verified и 73,3 на HMMT Feb 2026. К сильным сторонам относятся большое нативное контекстное окно, открытость обучающих данных, рецепта, кода обучения и ресурсов оценки, а также наличие промежуточных чекпойнтов. Для запуска требуется версия llama.cpp с поддержкой архитектуры K2 Horizon; на момент публикации такая поддержка находилась в разработке, а совместимая ветка доступна в форке MBZUAI-IFM. Модель распространяется по лицензии Apache-2.0.

AI-Engine/Meta-Llama-3-8B-Instruct-GGUF — это GGUF-квантизированная версия инструкционно дообученной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для генерации текста и кода, прежде всего для диалоговых ассистентов, обработки инструкций и других задач генерации на английском языке. Репозиторий содержит варианты квантования для llama.cpp, включая версии с imatrix. Модель имеет авторегрессионную архитектуру на основе оптимизированного Transformer, около 8 млрд параметров и поддерживает только текстовые входы и выходы. Она использует Grouped-Query Attention (GQA), контекстное окно до 8 тысяч токенов, а инструкционная версия обучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Данные обучения включали новый набор общедоступных онлайн-данных; дата отсечения знаний указана как март 2023 года. К сильным сторонам относятся ориентация на диалог, генерацию текста и кода, относительно компактный размер 8B и возможность локального запуска через совместимые инструменты GGUF и llama.cpp. Ограничения включают англоязычную специализацию, статичность модели и устаревание знаний после даты отсечения; качество и требования к ресурсам зависят от выбранного уровня квантования. Использование регулируется пользовательской лицензией Meta Llama 3 и соответствующей Acceptable Use Policy; в README указано, что доступна коммерческая лицензия с особыми условиями.

Модель mlx-community/NVIDIA-Nemotron-3-Nano-30B-A3B-MLX-BF16 — версия NVIDIA Nemotron 3 Nano, подготовленная сообществом mlx-community для запуска в формате MLX. README указывает, что она преобразована из nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 с помощью mlx-lm 0.29.1; метаданные связывают её с этой базовой моделью и задачей генерации текста. Модель предназначена для диалоговой генерации текста. Описание базовой модели в каталоге указывает на сценарии рассуждений, программирования и создания агентных приложений; в карточке отмечена поддержка английского, испанского, французского, немецкого, японского и итальянского языков. Репозиторий использует библиотеку MLX и файлы safetensors. Лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией базовой модели и карточкой репозитория.

Phi-3 Medium-128K-Instruct ONNX DirectML — конвертированная и оптимизированная Microsoft версия языковой модели Phi-3 Medium для генерации текста и диалогов. Модель содержит 13,8 млрд параметров и распространяется в формате ONNX; вариант в репозитории квантован до INT4 методом AWQ и рассчитан на инференс через ONNX Runtime с DirectML на Windows GPU. Модель предназначена для ответов на вопросы, следования инструкциям, рассуждений, работы с математическими и программными задачами и обработки длинных запросов. Исходная модель обучена на синтетических данных и отфильтрованных общедоступных веб-страницах, а её постобучение включало supervised fine-tuning и direct preference optimization. README описывает семейство как поддерживающее контекст до 128K токенов, однако метаданные репозитория указывают native context в 4096 токенов, поэтому доступную длину контекста следует уточнять для конкретной сборки. Сборка ориентирована на ускорение генерации на GPU AMD, Intel и NVIDIA с DirectML; в README приведено тестирование на RTX 4090 и минимальная конфигурация Windows с GPU, совместимым с DirectX 12, и 10 ГБ объединённой RAM. Квантование может влиять на точность, несмотря на заявленное сохранение качества AWQ. Модель разработана Microsoft и распространяется по лицензии MIT.

unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit — это 4-битная версия instruction-tuned языковой модели Qwen2.5-1.5B-Instruct, разработанной командой Qwen при Alibaba Cloud и опубликованной сообществом Unsloth. Модель предназначена для диалоговых ассистентов, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Модель относится к causal language models и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Исходная модель содержит около 1,54 млрд параметров, 28 слоёв и Grouped Query Attention с 12 головами Q и 2 головами KV. Указанный контекст исходной модели составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество варианта bnb-4bit — сниженное потребление памяти и возможность запуска на более доступном оборудовании; при этом квантование может уменьшать точность по сравнению с полноформатной моделью. Размер 1,5 млрд параметров делает модель подходящей для локального инференса и ресурсоограниченных приложений, однако её возможности и качество уступают более крупным моделям. Для работы рекомендуется актуальная версия библиотеки Transformers. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-0.6B-unsloth-bnb-4bit — 4-битная версия причинной языковой модели Qwen3-0.6B, подготовленная Unsloth на базе Qwen/Qwen3-0.6B и предназначенная для запуска и дообучения через библиотеку Transformers. Модель ориентирована на генерацию текста, диалог, следование инструкциям, решение задач, написание кода, рассуждения и интеграцию с внешними инструментами. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд приходятся не на embedding, и имеет 28 слоёв. В архитектуре внимания используется GQA с 16 головами Q и 8 головами KV. Максимальная длина контекста составляет 32 768 токенов. Qwen3 поддерживает переключение между режимами рассуждения и обычной генерации, а также более 100 языков и диалектов; при этом в карточке для данной версии явно указан английский язык. Ключевое преимущество версии — 4-битное квантование, снижающее требования к памяти и упрощающее локальный запуск, однако оно может сопровождаться некоторой потерей точности по сравнению с полноразмерными версиями. Для работы рекомендуется использовать актуальную версию Transformers; версии ниже 4.51.0 могут вызывать ошибку, связанную с поддержкой Qwen3. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Heretic-Cerebellum-GGUF — это квантизированная GGUF-версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Вариант Heretic создан на основе uncensored-модификации от llmfan46 с применением Heretic v1.2.0, а смешанно-точная квантизация Cerebellum выполнена deucebucket. Модель относится к архитектуре Qwen3 и использует MoE-подход; рекомендуемый файл Q3_K_M занимает около 11,96 ГБ. Для мультимодальной работы требуется отдельный vision projector BF16 размером около 858 МБ, поддерживающий обработку изображений и видео через llama.cpp. Модель предназначена для генерации текста, рассуждений, ответов на вопросы, программирования и мультимодального описания изображений. По приведённым локальным тестам на RTX 3090 она показывает 95,48% на ARC-Challenge, 91,78% на HellaSwag, 75,42% на MMLU-Redux и pass@1 64,63% на HumanEval+. Эти результаты характеризуют конкретную квантизированную сборку и не гарантируют аналогичную производительность в других конфигурациях. Сильными сторонами являются сочетание относительно компактного размера, MoE-архитектуры, смешанной квантизации, поддержки мультимодальных сценариев и хороших результатов на задачах общего reasoning и программирования. Ограничения включают потери качества из-за квантизации, необходимость совместимого рантайма и vision projector для работы с изображениями и видео, а также отсутствие в предоставленных данных сведений о длине контекста и поддерживаемых языках. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель на базе Qwen3.6-35B-A3B, разработанная HauhauCS. Это вариант с усиленным снятием ограничений на отказы: по заявлению автора, модель генерирует полный ответ даже на запросы, от которых обычно отказывается базовая версия. Модель предназначена для диалогов, анализа и генерации текста, программирования, а также работы с изображениями и видео. Архитектура — гибридная MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. Используются 256 экспертов, из которых для каждого токена выбираются 8; модель содержит 40 слоёв и сочетает linear attention с полной softmax attention в соотношении 3:1. Заявлен нативный контекст до 262 тысяч токенов. Поддерживаются текст, изображения и видео; указаны английский, китайский и другие языки. Для обработки изображений требуется отдельный файл mmproj. Модель доступна в формате GGUF с вариантами квантования от Q8 до Q2, включая пользовательские K_P-кванты, оптимизированные для сохранения качества. Сильные стороны — большой контекст, мультимодальность, MoE-эффективность и отсутствие встроенных отказов. Ограничение агрессивного варианта — возможное отсутствие защитных барьеров и редкие краткие дисклеймеры, которые автор связывает с обучением базовой модели. Для запуска подходят llama.cpp, LM Studio и другие GGUF-совместимые среды. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель, созданная HauhauCS на основе Qwen/Qwen3.6-35B-A3B. Это вариант с усиленным удалением отказов: по заявлению автора, модель не отказывается от запросов и сохраняет функциональность исходной модели, хотя иногда может добавлять короткие дисклеймеры. Подходит для диалогов, генерации и анализа текста, программирования, рассуждений, а также работы с изображениями и видео. Модель использует архитектуру MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. Она содержит 256 экспертов, из которых для каждого токена выбираются 8, включает 40 слоёв и гибридное сочетание linear attention и full softmax attention в соотношении 3:1. Заявлен нативный контекст до 262K токенов. Поддерживаются текст, изображения и видео; в README указаны английский, китайский и многоязычный режимы. Для работы с изображениями требуется дополнительный файл mmproj. Основные преимущества — высокая заявленная устойчивость к отказам, мультимодальность, большой контекст и доступность множества GGUF-квантизаций, включая оптимизированные HauhauCS варианты K_P. Ограничения включают отсутствие встроенных защитных ограничений в Aggressive-варианте, значительные требования к памяти: размер файлов варьируется примерно от 11 до 44 ГБ, а также необходимость корректно настроить совместимый runtime, например llama.cpp или LM Studio. Для сохранения возможностей режима рассуждений рекомендуется использовать контекст не менее 128K токенов. Модель распространяется по лицензии Apache-2.0.

Solstice-AI Qwen3.8-27B-TTURBO-Cold-Fusion-709-L-Uncensored-mlx-oQ8e-1M — это релиз модели для Apple Silicon в формате MLX, созданный Solstice-AI на базе дообученной модели DavidAU Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored. Архитектурная основа принадлежит Qwen/Alibaba, дообучение выполнил DavidAU, а смешанную oQ8e-квантизацию подготовила Solstice-AI. В карточке указаны английский и китайский языки, лицензия Apache 2.0 и контекстное окно до 1 048 576 токенов. Модель предназначена для запуска на компьютерах Apple с unified memory и ориентирована на рассуждения, программирование, научные и многодисциплинарные задачи. Заявлены переменная глубина рассуждений через 10-уровневую систему управления thinking, нативная аппаратная Multi-Token Prediction и скорость 58–74 токена в секунду на потребительских и профессиональных чипах Apple Silicon. Формат oQ8e использует смешанную точность и повышенную разрядность для чувствительных компонентов, включая проекции внимания, матрицы MLP и нормализационные тензоры. К сильным сторонам относятся большой контекст, оптимизация под Metal и Apple Silicon, поддержка аппаратного MTP, гибкое управление глубиной рассуждений и ориентация на кодирование и reasoning. Ограничениями являются требование не менее 64 ГБ unified memory для конфигурации oQ8e, зависимость от MLX/mlx-lm и отсутствие в README подробностей о фактической мультимодальности, несмотря на заявленный pipeline image-text-to-text. Модель обозначена как uncensored и abliterated, поэтому её поведение в части отказов от потенциально вредных запросов может отличаться от стандартных версий.