I.6Перевод и языковая адаптация

Gemma 3 12B IT — мультимодальная модель Google с открытыми весами, представленная в репозитории Unsloth. Это вариант с инструкционной настройкой на базе google/gemma-3-12b-pt; модель принимает текст и изображения и генерирует текст. Архитектура Gemma 3 — плотная, число параметров — 12 млрд. Семейство поддерживает контекст до 128 тыс. токенов и более 140 языков. Модель предназначена для диалогов, ответов на вопросы по тексту и изображениям, суммаризации, генерации текстов и визуального извлечения информации. Она подходит для локального запуска на компьютерах и для развёртывания в собственной инфраструктуре. Веса опубликованы в формате Safetensors. Ответы могут содержать фактические ошибки, а качество зависит от обучающих данных и формулировки запроса. Модель может хуже справляться с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами; возможны смещения и генерация вредного контента. Лицензия — Gemma; при использовании необходимо соблюдать её условия и политику запрещённого использования Google.

Hagwell/GLM-5.3-Flash-GGUF — GGUF-версия модели GLM-5.3-Flash, разработанной командой GLM-5 и распространяемой в экосистеме Z.ai; репозиторий также связан с инструментами Unsloth. Модель предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с длинным контекстом и мультимодальными данными. GLM-5.3-Flash — первая нативно мультимодальная модель серии GLM-5. Она содержит 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса. Архитектура сочетает разреженное и линейное внимание для снижения стоимости обслуживания длинного контекста и использует Manifold-Constrained Hyper-Connections для повышения эффективности масштабирования. Модель обучалась на мультимодальном корпусе объёмом 30 трлн токенов и поддерживает английский и китайский языки. В README заявлены улучшения относительно GLM-5.2, особенно в программировании и агентских задачах. Ключевые ограничения связаны с форматом и совместимостью: для запуска рекомендуется использовать llama.cpp с указанными изменениями или приложение Unsloth Desktop. README не содержит подробных сведений о конкретных вариантах квантизации, требованиях к памяти, максимальном контексте для данного GGUF-файла или ограничениях качества. Модель распространяется по лицензии MIT.

Mistral-7B-Instruct-v0.3 — языковая модель Mistral AI, дообученная следовать инструкциям на основе Mistral-7B-v0.3. Она предназначена для диалогов, генерации и продолжения текста, а также сценариев с вызовом функций и инструментов. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров; контекст — до 32 768 токенов. В версии v0.3 расширен словарь до 32 768 токенов, добавлена поддержка токенизатора v3 и вызова функций. Модель принимает текст и генерирует текст, подходит для чат-ботов, выполнения инструкций и интеграции с инструментами. Карточка не перечисляет поддерживаемые естественные языки, поэтому языковую специализацию определить нельзя. По заявлению авторов, это демонстрационная модель, показывающая возможности дообучения базовой версии. У модели нет механизмов модерации, поэтому её ответы требуют соответствующей проверки при использовании. Лицензия — Apache-2.0.

Omega AI 8B — публикация модели Qwen3-8B под брендом Omega AI. Репозиторий сохраняет исходные предварительно обученные веса без дообучения и содержит только изменения брендинга и метаданных. Это плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст; заявленная длина контекста — 40 960 токенов. Модель подходит для диалоговых приложений, следования инструкциям, рассуждений, работы с кодом и вызова инструментов — эти возможности описаны для базовой Qwen3-8B. Карточка Omega не сообщает о дополнительном обучении или отдельных улучшениях относительно базы. Лицензия репозитория — Apache-2.0.

OpenChat 3.5 — диалоговая языковая модель, разработанная командой OpenChat и дообученная методом C-RLFT на смеси публичных инструкционных данных разного качества. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и принимает текстовые сообщения, выдавая текстовые ответы в формате диалога. Модель предназначена для общения с пользователем, ответов на вопросы и выполнения инструкций; её также можно применять для генерации и объяснения кода, математики и рассуждений. Заявленный контекст — 8192 токена. В README приведены результаты на нескольких бенчмарках, включая MT-Bench, HumanEval и GSM8K; эти результаты зависят от методики оценки и не гарантируют качество в конкретной задаче. Модель распространяется по лицензии Apache-2.0. Разработчики предупреждают о возможных ошибках и вымышленных сведениях, слабых местах в сложных рассуждениях, математике и программировании, а также о вероятности вредных или предвзятых ответов; важные результаты следует проверять, а для чувствительных сценариев применять дополнительные меры безопасности.

unsloth/Phi-4-mini-instruct — вариант Phi-4-mini-instruct от Unsloth с исправлениями токенов и шаблона чата. Это компактная плотная языковая модель архитектуры Phi-3 с 3,8 млрд параметров, представленная в формате Safetensors и рассчитанная на работу через Transformers. В карточке базовой модели заявлен контекст до 128 тыс. токенов, однако метаданные этого репозитория указывают native context в 4096 токенов; ориентироваться следует на конфигурацию конкретной сборки и используемого ПО. Модель предназначена для диалогов, генерации текста и кода, следования инструкциям и рассуждений, в том числе математических и логических, в сценариях с ограниченными вычислительными ресурсами или требованиями к низкой задержке. Карточка заявляет многоязычную направленность; среди языков проверки безопасности названы английский, китайский, японский, испанский, португальский, арабский, тайский и русский. Модель поддерживает чат и интерфейс вызова инструментов, но может выдумывать названия функций или URL. Лицензия — MIT.

Mungert/Phi-4-mini-instruct.gguf — GGUF-версия модели Phi-4-mini-instruct, разработанной Microsoft и распространяемой на основе этой модели. Это компактная открытая instruction-tuned модель для генерации текста, диалогов, следования инструкциям, рассуждений, генерации кода и function calling. Модель ориентирована на локальный запуск с ограниченными ресурсами и низкой задержкой, а также поддерживает сценарии чат-комплитов. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-источниках; для улучшения следования инструкциям и безопасности применялись supervised fine-tuning и direct preference optimization. Заявлена поддержка контекста до 128K токенов и мультиязычных сценариев, однако конкретный перечень языков в README не указан. Для диалогов используется специальный chat format, а для вызова инструментов предусмотрен структурированный формат с описанием функций в JSON. Преимуществами являются открытая доступность, большой контекст, поддержка reasoning, генерации кода и function calling, а также наличие GGUF-формата, подходящего для локального inference. Ограничения зависят от аппаратной конфигурации и выбранной квантизации; в описанном CPU-сценарии на шести потоках загрузка занимала около 15 секунд, а inference был медленным и обрабатывал только один пользовательский запрос одновременно. Модель распространяется по лицензии MIT.

dec0dedd выпустил чат-модель Qwen2.5-14B-Instruct-heretic — версию Qwen2.5 Instruct на 14 млрд параметров, обработанную методом abliteration для снижения частоты отказов. По приведённому в карточке сравнению, модель отказала в 5 из 100 тестовых запросов против 98 из 100 у исходной Qwen2.5-14B-Instruct; это измерение относится только к указанному тесту. Архитектура — плотная причинная языковая модель Qwen2 с поддержкой чата. Метаданные указывают контекст до 32 768 токенов; README описывает расширение контекста до 131 072 токенов с YaRN, но предупреждает о возможном ухудшении работы на коротких запросах при статической настройке YaRN. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, следование инструкциям и создание длинных или структурированных ответов. README базовой Qwen2.5 также отмечает навыки программирования, математики и работу с таблицами, однако отдельные результаты для этой производной модели не приведены. Поддерживаются английский и другие языки Qwen2.5; карточка явно помечает английский. Модель распространяется под лицензией Apache-2.0.

coder3101/Qwen3.5-9B-heretic — созданная на основе Qwen/Qwen3.5-9B версия с изменённым поведением отказов, подготовленная автором репозитория методом abliteration. Это мультимодальная модель на 9 млрд параметров с архитектурой Qwen3.5: языковая модель объединена с обработкой изображений, а гибридная архитектура включает Gated Delta Networks и механизм внимания. Модель предназначена для диалога, рассуждений, программирования и анализа изображений; также поддерживает интерфейс вызова инструментов. По сравнению с исходной моделью в приведённом README тесте отказов стало меньше: 10 из 100 против 86 из 100 у оригинала. Модель принимает текст и изображения и формирует текстовые ответы. README указывает нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов и поддержку 201 языка и диалекта базовой модели. Весовые файлы представлены в формате safetensors; заявлена совместимость с Transformers, vLLM, SGLang и KTransformers. Лицензия — Apache-2.0. Показатель снижения отказов описывает приведённый тест и не гарантирует поведение на всех запросах; модель может отвечать на запросы, от которых исходная версия отказывалась.

Youssofal/Qwen3.8-27B-MTPLX-Optimized-Quality — квантизированная версия Qwen/Qwen3.8-27B, подготовленная разработчиком Youssofal для запуска через MTPLX на компьютерах Mac с Apple Silicon. Модель предназначена для локальной генерации текста, программирования, задач с рассуждениями и работы в инструментах вроде OpenCode и Claude Code. Она использует архитектуру базовой модели Qwen3.8-27B, поддерживает контекст до 262 144 токенов и сохраняет multi-token prediction (MTP) для спекулятивного декодирования. Это 8-битная динамическая квантизация: матрицы весов хранятся в 8-битном формате с группами по 64 значения, а чувствительные компоненты, включая GDN-ядра, параметры рекуррентного состояния, нормализации и MTP-head, — в 16-битном. Размер загрузки составляет 29,4 ГБ, измеренное пиковое потребление unified memory — 32,7 ГБ; рекомендуется Mac минимум с 36 ГБ unified memory. Модель рассчитана на MacBook Pro, MacBook Air, Mac mini и Mac Studio на чипах M1–M5 и обеспечивает ускорение за счёт native speculative decoding, при этом заявлена близость к исходной bf16-модели: 99,3% совпадения top-1 на тестовом наборе и KL-дивергенция 0,0005. Сильная сторона модели — приоритет качества при сохранении высокой скорости локального вывода; README приводит скорость до 87,6 токена в секунду в отдельных сценариях и около 33 токенов в секунду при длинном рассуждении. Поддерживаются уровни reasoning effort low, medium и xhigh, а точность распределения вывода сохраняется при использовании спекулятивного декодирования. Ограничения — необходимость совместимого Mac с достаточным объёмом памяти, зависимость от MTPLX и отсутствие заявленной поддержки других аппаратных платформ. Модель распространяется по лицензии Apache-2.0.

Qwen3-8B-4bit-AWQ — версия языковой модели Qwen3-8B, опубликованная сообществом mlx-community и конвертированная в формат MLX с помощью mlx-lm 0.24.0. Это плотная авторегрессионная модель с 7,6 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; поддерживает вызов инструментов через соответствующий интерфейс. Контекст модели составляет до 40 960 токенов. Модель подходит для ответов на вопросы, следования инструкциям, рассуждений, помощи с кодом и сценариев с вызовом инструментов. Базовая Qwen3-8B — многоязычная модель, однако конкретный перечень поддерживаемых языков в предоставленных сведениях не раскрыт. В названии указано 4bit-AWQ, но README описывает конвертацию в MLX, а среди метаданных формат обозначен как safetensors; фактический способ квантования по этим данным подтвердить нельзя. Лицензия — Apache-2.0.

mlx-community/Qwen3-8B-bf16 — конвертированная в формат MLX версия языковой модели Qwen3-8B, подготовленная сообществом mlx-community на основе Qwen/Qwen3-8B. Это плотная причинная языковая модель с 7,6 млрд параметров для генерации текста и диалогов; она также поддерживает следование инструкциям, рассуждения, работу с кодом и интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, а её контекст составляет до 40 960 токенов. Репозиторий содержит веса в safetensors и рассчитан на запуск через библиотеку MLX и пакет mlx-lm. Лицензия — Apache-2.0. Ограничения возможностей и качества унаследованы от базовой модели Qwen3-8B; в доступной карточке отдельно не описаны.

Tess-2.0-Mixtral-8x22B — универсальная языковая модель серии Tess, разработанная migtissera и дообученная на базе mistral-community/Mixtral-8x22B-v0.1. Это разреженная модель класса MoE с архитектурой Mixtral; в метаданных указано 22B параметров и контекстное окно до 65 536 токенов. Репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и выполнения инструкций в общих сценариях, включая задачи с кодом. Для диалога в карточке приведён формат с ролями SYSTEM, USER и ASSISTANT. Дообучение выполнено в течение одной эпохи на наборе Tess-2.0 примерно из 25 тысяч высококачественных примеров общего назначения и кода, с подходом, основанным на принципах LIMA. Модель описана как мало ограничивающая генерацию; разработчик предупреждает, что она может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или неподходящий контент. Лицензия — Apache-2.0.

MaziyarPanahi/calme-2.4-rys-78b — плотная авторегрессионная языковая модель семейства Qwen2, дообученная Maziyar Panahi на базе calme-2.1-rys-78b. Она предназначена для диалогов и генерации текста: ответов на вопросы, работы виртуальных помощников, создания и суммаризации контента, а также генерации и анализа кода и решения сложных задач. Модель насчитывает 76,7 млрд параметров, поддерживает контекст до 32 768 токенов и использует шаблон диалога ChatML. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH, но конкретных гарантий качества для отдельных сценариев нет. Модель может наследовать смещения и давать ненадёжные ответы; для применения нужны проверка результатов и человеческий контроль. Лицензия — MIT.

RedHatAI/DeepSeek-R1-Distill-Qwen-32B-FP8-dynamic — это квантизированная версия языковой модели DeepSeek-R1-Distill-Qwen-32B, разработанная Neural Magic. Модель построена на архитектуре Qwen2ForCausalLM, принимает текстовые входные данные и генерирует текст, поэтому предназначена для задач диалога, рассуждений, ответов на вопросы и других сценариев применения каузальных языковых моделей. Поддерживаемые языки и размер контекстного окна в README не указаны. Модель содержит около 32 млрд параметров и использует FP8-квантизацию весов и активаций, что примерно вдвое снижает объём хранения и требования к GPU-памяти по сравнению с представлением FP16. Квантизации подвергаются линейные операторы внутри трансформерных блоков: веса квантизуются симметрично по каналам, а активации — симметрично по токенам. Для подготовки использован LLM Compressor, а эффективное развертывание рекомендуется через vLLM. По приведённым результатам FP8-версия сохраняет около 99% средних показателей исходной модели на тестах рассуждений и OpenLLM Leaderboard, хотя на отдельных наборах качество немного снижается. Ограничения включают возможные потери точности из-за квантизации, необходимость совместимого программного и аппаратного окружения для эффективной работы с FP8, а также отсутствие в README сведений о контекстном окне и языковом охвате. Модель распространяется по лицензии MIT.

AtomicChat/gemma-4-E2B-it-GGUF — это текстовая GGUF-квантизированная версия модели google/gemma-4-E2B-it, подготовленная Atomic Chat из оригинальных весов Google с использованием importance matrix. Модель предназначена для локального и полностью автономного запуска в задачах генерации текста, чат-диалогов, рассуждений, программирования и обработки длинного контекста. Для корректного применения шаблона диалога требуется поддержка Gemma 4 chat template. Модель имеет 2,3 млрд эффективных параметров и 5,1 млрд параметров с учётом эмбеддингов, 35 слоёв и контекст до 128K токенов. Это плотный decoder с гибридным вниманием: sliding-window attention с окном 512 токенов и глобальное внимание; используется 8 attention heads и 1 KV head. Базовая модель поддерживает текст, изображения и аудио, однако данный репозиторий содержит только текстовые GGUF-кванты и не включает vision projector. Доступны варианты от Q2_K до Q8_0, включая рекомендуемый баланс качества и размера Q4_K_M. Сильные стороны модели — небольшой размер, возможность офлайн-развёртывания, длинный контекст и несколько уровней квантизации, позволяющих подобрать соотношение скорости, потребления памяти и качества. Уровень качества зависит от выбранного кванта: низкобитные варианты экономичнее, но сильнее теряют точность, тогда как Q6_K и Q8_0 ближе к полноточной версии. Приведённые в README результаты являются опубликованными показателями базовой модели Google, а не независимыми измерениями данного репозитория. Модель распространяется по лицензии Apache-2.0.

cyankiwi/GLM-4.5-Air-AWQ-4bit — это 4-битная AWQ-квантизованная версия модели GLM-4.5-Air, разработанной Zhipu AI (zai-org). Модель относится к семейству фундаментальных моделей для интеллектуальных агентов и предназначена для генерации текста, рассуждений, программирования и взаимодействия с инструментами. GLM-4.5-Air использует гибридный режим рассуждений: thinking mode подходит для сложных задач и работы с инструментами, а non-thinking mode — для быстрых ответов. Модель имеет 106 млрд общих параметров и 12 млрд активных параметров, что указывает на разреженную архитектуру с активацией части параметров при обработке запроса. Заявлены поддерживаемые языки English и Chinese; модель относится к текстовым моделям и используется через библиотеку Transformers. Размер контекста в предоставленных данных не указан. 4-битная AWQ-квантизация снижает требования к памяти и может упростить локальный запуск, однако README не содержит количественной оценки влияния квантизации на качество или полного перечня совместимых аппаратных платформ. Ограничения по производительности, точности и применению в отдельных сценариях также не раскрыты. Модель распространяется по лицензии MIT, допускающей коммерческое использование и вторичную разработку.

GLM-5.2-NVFP4 — это квантизированная версия языковой модели GLM-5.2, разработанной zai-org и подготовленной сообществом local-inference-lab. Модель предназначена для генерации текста, диалоговых сценариев, программирования, многошаговой агентной работы, tool calling и function calling. Заявлена поддержка английского и китайского языков; модель опубликована для использования с Transformers и относится к классу text-generation. В основе лежит Mixture-of-Experts-модель на 744 млрд параметров, из которых около 40 млрд активируются для каждого токена. В каждом MoE-слое предусмотрено 256 экспертов, восемь из которых выбираются на токен; также используется архитектура DeepSeek Sparse Attention (DSA). Квантизация NVFP4 выполнена напрямую из полноразмерного BF16-чекпойнта GLM-5.2, а не из FP8-версии. В NVFP4 переведены только MLP-проекции неразделяемых MoE-экспертов, тогда как веса attention, плотных MLP-слоёв и общих экспертов сохранены в BF16, что снижает требования к памяти при сохранении значительной части исходной точности. Калибровка охватывала кодирование, разнообразные пользовательские диалоги и длинные последовательности свыше 8K токенов, включая английские и китайские системные промпты. Сильными сторонами модели являются крупный объём параметров, разреженная активация экспертов, оптимизация под задачи программирования и агентного взаимодействия, а также существенная экономия памяти благодаря NVFP4. Ограничения включают высокие требования к оборудованию: рекомендована конфигурация из восьми GPU RTX PRO 6000 Blackwell по 96 ГБ с b12x MoE runner. Максимальная длина контекста, точные показатели качества и полный перечень поддерживаемых языков в README не указаны. Модель распространяется по лицензии MIT.

GLM-5.3-Flash-GGUF — квантизованное GGUF-представление модели GLM-5.3-Flash, разработанной командой GLM-5 и распространяемой в данном формате Unsloth. Модель предназначена для генерации текста, программирования, агентских сценариев и работы с мультимодальными данными. Заявлена поддержка английского и китайского языков. Модель имеет гибридную архитектуру, сочетающую разреженное и линейное внимание, а также использует Manifold-Constrained Hyper-Connections для повышения эффективности масштабирования. Общий размер составляет 320 млрд параметров, из них 18 млрд активны при обработке запроса. Это первая нативно мультимодальная модель серии GLM-5; обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. Архитектура ориентирована на снижение стоимости обработки длинного контекста при сохранении возможностей работы с большими объёмами данных, однако точный размер контекстного окна в README не указан. К сильным сторонам относятся мультимодальность, высокая заявленная эффективность, поддержка длинного контекста, задачи программирования и автономной работы с инструментами. Ограничения включают отсутствие подробных сведений о конкретных модальностях, точных характеристиках GGUF-квантизации и требованиях к оборудованию. Модель распространяется по лицензии MIT; для запуска рекомендуется совместимый стек llama.cpp или Unsloth Desktop.

Granite-3.0-1B-A400M-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых ассистентов, в том числе для бизнес-сценариев. Это дообученная версия Granite-3.0-1B-A400M-Base: обучение включало supervised fine-tuning, выравнивание с помощью обучения с подкреплением и слияние моделей. Модель использует декодерный разреженный Transformer с архитектурой Mixture of Experts (MoE); в метаданных указан размер 163,6 млн параметров и контекст до 4096 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, вызова функций и многоязычного диалога. Карточка заявляет поддержку английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Лицензия — Apache 2.0. Качество на языках кроме английского может быть ниже; few-shot-примеры могут улучшить ответы в многоязычных сценариях. Модель способна выдавать неточные, предвзятые или небезопасные ответы, поэтому её следует проверять и настраивать для конкретного применения.

LFM2.5-8B-A1B-ThinkingCap-GGUF — GGUF-сборка модели LFM 2.5 8B ThinkingCap, основанная на весах Liquid AI LFM 2.5 8B A1B и аблитерированной версии huihui-ai. Модель дообучена osk-arr00 с применением Supervised Fine-Tuning (SFT) и Direct Preference Optimization (DPO) и ориентирована на рассуждения, генерацию текста, структурированные ответы и tool-calling. Заявлена поддержка английского и испанского языков. Архитектура представляет собой гибридную модель с 36 слоями одномерных коротких свёрток и MoE-основой на 32 эксперта. Всего модель содержит около 8,47 млрд параметров, из которых примерно 1,2 млрд активны на каждый токен. В репозитории доступны варианты GGUF от BF16 до Q4, включая специализированные APEX и ROCmFPX-квантизации для AMD Strix Halo с архитектурой RDNA 3.5 и gfx1151, а также версии для llama.cpp, Vulkan, CPU и CUDA. Указана поддержка глобального контекста до 256K токенов в серверном сценарии, однако точные ограничения зависят от сборки и конфигурации. Сильными сторонами являются ориентация на reasoning, детерминированные структурированные ответы, англо- и испаноязычная генерация, широкий выбор квантизаций и оптимизация для AMD Strix Halo. Ограничения включают зависимость производительности от аппаратной платформы, рантайма, квантизации и параметров запуска; приведённые показатели относятся к AMD Ryzen AI Max 385 с 64 ГБ LPDDR5X и не гарантируют аналогичную скорость на других системах. Лицензия обозначена как lfm1.0; конкретные условия следует уточнять в приложенном файле лицензии.

Liberated-Qwen1.5-72B — диалоговая языковая модель AbacusAI и Eric Hartford, дообученная методом qLoRA на основе Qwen/Qwen1.5-72B. Она предназначена для многошаговых бесед, следования системным инструкциям, в том числе необычным или формальным, а также для общих задач ассистента и помощи с кодом. Модель использует плотную архитектуру Qwen2ForCausalLM, содержит 71 млрд параметров и поддерживает контекст до 32 768 токенов; обучение проводилось на последовательностях длиной 8 000 токенов. Для диалогов применяется формат ChatML. В обучении использованы открытые наборы данных, включая OpenHermes-2.5, Code-Feedback и собственный синтетический набор SystemChat. Разработчик сообщает о результате 77,13 на MMLU для контрольной версии обучения. В датасете не добавлялись ограничения на содержание, поэтому при развёртывании сервиса следует самостоятельно настроить подходящий слой выравнивания и фильтрации. Модель распространяется по лицензии tongyi-qianwen.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель NVIDIA для чата, рассуждений и генерации текста. Это эталонные веса BF16 модели с гибридной архитектурой Mixture-of-Experts: слои Mamba-2 чередуются со слоями MoE и отдельными слоями Attention. Всего модель содержит 30 млрд параметров, из которых активно задействуются 3 млрд; также используются слои Multi-Token Prediction. Модель предназначена прежде всего для дообучения, адаптации к предметным областям и задачам, оценки и создания производных квантованных вариантов. Её можно применять как основу для чат-ботов, систем RAG и агентных приложений; карточка рекомендует для прямого развёртывания оптимизированный релиз NVFP4. В карточке заявлен контекст до 1 млн токенов, при этом на одной H100 80 ГБ BF16 проверен до 256 тыс. токенов из-за ограничений памяти. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский, японский и китайский. В метаданных указано 1,9 млрд параметров, что расходится с README, где заявлены 30 млрд всего и 3 млрд активных. Метаданные указывают лицензию other, а README сообщает о готовности к коммерческому использованию; конкретные условия лицензии следует сверять с файлами репозитория.

Это версия NVIDIA Nemotron 3 Nano 30B-A3B в формате GGUF BF16, подготовленная DevQuasar на основе модели nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16. Модель предназначена для генерации текста и диалогового использования. Базовая модель NVIDIA описана как языковая модель для диалогов, рассуждений, программирования и создания агентных приложений; она поддерживает шесть языков и длинный контекст. В карточке этой версии не приведены дополнительные сведения о размере контекста или конкретных языках. Репозиторий содержит формат GGUF BF16. Лицензия и отдельные ограничения этой версии в предоставленных данных не указаны; условия использования следует сверить с карточкой базовой модели.

OpenChat-3.6-8B-20240522 — диалоговая языковая модель команды OpenChat, созданная дообучением Meta-Llama-3-8B с использованием смешанных по качеству данных и метода C-RLFT. Модель имеет плотную архитектуру LlamaForCausalLM примерно на 7,5 млрд параметров и контекст до 8192 токенов; веса доступны в формате safetensors, для работы используется библиотека Transformers. Модель предназначена для чата, генерации текста и кода, а также общих задач по умолчанию. Авторы рекомендуют использовать шаблон диалога OpenChat и предлагают сервер с совместимым с OpenAI ChatCompletion API интерфейсом; в README заявлена возможность запуска на потребительском GPU с 24 ГБ памяти. Карточка сообщает о сравнении с Llama-3-8B-Instruct и другими открытыми моделями, но не приводит здесь независимой оценки качества. Лицензия — Llama 3; применяются её условия использования.

Ornith-1.5-9B-NVFP4-MTP-GGUF — это квантованный GGUF-артефакт модели Ornith-1.5-9B, разработанной ornith-ai и подготовленной пользователем Avifenesh. Модель предназначена для генерации текста, диалоговых сценариев, работы с кодом и задач, поддерживающих XML-вызов инструментов и рассуждения в формате <think>. Артефакт ориентирован на инференс через tiyuvta serving engine и GPU архитектуры NVIDIA Blackwell; для upstream llama.cpp и Ollama рекомендуется использовать официальные BF16–Q8_0 GGUF-файлы без MTP-головы. Основная модель имеет 9 млрд параметров, контекст до 262 144 токенов, словарь размером 248 320 и текстовую text-to-text модальность; vision tower в этот артефакт не включён. Используется NVFP4-квантизация с 4-битными весами и FP8-масштабами на блок, при этом эмбеддинги и выходная голова представлены в Q5_K, а нормы — в F32. Размер файла составляет около 5,4 ГБ вместо 18,8 ГБ в BF16. В артефакт добавлена MTP-голова, заимствованная из Qwen3.5-9B; она используется для speculative decoding и не должна изменять итоговые токены, поскольку каждый спрогнозированный токен проверяется целевой моделью. На тестах заявлена токен-в-токен идентичность с обычной greedy-декодировкой и принятие до 59% черновых токенов при K=3, однако показатели производительности в токенах в секунду не приводятся и зависят от оборудования. Лицензия основного Ornith-1.5-9B указана как MIT; MTP-голова происходит из Qwen3.5-9B под Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-REAM — сжатая версия Qwen3-30B-A3B-Instruct-2507, представленная как модель Samsung SAIL Montréal. Она предназначена для диалогов, выполнения инструкций и генерации текста. В MoE-слоях число экспертов уменьшено со 128 до 96 методом REAM; README сообщает о 23 млрд параметров и объёме файлов 44 ГБ против 31 млрд параметров и 57 ГБ у исходной модели. Это снижает требования к хранению и памяти GPU примерно на 25%. По оценке авторов, модель сохраняет не менее 94% исходной производительности на ряде тестов, хотя результаты зависят от задачи. Модель принимает текст и генерирует текст. Метаданные указывают контекст до 262 144 токенов, библиотеку Transformers и формат safetensors. В README приведены тесты на следование инструкциям, математические задачи, вопросы с вариантами ответа и генерацию кода. Метаданные указывают лицензию Apache-2.0. В README заявлено 23 млрд параметров, тогда как метаданные каталога указывают 2,6 млрд; размер параметров стоит сверить с файлами модели перед планированием вычислительных ресурсов.

Minachist/Qwen3.6-35B-A3B-INT8-AutoRound — неофициальная INT8-квантизированная версия модели Qwen3.6-35B-A3B, разработанная Minachist на основе Qwen от команды Qwen. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, однако в README конкретные поддерживаемые языки и полный перечень задач не указаны. Она рассчитана на запуск через Transformers и vLLM, включая использование в качестве языковой модели, генерацию кода, рассуждения и вызовы инструментов при соответствующей настройке vLLM. Модель использует схему W8A16 и квантизацию AutoRound от Intel. Доступны варианты с group size 128 и 32, а основная ветка использует конфигурацию, требующую примерно на 3,2 ГБ меньше VRAM, чем вариант gs32, при почти идентичном качестве. Часть компонентов, включая visual, mtp, linear_attn, mlp.gate, shared_expert, embed_tokens и lm_head, не квантизирована; в отдельных вариантах также сохраняется self_attn. Размер базовой модели обозначен как 35B-A3B, но сведения о контекстном окне и точных модальностях базовой модели отсутствуют. Сильными сторонами являются существенное снижение требований к памяти при сохранении качества, близкого к BF16: для MMLU-Redux указано 93,28% против 93,3% в официальной оценке BF16. Ограничения включают зависимость от совместимых версий vLLM и CUDA, необходимость подходящей GPU-конфигурации, а также известные проблемы с vLLM v0.20.1. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-OBLITERATED-W4A16-24GB — это 4-битная GPTQ-квантизованная версия модели OBLITERATUS/Qwen3.8-27B-OBLITERATED, опубликованная пользователем quocbao747. Модель предназначена для генерации текста, диалогов, программного кода и задач рассуждения; она рассчитана на запуск через vLLM с ядром Marlin на одной видеокарте объёмом 24 ГБ, например RTX 4090. Модель содержит 27 млрд параметров и использует схему W4A16: int4-квантизация весов с симметричным group size 128 и статическим actorder. Формат — compressed-tensors/pack-quantized. Сохранены vision tower для мультимодальных возможностей и MTP head для speculative decoding, однако поддерживаемые языки и точный перечень мультимодальных сценариев в карточке не указаны. Заявлен контекст до 81 920 токенов, а в измерениях на RTX 4090 максимальный фактически помещавшийся запрос составлял 72 000 токенов с учётом служебных токенов шаблона. К сильным сторонам относятся небольшое для модели такого размера потребление памяти, высокая скорость декодирования и близкое к исходной модели качество: результат MMLU составил 81,63% против 82,3% у исходной версии в BF16. Ограничения включают снижение качества из-за квантизации, значительный рост времени обработки длинных промптов и резкое ухудшение задержек при высокой конкуренции и больших контекстах. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-ROCmI4-MTP-GGUF — это конвертированная и квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем cafonez. Модель представлена в формате GGUF и предназначена для локального запуска через совместимые сборки ROCmFPX на оборудовании AMD, прежде всего Strix Halo с архитектурой gfx1151. Репозиторий содержит языковую модель и дополнительный мультимодальный проектор для обработки изображений и видео; для текстовых сценариев проектор не требуется. Модель имеет архитектуру qwen35, около 27,32 млрд параметров, контекст до 262 144 токенов и квантизацию весов Q4_0_ROCMI4. В основной файл встроена одноступенчатая голова NextN/MTP, поэтому отдельная draft-модель не нужна. Она ориентирована на генерацию и обработку текста, включая программирование, структурированные данные и диалоги, а при подключении mmproj также поддерживает мультимодальные входы с изображениями и видео. README не указывает перечень поддерживаемых языков. Сильными сторонами являются большой контекст, снижение требований к памяти благодаря четырёхбитной квантизации, встроенный MTP и возможность ускоренного пути W4A4 на совместимом оборудовании AMD. Ограничения связаны с экспериментальным характером ROCmI4/IU4, необходимостью специальной сборки ROCmFPX и совместимого GPU; стандартные сборки llama.cpp не ожидаются совместимыми. Путь W4A4 может быть быстрее, но добавляет потери из-за четырёхбитной квантизации активаций, а эффективность MTP зависит от характера текста. Модель распространяется по лицензии Apache-2.0.