II.3Рефакторинг, миграция и модернизация

coder3101/gemma-4-19b-a4b-it-REAP-heretic — разговорная модель на архитектуре Gemma 4, опубликованная автором репозитория coder3101. Это производная от 0xSero/gemma-4-19b-a4b-it-REAP: модель с разреженной экспертной архитектурой MoE, в которой после pruning осталось 90 экспертов на слой и около 4 млрд активных параметров на токен при общем размере примерно 19 млрд параметров. В README также описана abliteration, снижающая частоту отказов в приведённой автором проверке с 94 до 6 из 100 запросов. Модель предназначена для диалоговой генерации текста, рассуждений и задач программирования; поддерживает текстовые и визуальные входы, режим thinking и контекст до 262 144 токенов. По приведённым тестам она сохраняет результаты на простых математических задачах и кодировании, но pruning заметно снижает точность на некоторых знанияёмких темах. Метаданные указывают лицензию Gemma; перед использованием следует учитывать её условия.

Granite-4.2-3B GGUF — это набор квантизированных версий компактной reasoning-модели Granite-4.2-3B, разработанной IBM и распространяемой пользователем NANI-Nithin в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста, решения математических и многошаговых задач, программирования, агентских сценариев и вызова инструментов. Она поддерживает встроенное рассуждение с использованием блоков <think>...</think> и режимы полного, отключённого и облегчённого рассуждения, позволяющие выбирать баланс между качеством и задержкой ответа. Модель построена как плотный decoder-only Transformer с 3 млрд параметров, Grouped Query Attention с 40 attention heads и 8 KV heads, RoPE с θ = 10 000 000 и MLP-блоками. Заявлено контекстное окно 512K токенов, подходящее для длинных документов, многошаговых диалогов и сложных agentic workflows. В README явно указана текстовая генерация; сведения о поддерживаемых языках и мультимодальности не приведены. К сильным сторонам относятся малый размер, встроенное reasoning, гибкие режимы рассуждения, поддержка reasoning-augmented tool calling и широкий выбор квантизаций — от BF16 и почти без потерь Q8_0 до сильно сжатых вариантов для устройств с ограниченной памятью. К ограничениям относятся неизбежное снижение качества при агрессивной квантизации, а также отсутствие в предоставленных данных результатов бенчмарков и подробностей о языковом покрытии. Модель и её квантизированные варианты заявлены под лицензией Apache 2.0, допускающей коммерческое и исследовательское использование.

KAT-V1-40B (Kwaipilot-AutoThink) — открытая большая языковая модель, разработанная Kwaipilot. Она обучена выбирать, когда явно разворачивать ход рассуждений, а когда отвечать напрямую, чтобы снижать избыточные рассуждения. Модель построена на архитектуре Qwen2, имеет 39,8 млрд параметров и контекстное окно 131 072 токена; для работы с ней указана библиотека Transformers. Модель предназначена для генерации текста в диалогах и решения задач, где полезны как развёрнутые рассуждения, так и краткие ответы. README описывает структурированный формат ответа с режимами включённого и пропущенного рассуждения; метаданные также отмечают интерфейс вызова инструментов. В README сообщается о высоком результате Kwaipilot-AutoThink на LiveCodeBench Pro, но это не раскрывает показатели именно данного чекпойнта KAT-V1-40B. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому конкретные условия использования следует проверять в карточке модели. README сообщает, что документация AutoThink и дополнительные обучающие ресурсы планируются к публикации; подробности обучения и ограничения качества этой версии в предоставленных данных не раскрыты.

Llama 3.1 Tulu 2 8B — языковая модель-помощник, разработанная AI2 и дообученная на базе Meta-Llama-3.1-8B. Модель с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и рассчитана на контекст до 131 072 токенов. Она обучена на смеси открытых, синтетических и созданных людьми данных, включая набор инструкций и диалогов Tulu V2; основной язык — английский. Модель предназначена для диалогового общения и выполнения пользовательских инструкций: она генерирует ответы на вопросы, помогает с рассуждениями и решает разнообразные текстовые задачи. В опубликованных оценках показаны результаты по знаниям, математическим задачам, программированию, следованию инструкциям и безопасности ответов. Модель распространяется под лицензией Apache 2.0; README также указывает на включённую лицензию Meta Llama 3.1. Tulu не проходила этап RLHF для выравнивания безопасных ответов и не использует фильтрацию ответов во время работы, поэтому может выдавать проблемный контент, особенно при соответствующих запросах.

lmstudio-community/Meta-Llama-3.1-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta Llama 3.1 70B Instruct, подготовленная сообществом lmstudio-community и квантизированная bartowski. Базовую модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии обработки естественного языка. Модель относится к семейству Llama 3.1 и использует архитектуру, поддерживаемую библиотекой Transformers; доступна в формате GGUF для локального запуска в совместимых инструментах. Заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер контекста, конкретный вариант квантизации и модальности в README не указаны; по представленным данным это текстовая модель. К сильным сторонам относятся большой размер 70B и инструкционная настройка, потенциально обеспечивающие высокое качество ответов и следование запросам. Ограничениями являются высокая потребность в вычислительных ресурсах даже после квантизации, а также отсутствие в предоставленных данных подробных сведений о производительности, точности и поддерживаемом контексте. Модель распространяется по Llama 3.1 Community License Meta с требованиями к атрибуции, указанию «Built with Llama» при распространении и соблюдению Acceptable Use Policy.

TheBloke/Mixtral-8x7B-v0.1-GPTQ — это GPTQ-квантизированная версия языковой модели Mixtral 8x7B v0.1, разработанной Mistral AI и подготовленной к публикации в формате GPTQ командой TheBloke. Модель предназначена для генерации и обработки текста, включая диалоговые и другие сценарии применения больших языковых моделей. В метаданных указаны английский, французский, итальянский, немецкий и испанский языки. Архитектура обозначена как Mixtral; исходная модель имеет конфигурацию 8×7B, однако точные сведения о контекстном окне в представленном README отсутствуют. Репозиторий содержит несколько вариантов 4-битной GPTQ-квантизации с разными параметрами group size и Act Order, что позволяет выбирать компромисс между требованиями к видеопамяти и точностью. Размер основного варианта составляет около 23,81 ГБ, а другого варианта — около 24,70 ГБ. Для работы требуются Transformers версии 4.36.0 или новее и совместимая реализация AutoGPTQ либо специальная версия Transformers; поддерживаются Linux с GPU NVIDIA или AMD и Windows с GPU NVIDIA. macOS в README не поддерживается для GPTQ-вариантов. Модель распространяется по лицензии Apache-2.0.

Qemma — компактная гибридная языковая модель Convergent Intelligence LLC, объединяющая веса Gemma 3 1B и Qwen 3 0.6B. В архитектуре используются основа и MLP-блоки Gemma 3, а также механизм внимания и выходная голова в стиле Qwen, согласованные с размерностью Gemma. Модель использует токенизатор и шаблон диалога Gemma 3; объём параметров — около 1 млрд, контекст — до 32 768 токенов. После объединения весов модель дообучена на инструкциях для диалогов и пошаговых рассуждений. Она предназначена для генерации ответов, анализа, помощи с кодом и дальнейшего дообучения. Указанные в карточке обучающие наборы включают OpenO1-SFT, Alpaca Cleaned и GPT-OSS reasoning STEM 5K; заявлен английский язык. Модель может галлюцинировать, поэтому её ответы не подходят для критически важных решений в медицине, праве и финансах. Лицензия — OSL-3.0; при использовании следует учитывать лицензии базовых моделей и обучающих данных.

RedHatAI/Qwen2-72B-Instruct-FP8 — это текстовая instruction-tuned модель для диалоговых и ассистентских сценариев, созданная Neural Magic на основе Qwen2-72B-Instruct. Модель принимает текст и генерирует текст; заявлена для коммерческого и исследовательского использования на английском языке. Модель содержит 72 млрд параметров и использует FP8-квантизацию весов и активаций линейных операторов в трансформерных блоках. Симметричная поканальная схема не используется: применяется симметричная поквантовая схема с одним масштабным коэффициентом на тензор. Это примерно вдвое снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битной версией. Модель подготовлена для инференса через vLLM версии 0.5.0 и выше; в примерах развертывания и оценки используется максимальная длина контекста 4096 токенов. К сильным сторонам относятся существенное снижение требований к ресурсам при сохранении качества исходной модели: средний результат на OpenLLM benchmark составляет 80,34 против 79,97 у неквантизированной версии. Ограничения включают ориентацию на английский язык, необходимость совместимого FP8-оборудования и программного стека для эффективного запуска, а также отсутствие в README сведений о поддержке изображений или других модальностей. Лицензия указана как tongyi-qianwen; применение должно соответствовать условиям этой лицензии и законодательству.

RedHatAI/Qwen3-32B-NVFP4 — квантованная версия языковой модели Qwen/Qwen3-32B, разработанная RedHatAI. Модель принимает текст и генерирует текст, предназначена для задач текстовой генерации и развёртывания через vLLM, включая совместимый с OpenAI API режим сервинга. Релиз модели состоялся 25 июня 2025 года, версия — 1.0. В модели применена FP4-квантизация весов и активаций линейных операторов внутри блоков Transformer. Квантизация выполнена с помощью LLM Compressor по схеме NVFP4; веса квантизуются с группой 16, а активации используют калиброванный глобальный масштаб. По сравнению с 16-битным представлением это примерно на 75% уменьшает размер модели на диске и требования к GPU-памяти. Для инференса заявлена совместимость с vLLM версии 0.9.1 и выше, возможен тензорный параллелизм на нескольких GPU. Модель сохраняет близкие к исходной Qwen3-32B результаты на указанных бенчмарках OpenLLM, MMLU, GSM8K, HellaSwag, ARC и HumanEval, однако FP4-квантизация может влиять на точность в отдельных сценариях. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, но документация ограничивает использование английским языком и запрещает применение с нарушением законодательства. Лицензия — Apache 2.0.

mlx-community/Qwen3-4B-bf16 — конверсия модели Qwen/Qwen3-4B в формат MLX, выполненная сообществом mlx-community; веса представлены в bf16. Это плотная авторегрессионная языковая модель Qwen3 с примерно 3,7 млрд параметров, предназначенная для генерации текста и диалогов. Она поддерживает контекст до 40 960 токенов, а метаданные также указывают интерфейс для вызова инструментов. Модель можно применять для ответов в чате, рассуждений, генерации кода и многоязычных текстовых задач. Для запуска используется библиотека MLX и пакет mlx-lm; карточка README описывает преобразование исходной модели Qwen/Qwen3-4B в формат MLX. Лицензия — Apache-2.0.

batiai/Qwen3.8-27B-GGUF — это квантизированная версия модели Qwen3.8-27B, основанной на архитектуре Qwen3.5. Квантизацию выпустила BatiAI на базе официального релиза Qwen. Модель предназначена для локального запуска через llama.cpp и Ollama, включая использование на устройствах Apple Silicon. Модель представляет собой плотную модель на 27 млрд параметров с 64 слоями, скрытым размером 5120 и словарём из 248 320 токенов. Она использует гибридную архитектуру с преимущественно линейным вниманием Gated DeltaNet и полным вниманием в каждом четвёртом блоке. Нативный контекст составляет 262 144 токена и заявлена возможность расширения до 1 млн токенов. Поддерживаются текстовые сценарии, а при подключении vision-проектора BF16 — анализ изображений и видео. Заявлены языки английский, корейский и китайский. Модель ориентирована на генерацию текста, рассуждения, планирование и агентские сценарии с обработкой обратной связи от окружения. Режим рассуждений включён по умолчанию, его можно отключать и настраивать через reasoning_effort. Доступно несколько вариантов квантизации объёмом примерно от 10,2 до 22,1 ГБ, а vision-проектор требует ещё около 0,93 ГБ. Квантизация снижает требования к памяти, но может влиять на качество по сравнению с полноточной моделью; конкретные требования зависят от выбранного варианта и оборудования. На Apple Silicon производительность разных квантизаций неодинакова, поэтому меньший файл не всегда означает более высокую скорость. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео, а также работы с длинным контекстом. Профиль Aggressive ориентирован на прямые ответы без выраженного поведения отказа и с минимальными предварительными пояснениями в сложных запросах. Это плотная causal language model на 27 млрд параметров с vision encoder: 64 слоями, размером скрытого представления 5120, FFN размером 17408, словарём 248 320 токенов, 48 слоями Gated DeltaNet и 16 слоями gated attention. Поддерживаются английский, китайский и другие языки; заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000. В текстовых GGUF сохранён встроенный NextN/MTP, а отдельный FastMTP-профиль предназначен для ускорения спекулятивного декодирования. Для входных изображений и видео требуется отдельный vision projector BF16. К сильным сторонам относятся широкий набор текстовых и мультимодальных возможностей, очень длинный контекст, несколько вариантов квантизации и ускорение FastMTP. Агрессивный профиль может быть менее подходящим для надёжно контролируемых и критичных к безопасности агентских задач, поскольку он специально уменьшает склонность к отказам. Доступны квантизованные файлы GGUF размером примерно от 10,32 до 31,46 ГБ; K_P-квантизации оптимизированы под эту модель. Лицензия — Apache-2.0.

Qwythos-9B-v2-GGUF — набор GGUF-квантизаций модели Qwythos-9B-v2, разработанной Empero AI, предназначенный для запуска через llama.cpp, Ollama, LM Studio, jan, KoboldCpp и другие совместимые среды. Модель ориентирована на рассуждения, генерацию текста, вызов функций и мультимодальные сценарии с анализом изображений. Это 9-миллиардная гибридная модель с сочетанием блоков Gated-DeltaNet линейного внимания и полноформатного внимания в соотношении 3:1. Доступны варианты от Q4_K_M до BF16, включая версии с восстановленной MTP-головой для speculative decoding. Заявлены английский язык, контекст до 1 млн токенов с YaRN и поддержка изображений через отдельный vision projector, совместимый с Qwen3.5-9B. Версия v2 устраняет зацикливание при жадном и низкотемпературном декодировании, сохраняя показатели знаний и рассуждений на уровне базовой модели или выше; модель при этом намеренно uncensored. Для работы с изображениями требуется файл mmproj, а для MTP-ускорения — свежая сборка llama.cpp с поддержкой draft-mtp. Q4_K_M рекомендуется как начальный вариант благодаря балансу размера и качества, однако квантизация может снижать точность по сравнению с BF16. Модель распространяется по лицензии Apache-2.0.

R1-Stheno-8B — объединённая языковая модель автора harkov000, созданная с помощью mergekit методом SLERP из DeepSeek-R1-Distill-Llama-8B и Llama-3.1-8B-Stheno-v3.4. Это плотная модель семейства Llama с примерно 7,5 млрд параметров, предназначенная для генерации текста в диалогах и многошаговых рассуждений. В метаданных указано контекстное окно 131 072 токена; модель распространяется в формате safetensors и рассчитана на работу через Transformers. Сочетание базовых моделей ориентирует её на диалоговую генерацию и задачи рассуждения, включая решение математических задач и программирование. Метаданные отмечают интерфейс вызова инструментов, однако README не описывает его формат или надёжность. Лицензия в предоставленных сведениях не указана.

Seed-OSS-36B-Base — базовая большая языковая модель команды ByteDance Seed, опубликованная под лицензией Apache-2.0. Это плотная авторегрессионная модель на архитектуре Seed-OSS с 31,7 млрд параметров по метаданным; в карточке семейства указаны RoPE, групповое внимание GQA, RMSNorm и активация SwiGLU. Модель принимает текст и генерирует текст. Модель предназначена для дообучения и применения в задачах общего назначения, рассуждений, работы с длинными контекстами и построения агентных систем. Она обучена на 12 трлн токенов, нативно поддерживает контекст до 524 288 токенов и позволяет управлять бюджетом рассуждений. Версия Base включает синтетические инструкционные данные в предобучение; команда также выпустила вариант без этих данных и отдельную версию Instruct. Семейство ориентировано на международное использование. Карточка рекомендует выбирать длину рассуждений с учётом сложности задачи; результаты зависят от бюджета и настроек генерации. Для запуска доступны Transformers и vLLM.

Seed-OSS-36B-Instruct-AWQ-4bit — квантизированная 4-битная версия инструкционной языковой модели Seed-OSS-36B-Instruct, разработанной командой ByteDance Seed. Квантизация выполнена с использованием llm-compressor от vLLM и набора данных Llama-Nemotron-Post-Training-Dataset. Модель предназначена для генерации текста, диалоговых систем, задач рассуждения, агентских сценариев с использованием инструментов и приложений, требующих обработки длинного контекста. Модель основана на архитектуре causal language model с RoPE, GQA, RMSNorm и активацией SwiGLU. Она содержит около 36 миллиардов параметров, 64 слоя, скрытый размер 5120, словарь примерно из 155 тысяч токенов и поддерживает контекст до 512K токенов. Указанные языки — английский и китайский; семейство Seed-OSS в целом ориентировано на международные сценарии. Предусмотрено гибкое управление бюджетом рассуждения, что позволяет выбирать компромисс между качеством и скоростью вывода. Основные преимущества этой версии — существенно сниженные требования к памяти по сравнению с полноразмерной моделью и сохранение возможностей исходной инструкционной модели для общих, логических и агентских задач. Ограничения связаны с 4-битной квантизацией, которая может снижать точность по сравнению с исходными весами, а также с высокой вычислительной нагрузкой модели на 36B параметров. Для работы требуются совместимые реализации Transformers и инфраструктура, поддерживающая AWQ; в README приведён пример запуска через vLLM с tensor parallelism. Модель распространяется по лицензии Apache-2.0.

XVERSE-13B-256K — многоязычная плотная авторегрессионная языковая модель, разработанная Shenzhen Yuanxiang Technology. Это длинноконтекстная версия XVERSE-13B-2: модель прошла продолжение предобучения с настройкой ABF и дообучение с учителем на основе NTK. В метаданных указано 13,2 млрд параметров; README заявляет окно контекста до 256 тысяч токенов, тогда как метаданные указывают native context в 32 768 токенов. Модель предназначена для работы с длинными документами и последовательностями: ответов на вопросы по одному или нескольким текстам, суммаризации литературы и отчетов, анализа текстов и дополнения кода. Для расширения контекста применяются RoPE с измененной базовой частотой и динамическая интерполяция NTK; обучение включало длинные последовательности от 32K до 256K. README описывает многоязычные возможности и приводит оценку на LongBench с задачами на английском, китайском и кодом. Модель принимает текст и генерирует текст. Она может выдавать неточные, предвзятые или оскорбительные ответы, поэтому результаты требуют проверки, а перед развертыванием рекомендуется провести тесты безопасности для конкретного применения. Лицензия Apache-2.0.

airoboros-34b-3.2 — экспериментальная разговорная языковая модель jondurbin, дообученная на базе 01-ai/yi-34b-200k с использованием преимущественно синтетических данных набора airoboros-3.2 и ряда сторонних датасетов. Это плотная модель семейства Llama с 33,9 млрд параметров, предназначенная для генерации текста в формате чата. Модель подходит для ответов на вопросы по заданному контексту, суммаризации, написания и дополнения кода, многошагового диалога и формирования планов действий или аргументов функций в JSON либо YAML. Карточка сообщает, что при дообучении использовалась длина контекста 8 тыс. токенов, хотя базовая модель поддерживает 200 тыс.; результаты за пределами 8 тыс. токенов могут быть ненадёжными. Для ответов по контексту рекомендуется явно отделять источники и инструкции, а также использовать низкую температуру. Модель распространяется в формате safetensors. В метаданных указана лицензия other; конкретные условия следует уточнить в карточке репозитория перед использованием. Автор характеризует модель как экспериментальную.

bagel-7b-v0.1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием mistralai/Mistral-7B-Instruct-v0.1 и jondurbin/bagel-7b-v0.1 методом SLERP; веса представлены в формате safetensors. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Контекст составляет до 32 768 токенов. В карточке указана лицензия Apache-2.0. Языки модели в предоставленных данных не перечислены.

Bagel 7B v0.4 — текстовая диалоговая модель, созданная Джоном Дёрбином путём дообучения Mistral 7B. Это версия до DPO-обучения; автор отмечает её пригодность для ролевых диалогов. Модель рассчитана на генерацию ответов, выполнение инструкций, вопросы и ответы по контексту, творческое письмо, программирование, математику и вызов функций. В README описан широкий набор обучающих данных: от чатов и ролевых сценариев до задач по Python, SQL, естественным наукам и пониманию прочитанного. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она принимает и генерирует текст. Для диалогов предусмотрены форматы Vicuna, Llama 2, Alpaca и ChatML; автор указывает, что примеры обучения преобразовывались в несколько форматов. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии Apache 2.0. Обучающие данные охватывают несколько языков, но карточка не уточняет полный список языков, на которых качество проверено. Как и другие языковые модели, Bagel может выдавать неверные ответы; README также предупреждает о токсичных примерах в обучающих данных. Версия v0.4 не включает описанное в карточке DPO-дообучение.

jondurbin/bagel-jamba-v05 — экспериментальная дообученная модель автора jondurbin на базе AI21 Jamba-v0.1. Это языковая модель с гибридной архитектурой Mamba-Transformer и смесью экспертов (MoE), содержащая 7,2 млрд параметров и предназначенная для генерации текста в диалоговом формате. Модель обучалась на наборе BAGEL, включающем инструкции, диалоги, вопросы и ответы, задачи по математике, естественным наукам, программированию, суммаризации, ролевому письму и вызову функций. README указывает, что эта версия прошла этап SFT; улучшение гиперпараметров ещё рассматривается, а DPO-версия для неё могла быть выпущена позднее. Поддерживаются несколько шаблонов промптов, включая Vicuna, Llama 2, Alpaca и модифицированный ChatML; шаблон по умолчанию — Llama 2. Модель принимает и генерирует текст. Данные включают многоязычные задания, но конкретный список поддерживаемых языков не установлен. Карточка обозначает модель как экспериментальную. Лицензия — Apache-2.0. README предупреждает, что в обучающих источниках есть токсичный и потенциально незаконный контент; это не означает, что модель предназначена для сексуального контента.

RedHatAI/DeepSeek-R1-Distill-Qwen-32B-FP8-dynamic — это квантизированная версия языковой модели DeepSeek-R1-Distill-Qwen-32B, разработанная Neural Magic. Модель построена на архитектуре Qwen2ForCausalLM, принимает текстовые входные данные и генерирует текст, поэтому предназначена для задач диалога, рассуждений, ответов на вопросы и других сценариев применения каузальных языковых моделей. Поддерживаемые языки и размер контекстного окна в README не указаны. Модель содержит около 32 млрд параметров и использует FP8-квантизацию весов и активаций, что примерно вдвое снижает объём хранения и требования к GPU-памяти по сравнению с представлением FP16. Квантизации подвергаются линейные операторы внутри трансформерных блоков: веса квантизуются симметрично по каналам, а активации — симметрично по токенам. Для подготовки использован LLM Compressor, а эффективное развертывание рекомендуется через vLLM. По приведённым результатам FP8-версия сохраняет около 99% средних показателей исходной модели на тестах рассуждений и OpenLLM Leaderboard, хотя на отдельных наборах качество немного снижается. Ограничения включают возможные потери точности из-за квантизации, необходимость совместимого программного и аппаратного окружения для эффективной работы с FP8, а также отсутствие в README сведений о контекстном окне и языковом охвате. Модель распространяется по лицензии MIT.

Ro-xe/FMixAI_7B — объединённая диалоговая языковая модель на архитектуре Mistral, созданная методом SLERP с помощью mergekit из OpenChat 3.5-1210 и OpenChat 3.5-0106. Она предназначена для генерации текста и ведения диалога; базовые модели также рассчитаны на программирование, математические рассуждения и ответы на общие вопросы. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. В репозитории веса сохранены в формате safetensors. Лицензия в предоставленных данных не указана.

FuseCyberMix-Qwen-2.5-7B-Instruct — объединённая инструктивная языковая модель, созданная с помощью mergekit линейным слиянием FuseAI/FuseChat-Qwen-2.5-7B-Instruct, Qwen/Qwen2.5-7B-Instruct и fblgit/cybertron-v4-qw7B-UNAMGS. Модель разработана автором репозитория bunnycore и построена на архитектуре Qwen2 с 7,1 млрд параметров; доступна в формате safetensors и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, написание и преобразование текста, код и структурированные ответы. В метаданных также отмечен интерфейс вызова инструментов. Поддерживаемые языки отдельно не указаны. Это слияние моделей, а не отдельное дообучение; README сообщает о линейном методе слияния, нормализация отключена, использована маска int8, выходной тип задан как bfloat16. Лицензия в предоставленных данных отсутствует. Качество и ограничения конкретного слияния не описаны; практическое качество ответов и корректность вызовов инструментов требуют проверки в целевом приложении.

mlx-community/gemma-4-12B-it-qat-OptiQ-4bit — 12-миллиардная унифицированная модель Gemma-4, разработанная Google и представленная в MLX-совместимой квантизованной сборке сообществом mlx-community. Квантизация выполнена инструментарием mlx-optiq поверх QAT-базы google/gemma-4-12B-it-qat-q4_0-unquantized: чувствительные компоненты используют 8-битную точность, остальные — 4-битную. Модель предназначена для локального запуска на Apple Silicon без PyTorch и облачной инфраструктуры. Модель поддерживает генерацию текста, а также сценарии image-text-to-text с отдельной vision-башней в формате bf16. Заявлены задачи рассуждения, программирования, следования инструкциям, агентского взаимодействия и вызова инструментов. Всего квантизовано 328 компонентов, размер группы — 64, эффективная разрядность — 5,25 бит на вес, объём на диске составляет около 8,3 ГБ. Смешанная точность превосходит равномерную 4-битную квантизацию той же QAT-базы на 1,37 пункта Capability Score; особенно заметен прирост в длинном контексте HashHop. При этом в BFCL результат немного ниже, чем у равномерной 4-битной версии. Для работы требуется MLX и актуальная версия mlx-lm из основного репозитория, а для регистрации типа gemma4_unified — mlx-optiq. Поддерживаются языковые и мультимодальные сценарии через optiq; также возможен speculative decoding с указанной моделью-drafter. Лицензия — Apache-2.0.

GLM-4.7-Flash-Razor-24B-A3B-E48of64 — текстовая диалоговая модель, созданная путём обучения без градиентных обновлений: к исходной GLM-4.7-Flash применён метод RAZOR, который удаляет часть экспертов MoE. Разработчик в карточке не назван; базовая модель выпущена Z.ai. В каждом слое MoE оставлено 48 из 64 маршрутизируемых экспертов, а общий размер сокращён примерно с 30 млрд до 24,1 млрд параметров; активно около 3 млрд параметров на токен. Веса хранятся в формате bfloat16 в семи шардах safetensors, для запуска требуется версия Transformers с поддержкой glm4_moe_lite. Модель предназначена для диалоговой генерации текста, рассуждений и программирования, унаследованных от GLM-4.7-Flash. Нативная длина контекста составляет 202 752 токена. Прунинг затрагивает только пул маршрутизируемых экспертов, поэтому вычисления на токен почти не меняются, а объём хранения экспертов уменьшается примерно на четверть. Лицензия — MIT. Удаление экспертов приводит к потерям: ответы могут отличаться разнообразием, форматированием и поведением при завершении, даже если точность задач в основном сохраняется. Опубликованные результаты не гарантируют предсказуемой генерации на конкретной нагрузке, а поведение на областях, далёких от калибровочного корпуса, не охарактеризовано.

GLM-5.3-Int4-Int8Mix — это квантизированная версия большой языковой модели GLM-5.3, разработанной организацией zai-org. Модель предназначена для генерации текста, решения математических и программных задач, следования инструкциям и работы через chat-интерфейсы. Она рассчитана на развёртывание в vLLM с tensor parallelism и поддерживает speculative decoding через MTP, автоматический выбор инструментов и prefix caching. Исходная модель содержит 743 млрд параметров и использует архитектуру с 78 слоями, скрытым размером 6144, 256 маршрутизируемыми экспертами MoE и компонентами DSA. В этой версии применена статическая симметричная weight-only-квантизация без калибровочных данных: эксперты в основном квантизированы до Int4, линейные слои и MTP — до Int8, а критические компоненты, включая router, DSA indexer и lm_head, сохранены в BF16. Размер весов сокращён до 377,4 GiB в 282 shards; при TP4 на один ранг приходится около 94,6 GiB. Заявленный максимальный контекст — 200 000 токенов, при этом в конфигурации модели указано значение 1M. Модель демонстрирует высокую производительность на конфигурации из четырёх NVIDIA DGX Spark: до 26,3 токена в секунду при одной параллельной сессии и 89,2 токена в секунду при восьми, с TTFT около 0,6 секунды для промпта примерно на 780 токенов. Проверки показали отсутствие повреждений генерации на английском, корейском и русском языках, а также корректное извлечение данных из 34 996-токенного контекста. Среди ограничений — очень высокие требования к памяти и инфраструктуре, необходимость распределённого развёртывания, вариативность результатов производительности и некоторое отставание от сравниваемой hosted GLM-5.2 в IFEval. Лицензия указана как other; дополнительные условия в README не раскрыты.

JiRack DeltaNet 27B — текстовая генеративная модель разработчика CMSManhattan, основанная на архитектуре семейства Qwen3.5 и адаптированная для эффективного инференса на CPU. Модель имеет 22,3 млрд параметров, использует гибридную архитектуру DeltaNet с attention и SSM, поддерживает контекст до 262 144 токенов. Доступны веса Safetensors и варианты GGUF с разными уровнями квантования; заявлена поддержка Ollama и llama.cpp. Модель предназначена для диалогов, программирования, вызова инструментов и использования как экспертной модели в RAG-системах. В README также заявлены сценарии маршрутизации запросов, мультимодальных задач и робототехники, однако метаданные указывают только text-generation, а само описание не содержит подтверждённых деталей о работе с изображениями, видео или аудио. Заявлена поддержка языков от английского и русского до китайского, японского, корейского и ряда европейских и азиатских языков. Метаданные указывают лицензию MIT для модели. README отдельно сообщает, что Docker-образы, предварительно собранные квантизации для Ollama и интерфейсы JiRack могут распространяться на коммерческих условиях; условия их использования следует проверять отдельно. Заявления о качестве и скорости не сопровождаются результатами сравнительных оценок.

lmstudio-community/Meta-Llama-3-70B-Instruct-BPE-fix-GGUF — версия модели Meta-Llama-3-70B-Instruct, разработанной Meta и опубликованной сообществом lmstudio-community в формате GGUF с исправлением BPE. Это текстовая генеративная языковая модель для диалогов, следования инструкциям и других задач генерации текста. В карточке указаны английский язык и конвейер text-generation. Модель относится к семейству Llama 3 и содержит 70 млрд параметров; она предназначена для сценариев, где требуется создание и обработка текста в формате инструкций или диалога. Поддерживаются только текстовые входы и выходы. Сведения об архитектурных деталях, размере контекста, точном наборе поддерживаемых языков и характеристиках производительности в карточке не приведены. Модель требует значительных вычислительных ресурсов из-за большого числа параметров, а формат GGUF ориентирован на локальное или совместимое с ним инференс-развёртывание. Условия использования определяются Meta Llama 3 Community License: лицензия предоставляет ограниченные права на использование, копирование, модификацию и распространение при соблюдении условий Meta, включая принятие Acceptable Use Policy, указание атрибуции и отображение фразы «Built with Meta Llama 3» при распространении. Для продуктов с более чем 700 млн ежемесячных активных пользователей требуется отдельное разрешение Meta.

Mistral-7B-Instruct-v0.3 — языковая модель Mistral AI, дообученная следовать инструкциям на основе Mistral-7B-v0.3. Она предназначена для диалогов, генерации и продолжения текста, а также сценариев с вызовом функций и инструментов. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров; контекст — до 32 768 токенов. В версии v0.3 расширен словарь до 32 768 токенов, добавлена поддержка токенизатора v3 и вызова функций. Модель принимает текст и генерирует текст, подходит для чат-ботов, выполнения инструкций и интеграции с инструментами. Карточка не перечисляет поддерживаемые естественные языки, поэтому языковую специализацию определить нельзя. По заявлению авторов, это демонстрационная модель, показывающая возможности дообучения базовой версии. У модели нет механизмов модерации, поэтому её ответы требуют соответствующей проверки при использовании. Лицензия — Apache-2.0.