II.4Отладка, тестирование и качество ПО

Granite-4.1-8B-Base — базовая языковая модель IBM Granite Team, обученная с нуля. Это плотный декодерный трансформер на 8,4 млрд параметров для генерации текста и других задач преобразования текста; поддерживает дополнение кода по схеме Fill-in-the-Middle с использованием специальных префиксных и суффиксных токенов. В архитектуре используются GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. README сообщает о контекстном окне до 512 тыс. токенов после расширения на заключительном этапе обучения, тогда как метаданные указывают нативный контекст в 131 072 токена. Модель подходит для суммаризации, классификации и извлечения информации, ответов на вопросы, автодополнения кода и генерации с длинным контекстом. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Лицензия — Apache 2.0. Модель не прошла выравнивание по безопасности и может выдавать проблемный контент, ошибочную информацию или воспроизводить фрагменты обучающих данных. Для приложений с повышенными требованиями к безопасности разработчик рекомендует использовать её вместе с Granite Guardian.

MyAwesomeModel — языковая модель, представленная в репозитории bench-induction-ai/MyAwesomeModel-TestRepo и предназначенная для работы через библиотеку Transformers. Разработчик в README не указан. Описанная версия является обновлением предыдущей и ориентирована на повышение глубины рассуждений и качества вывода за счёт увеличения вычислительных ресурсов и алгоритмической оптимизации на этапе постобучения. Модель предназначена для математического и логического рассуждения, понимания текста, ответов на вопросы, классификации, анализа тональности, генерации кода и творческих текстов, диалогов, суммаризации, перевода, поиска знаний и выполнения инструкций. Также заявлены сниженная частота галлюцинаций и улучшенная поддержка function calling. В README приведены результаты внутренних сравнительных оценок: среди наиболее сильных направлений указаны логическое рассуждение, классификация, суммаризация и генерация кода, однако методика и наборы данных для большинства тестов не раскрыты. Точные архитектура, число параметров, поддерживаемые языки, модальности и размер контекстного окна не указаны. Для обновлённой версии рекомендуется системный промпт с текущей датой и температура 0,6; специальные токены для принудительного запуска определённого режима рассуждений не требуются. Упоминается вариант MyAwesomeModel-Small с архитектурой базовой модели и конфигурацией токенизатора основной модели. README также описывает шаблоны для загрузки файлов и генерации с использованием результатов веб-поиска. Модель распространяется по лицензии MIT.

MyAwesomeModel — языковая модель, представленная в репозитории toolathlon68/MyAwesomeModel-TestRepo. Имя разработчика или организации в README не указано. Модель реализована с использованием библиотеки Transformers и предназначена для задач, требующих рассуждений и генерации текста: математического и логического анализа, ответов на вопросы, понимания текста, классификации, анализа тональности, написания и генерации кода, диалогов, суммаризации, перевода, поиска знаний и следования инструкциям. Также заявлена поддержка function calling, загрузки файлов и генерации с использованием результатов веб-поиска. По данным README, это обновлённая версия модели с увеличенной глубиной рассуждений, улучшенными возможностями вывода и сниженной частотой галлюцинаций. На тесте AIME 2025 заявлено повышение точности с 70% до 87,5%, а средний объём рассуждений вырос примерно с 12 тыс. до 23 тыс. токенов на задачу. В приведённых бенчмарках модель показывает результаты в диапазоне от 0,550 для математического рассуждения до 0,828 для классификации текста, однако методика оценки и названия наборов данных не уточняются. Архитектура, число параметров, поддерживаемые языки, модальности и размер контекстного окна в README не указаны. Упоминается вариант MyAwesomeModel-Small с архитектурой, идентичной базовой модели, и отдельной конфигурацией токенизатора, но подробности также отсутствуют. Для использования рекомендуется системный промпт с текущей датой и температура 0,6; специальные токены для запуска режима рассуждений не требуются. Модель распространяется по лицензии MIT.

NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF — GGUF-версия крупной языковой модели NVIDIA-Nemotron-3-Ultra-550B-A55B, подготовленная Unsloth на основе модели NVIDIA. Разработчик исходной модели — NVIDIA Corporation. Модель предназначена для сложного рассуждения, многошаговых агентных сценариев, использования инструментов, анализа длинного контекста, мультиязычного reasoning и высокоточного RAG в критически важных задачах. Режим рассуждения можно включать или отключать через параметр chat template enable_thinking=True/False. Модель содержит 550 млрд параметров, из которых 55 млрд активны. Она использует гибридную архитектуру LatentMoE, объединяющую Mamba-2, Mixture-of-Experts и attention, а также Multi-Token Prediction (MTP). Максимальная длина контекста заявлена до 1 млн токенов. Поддерживаются английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, хинди, арабский, китайский и иврит. Для развёртывания полной модели требуется значительная инфраструктура: минимум указаны 8 ускорителей GB200/B200/GB300/B300, 16 H100 или 8 H200. Сильными сторонами модели являются масштаб, поддержка длинного контекста, reasoning, агентные рабочие процессы, работа с инструментами и мультиязычность. Ограничениями выступают очень высокие требования к GPU и вычислительным ресурсам; конкретные характеристики производительности GGUF-квантования в README не приведены. Модель распространяется по лицензии OpenMDW License Agreement версии 1.1.

ibrahimkettaneh/Qwen2.5-32B-Instruct-abliterated-pass2-AWQ — это квантованная в формате AWQ производная версия Qwen2.5-32B-Instruct. Репозиторий опубликован Ibrahim Kettaneh, а исходную модель разработала команда Qwen компании Alibaba Cloud. Вариант pass2 относится к моделям с изменённым поведением отказов, описываемым как refusal-ablated; точные методы и результаты такого изменения в доступных данных не указаны. Модель предназначена для генерации текста, диалогов, следования инструкциям, работы со структурированными данными, программированием и математическими задачами. Она сохраняет характеристики базовой Qwen2.5-32B-Instruct: causal language model с архитектурой на основе Transformer, RoPE, SwiGLU, RMSNorm и GQA; около 32,5 млрд параметров, 64 слоя, 40 attention heads для Q и 8 для KV. Поддерживаются контекст до 131 072 токенов и генерация до 8 192 токенов, а также более 29 языков, включая русский, английский и китайский. Это текстовая модель без заявленной поддержки изображений или других модальностей. Ключевые преимущества — большой размер, развитое следование инструкциям, длинный контекст, мультиязычность и сниженное количество стандартных отказов вследствие abliteration. Ограничения включают высокие требования к памяти и вычислениям, возможное ухудшение безопасности и надёжности отказов по сравнению с исходной instruct-моделью, а также отсутствие подтверждённых независимых оценок именно этой AWQ-версии. Для производной модели лицензия в найденных данных не заявлена; у базовой Qwen2.5-32B-Instruct указана Apache License 2.0, но её применимость к данному производному репозиторию следует проверять отдельно.

QuantTrio/Qwen3.5-4B-AWQ — это AWQ-квантизированная версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen. Репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers; квантизация выполнена без использования калибровочных данных. Модель предназначена для задач понимания и генерации текста, работы с изображениями, рассуждений, программирования и агентских сценариев. Модель представляет собой причинную языковую модель с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженный Mixture-of-Experts. Она содержит около 4 млрд параметров, 32 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Доступны интеграции с Transformers, vLLM, SGLang и KTransformers, а также поддержка tool calling и reasoning parser в vLLM. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшой размер и оптимизация AWQ для более эффективного инференса. Ограничения связаны с необходимостью совместимого программного и аппаратного окружения: в README указаны vLLM версии не ниже 0.16.0rc2.dev447, экспериментальная версия Transformers, CUDA 12.8 и дополнительные исправления конфигурации. Конкретные значения производительности в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель на базе Qwen3.6-35B-A3B, разработанная HauhauCS. Это вариант с усиленным снятием ограничений на отказы: по заявлению автора, модель генерирует полный ответ даже на запросы, от которых обычно отказывается базовая версия. Модель предназначена для диалогов, анализа и генерации текста, программирования, а также работы с изображениями и видео. Архитектура — гибридная MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. Используются 256 экспертов, из которых для каждого токена выбираются 8; модель содержит 40 слоёв и сочетает linear attention с полной softmax attention в соотношении 3:1. Заявлен нативный контекст до 262 тысяч токенов. Поддерживаются текст, изображения и видео; указаны английский, китайский и другие языки. Для обработки изображений требуется отдельный файл mmproj. Модель доступна в формате GGUF с вариантами квантования от Q8 до Q2, включая пользовательские K_P-кванты, оптимизированные для сохранения качества. Сильные стороны — большой контекст, мультимодальность, MoE-эффективность и отсутствие встроенных отказов. Ограничение агрессивного варианта — возможное отсутствие защитных барьеров и редкие краткие дисклеймеры, которые автор связывает с обучением базовой модели. Для запуска подходят llama.cpp, LM Studio и другие GGUF-совместимые среды. Лицензия — Apache-2.0.

Shiftedx/qwen3.8-27b-aeon-ultimate-uncensored-attention8-bf16recurrence-vision-mtplx — независимая конверсия сообщества на базе AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED, подготовленная для Apple Silicon, MLX и MTPLX. Это плотная модель на 27 млрд параметров с гибридной архитектурой attention/Gated DeltaNet, поддерживающая работу с текстом и изображениями, рассуждения, вызов инструментов и структурированный вывод. Релиз не является официальным продуктом AEON-7, Qwen, Apple, MLX или MTPLX. Модель использует смешанную точность: аффинное 4-битное и 8-битное квантование весов, а отдельные рекуррентные проекции, vision tower и native multi-token prediction head сохранены в BF16. Репозиторий занимает около 23,84 ГБ, рассчитан на конфигурацию с 64 ГБ или более unified memory и поддерживает контекст до 262 144 токенов; квалификационное тестирование выполнено до 131 072 токенов. Заявлены языки English, Chinese и multilingual. Для ускорения предусмотрена спекулятивная генерация с MTP-head, квалифицированная на глубине 3. По опубликованным тестам модель получила 8/10 в проверке качества, 15/15 в тестах длинного контекста, 6/6 в вызове инструментов, 2/2 в лёгких агентских сценариях и 4/4 в vision-тестах. Сильными сторонами являются ориентация на качество локального запуска, мультимодальность, инструменты, длинный контекст и оптимизация под Apple Silicon. Ограничения включают высокие требования к памяти и зависимость производительности от оборудования и версии MTPLX; заявленные результаты относятся к конкретному Apple M4 Max с 64 ГБ памяти и не гарантируют аналогичную скорость на других системах. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной линейки.

cyankiwi/Qwen3.8-Flash-Next-AWQ-INT4 — квантованная версия Qwen3.8-Flash-Next, разработанной командой Qwen; репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers. Модель предназначена для генерации и понимания текста, агентских сценариев, задач STEM, а также мультимодальных задач с изображениями благодаря архитектуре языковой модели с vision encoder. Она совместима с Transformers, vLLM, SGLang и TokenSpeed. Архитектура включает 125 млрд параметров, из которых активируется 6 млрд, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Используются гибридное внимание с Gated DeltaNet и Qwen Sparse Attention, Gated Residual и n-gram embedding; модель содержит 48 слоёв и имеет скрытую размерность 2560. Ключевые заявленные особенности ориентированы на эффективную обработку длинного контекста и снижение вычислительных затрат. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Размер файлов модели указан как 188,29 ГБ. Преимуществами являются мультимодальность, поддержка нескольких языков, оптимизации для длинного контекста и возможность локального развёртывания в распространённых inference-системах. Ограничения связаны с экспериментальным статусом архитектуры, отсутствием в README точного размера контекстного окна для данного репозитория и потенциальными потерями качества, характерными для INT4 AWQ-квантизации. Лицензия указана как qwen-community-1.0; применяются условия, приведённые в файле LICENSE.

QuantTrio/Qwen3-VL-235B-A22B-Thinking-AWQ — квантизированная AWQ-версия мультимодальной модели Qwen3-VL-235B-A22B-Thinking из семейства Qwen, разработанного командой Qwen. Репозиторий содержит веса для генерации текста с поддержкой визуальных входных данных, включая изображения и видео, а также задач компьютерного зрения и взаимодействия с графическими интерфейсами. Модель предназначена для визуально-текстового понимания и рассуждений, распознавания объектов и текста, анализа документов, пространственного восприятия, STEM- и математических задач, генерации кода и выполнения агентных сценариев. Заявлены возможности работы с GUI, временной привязки событий в видео, OCR на 32 языках и обработки длинного контекста: нативно до 256 тысяч токенов с заявленным расширением до 1 миллиона. Архитектура — Mixture-of-Experts (MoE), общий размер 235B параметров, из которых 22B активны; применяются Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. AWQ-квантизация уменьшает требования к памяти по сравнению с полноразмерными весами, однако модель остаётся очень крупной: размер файлов указан как 117 GB. В README приведён сценарий запуска через vLLM с tensor parallelism на 8 GPU и включённым expert parallelism; для этой конфигурации указана максимальная длина контекста 32 768 токенов, что может отличаться от возможностей исходной модели. Для инференса рекомендуются vLLM и qwen-vl-utils. Лицензия — Apache-2.0.

Qwen3-VL-8B-Thinking-GGUF — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит GGUF-веса модели Qwen3-VL-8B-Thinking, разделённые на языковую модель и vision encoder в формате mmproj. Модель предназначена для анализа изображений и видео, генерации и понимания текста, визуального рассуждения, OCR, пространственного анализа, STEM- и математических задач, визуального программирования, а также взаимодействия с графическими интерфейсами и инструментами. Модель относится к thinking-редакции и имеет размер 8B параметров. Поддерживаются варианты языковой части FP16, Q8_0 и Q4_K_M, а vision encoder доступен в FP16 и Q8_0. Заявлены нативный контекст 256K с возможностью расширения до 1M, работа с длительными видео и распознавание текста на 32 языках. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Модель поддерживает мультимодальный ввод изображений и видео, однако конкретный список языков помимо OCR в README не указан. GGUF-файлы совместимы с llama.cpp, Ollama и другими инструментами экосистемы GGUF и могут запускаться на CPU, NVIDIA GPU через CUDA, Apple Silicon через Metal и Intel GPU через SYCL. Доступны разные уровни точности для компромисса между качеством, скоростью и требованиями к памяти; при этом производительность зависит от выбранной квантизации и оборудования. Модель распространяется по лицензии Apache-2.0.

SuperQwen3.8-27b-abliterated-GGUF — это квантованная сборка модели SuperQwen3.8-27b-abliterated, разработанная Jiunsong для запуска через llama.cpp в формате GGUF. Модель предназначена для генерации и анализа текста, рассуждений, вызова инструментов и работы с изображениями; мультимодальность обеспечивается отдельным vision-проектором. Заявлены английский и корейский языки. Основная модель использует квантование Q4_K_M с importance matrix и занимает около 15,41 GiB; полный комплект с MTP-модулем и vision-проектором — около 17,56 GiB. Доступен native MTP draft для speculative decoding с профилем K=6, а заявленное окно контекста составляет 262 043 токена. Vision-проектор поставляется отдельно, поэтому текстовый запуск может обходиться без него. В README также указаны измеренная скорость около 40,1 токена в секунду на одном DGX Spark и успешные проверки вызова инструментов, обработки изображений, рассуждений и извлечения данных из длинного контекста. К сильным сторонам относятся большой контекст, поддержка мультимодальности, инструментов и ускоренного декодирования, а также компактность Q4-квантизации. Ограничения включают зависимость производительности и доступного контекста от аппаратуры и настроек llama.cpp; проверка на границе окна не гарантирует одинаковую точность для всех задач. Модель позиционируется как abliterated: измеренная способность отказывать на вредоносные запросы была существенно снижена, поэтому для безопасного применения необходимы дополнительные меры контроля. Лицензия — Apache-2.0.

Vikhr-Nemo-12B-Instruct-R-21-09-24 — русско-английская унимодальная языковая модель команды VikhrModels, дообученная на базе mistralai/Mistral-Nemo-Instruct-2407. Это плотная архитектура Mistral с 12,1 млрд параметров; модель распространяется в формате safetensors и предназначена для генерации текста и диалога. Для обучения использованы этапы SFT и SMPO, а среди обучающих данных — синтетические наборы GrandMaster-PRO-MAX и Grounded-RAG-RU-v2. Модель подходит для ответов на вопросы, рассуждений, суммаризации, генерации кода и ролевого диалога. Она поддерживает системные промпты и специальный режим grounded RAG для ответов по предоставленным документам, включая поиск идентификаторов релевантных документов. README заявляет контекст до 128 тысяч токенов; в метаданных указано значение 1 024 000 токенов. Практический предел зависит от конфигурации запуска. К ограничениям относятся низкий уровень безопасности ответов, возможные случайные дефекты генерации при высокой температуре и риск добавления модельных знаний к ответу по документам. Режим grounded RAG требует специального системного промпта; авторы рекомендуют низкую температуру. По оценке авторов на ru-arena-general часть тестовых примеров попала в обучающие данные, поэтому приведённый результат следует интерпретировать с осторожностью. Лицензия — Apache-2.0.

dranger003/c4ai-command-r-plus-iMat.GGUF — это набор GGUF-квантизаций модели C4AI Command R+, разработанной CohereForAI. Репозиторий предназначен для локального запуска модели через llama.cpp и совместимые инструменты; веса используют importance matrix для улучшения соотношения качества и размера при низкоразрядном квантовании. Базовая модель содержит около 104 млрд параметров, имеет 64 слоя и контекст до 131 072 токенов. Это текстовая autoregressive-модель для генерации текста, диалогов, рассуждений, суммаризации и ответов на вопросы. Она оптимизирована для Retrieval Augmented Generation (RAG) и многошагового использования инструментов. Модель оценивалась на английском, французском, испанском, итальянском, немецком, бразильском португальском, японском, корейском, арабском и упрощённом китайском языках. Главное преимущество репозитория — широкий выбор квантизаций с разным компромиссом между размером файлов и качеством: от IQ1_S примерно на 21,59 ГиБ до FP16 примерно на 193,38 ГиБ. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству; для запуска полноразмерных вариантов необходимы значительные вычислительные ресурсы. Для работы с моделью требуется актуальная основная ветка llama.cpp с поддержкой этой архитектуры. Лицензия — CC BY-NC 4.0, предусматривающая некоммерческое использование с соблюдением условий лицензии.

NVIDIA DeepSeek-V4.1-Flash NVFP4 — квантизированная версия модели DeepSeek-V4.1-Flash, разработанной DeepSeek AI и подготовленной NVIDIA с использованием Model Optimizer. NVIDIA не является владельцем или разработчиком исходной модели. Модель предназначена для коммерческого и некоммерческого применения, включая AI-агентов, чат-ботов, RAG-системы и другие приложения на базе генеративного ИИ. Это авторегрессионная мультимодальная модель архитектуры Transformer с Mixture-of-Experts и архитектурой Causal Encoder-Decoder, использующая Compressed Sparse Attention 2. Общий размер backbone составляет 552 млрд параметров; во время prefill активируется 8 млрд, во время decode — 16 млрд, дополнительно используется 196 млрд параметров Engram conditional memory. Модель принимает текст и изображения RGB и генерирует текст. Поддерживается контекст до 1 млн токенов. Сведения о поддерживаемых языках в карточке не указаны. Ключевые преимущества — мультимодальность, поддержка сверхдлинного контекста и снижение требований к вычислениям благодаря квантизации NVFP4 W4A4 с размером группы 16. Модель оптимизирована для NVIDIA GPU, прежде всего архитектуры Blackwell, и протестирована на NVIDIA GB300 с использованием vLLM и SGLang. Ограничения включают зависимость от совместимого оборудования и программного окружения, а также необходимость дополнительного тестирования на данных конкретного сценария перед внедрением. Данные исходного обучения не раскрыты; квантизация выполнена с помощью nvidia-modelopt версии 0.47.0rc0. Лицензия — MIT.

LGAI-EXAONE/EXAONE-4.0-32B-FP8 — языковая модель компании LG AI Research из серии EXAONE 4.0. Она предназначена для генерации текста, решения сложных задач, многоязычного общения и построения агентных приложений с вызовом инструментов. Модель поддерживает два режима работы: Non-reasoning для обычных запросов и Reasoning для задач, требующих пошагового рассуждения. Заявлена поддержка английского, корейского и испанского языков. Модель содержит около 30,95 млрд параметров без учёта эмбеддингов, 64 слоя и использует архитектуру с GQA на 40 attention heads и 8 KV heads. Для 32B-версии применена гибридная схема внимания с локальным и глобальным вниманием в соотношении 3:1, а также архитектурное изменение QK-Reorder-Norm. Размер словаря составляет 102 400 токенов, контекст — до 131 072 токенов. Весы представлены в формате fine-grained FP8. Сильными сторонами являются сочетание общего режима генерации и рассуждений, поддержка инструментов, длинный контекст и мультиязычность. Ограничения включают высокие требования к вычислительным ресурсам из-за размера модели; README не приводит подробностей о точности, безопасности и типичных ошибках. Модель распространяется по лицензии exaone, обозначенной как other; условия следует уточнять в файле LICENSE.

NVIDIA Kimi-K2.5-Thinking-Eagle3 — текстовая авторегрессионная модель, основанная на Moonshot AI Kimi-K2.5 и включающая Eagle3 для спекулятивного декодирования с Model Optimizer. В метаданных указаны архитектура Eagle3DeepseekV2ForCausalLM семейства Kimi-K2, 1,8 млрд параметров и контекст до 262 144 токенов. Модель предназначена для разработчиков чат-ботов, RAG-систем, AI-агентов и других приложений, а также для выполнения инструкций, диалога, генерации кода и рассуждений. Принимает текст и выдаёт текст. NVIDIA ориентирует её на системы с GPU NVIDIA; в README указаны TensorRT-LLM, Linux и совместимость с NVIDIA Blackwell. README заявляет возможность коммерческого и некоммерческого использования. Следует соблюдать NVIDIA Open Model License и условия Modified MIT License Kimi-K2.5. Для применения в конкретном сценарии нужна проверка на профильных данных; README также отмечает, что меры по снижению нежелательной предвзятости не указаны.

Llama-3.1-Nemotron-70B-Instruct-HF — текстовая модель NVIDIA на архитектуре Llama 3.1 с 69,5 млрд параметров. Это версия в формате Hugging Face Transformers, преобразованная из Llama-3.1-Nemotron-70B-Instruct; исходная модель Meta Llama-3.1-70B-Instruct была дообучена NVIDIA методом RLHF, включая REINFORCE, на предпочтениях из HelpSteer2 и данных модели Nemotron-70B-Reward. Модель предназначена для диалогов и выполнения общих инструкций: она генерирует ответы на пользовательские запросы и ориентирована на их полезность, связность и соответствие предпочтениям. Принимает текст, выдаёт текст, поддерживает контекст до 128 тысяч токенов и интерфейс вызова инструментов. В карточке приведены высокие результаты на Arena Hard, AlpacaEval 2 LC и MT-Bench; показатели могут отличаться от оценки исходной версии в NeMo-Aligner. Модель общего назначения, не настроенная специально для математики или узкопрофильных областей. Для запуска через Transformers в README указаны две или более видеокарты с 80 ГБ памяти каждая и не менее 150 ГБ свободного места на диске. Лицензия — Llama 3.1; применяются условия лицензии Meta Llama 3.1.

Qwen2.5-32B-Instruct-4bit — преобразованная в формат MLX инструктивная языковая модель семейства Qwen2.5, опубликованная сообществом mlx-community на основе Qwen/Qwen2.5-32B-Instruct. Она предназначена для диалоговой генерации текста и выполнения пользовательских инструкций; доступен интерфейс для вызова инструментов. Модель содержит 32 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и рассчитана на контекст до 32 768 токенов. Репозиторий содержит веса в safetensors; README указывает на конвертацию с помощью mlx-lm 0.18.1. Метаданные указывают лицензию Apache-2.0. Карточка модели и метаданные не описывают специальную предметную область; английский указан среди поддерживаемых языков.

lmstudio-community/Qwen2.5-7B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp release b3772; модель представлена в рамках программы Community Models LM Studio, но LM Studio не является её разработчиком или владельцем. Модель предназначена для генерации текста, диалоговых сценариев, ответов на инструкции и работы со структурированными данными. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский, что делает её пригодной для многоязычных приложений. Ключевые характеристики включают размер 7 млрд параметров, контекст до 128 тысяч токенов с настройками YaRN RoPE и генерацию до 8 тысяч токенов. К сильным сторонам относятся широкий языковой охват, поддержка длинного контекста и улучшенное понимание и создание структурированных данных. При этом модель может генерировать неточную, вредную или вводящую в заблуждение информацию, а README не содержит подробностей о конкретной схеме квантизации, требованиях к ресурсам и результатах бенчмарков. Распространение указано под лицензией Apache 2.0.

NVIDIA Qwen3.8-Flash-Next NVFP4 — квантизированная версия модели Alibaba Qwen3.8-Flash-Next, подготовленная с помощью NVIDIA Model Optimizer. NVIDIA не является разработчиком исходной модели. Это авторегрессионная мультимодальная модель для работы с текстом, изображениями и видео, предназначенная для AI-агентов, чат-ботов, RAG-систем и других приложений на базе искусственного интеллекта. Модель использует архитектуру Transformers с гибридным вниманием Gated DeltaNet и Qwen Sparse Attention, Mixture-of-Experts, gated residual streams, vision encoder и n-gram embeddings. Общий объём составляет 125 млрд параметров, из них активируется 6 млрд; дополнительно заявлены 51 млрд параметров n-gram embeddings и 4 млрд MTP. Поддерживаются текстовые, RGB- и видео-входы, а также контекст до 262 тысяч токенов с возможностью расширения до 1 миллиона токенов. Выход представлен текстовыми последовательностями. README не содержит сведений о поддерживаемых языках. NVFP4-квантизация обеспечивает готовый к развёртыванию вариант модели с сохранением сопоставимой с FP8 точности по указанным тестам; модель ориентирована на NVIDIA GPU, в частности Blackwell B200 и B300, и поддерживает vLLM в Linux. Ограничения включают зависимость от совместимого оборудования и программного стека, а также необходимость дополнительного тестирования на данных конкретного сценария перед безопасным внедрением. Указаны лицензия NVIDIA Open Model License и дополнительная применимость Qwen Community License 1.0.

Radiantloom Mixtral 8X7B Fusion — языковая модель компании Radiantloom AI на архитектуре Mixtral с Mixture of Experts. README указывает около 47 млрд параметров, а метаданные — 7,1 млрд; контекст в метаданных составляет 32 768 токенов. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и использует шаблон запросов с токенами [INST] и [/INST]. Модель предназначена для генерации текста, творческого письма, многошагового диалога, суммаризации, ответов на вопросы, программирования и сценариев RAG. В README отмечены развёрнутые ответы и сильные результаты в задачах письма; приведены начальные оценки на бенчмарках, но они не заменяют независимую проверку. Модель не проходила настройку на безопасность и может выдавать токсичный, предвзятый, NSFW или фактически неверный контент. Для предоставления пользователям рекомендуется добавить собственный слой выравнивания и провести проверки безопасности. Метаданные указывают лицензию Apache-2.0. README сообщает длину контекста 4096 токенов, что расходится с метаданными; здесь приведено значение метаданных.

AI21 Jamba Reasoning 3B — компактная языковая модель для генерации текста и задач рассуждения, разработанная компанией AI21. Она предназначена для локального и периферийного развертывания, анализа документов и последовательностей, классификации, ответов на вопросы и других сценариев, где важны сочетание качества, скорости и работы с длинным контекстом. Модель содержит около 3 млрд параметров и построена на гибридной архитектуре Transformer–Mamba: 26 слоёв Mamba и 2 слоя внимания. Используется 20 голов внимания с MQA, словарь включает 64 тысячи токенов, а максимальная длина контекста заявлена на уровне 256 тысяч токенов. Поддерживаются английский, испанский, французский, португальский, итальянский, нидерландский, немецкий, арабский и иврит. Доступны GGUF-квантизации, включая вариант Q4_K_M размером около 1,93 ГБ, что упрощает запуск на ноутбуках, GPU и мобильных устройствах через llama.cpp, LM Studio или Ollama. К сильным сторонам относятся высокая эффективность обработки последовательностей, сниженные требования к памяти, большой контекст и заявленные конкурентные результаты на ряде интеллектуальных бенчмарков. Ограничения включают компактный размер модели, который может уступать более крупным системам в сложных задачах, а также возможное снижение качества при использовании сильной квантизации. Модель распространяется по лицензии Apache 2.0; в карточке также указано название лицензии Jamba Open Model License и приведена отдельная ссылка на её текст.

airoboros-34b-3.2 — экспериментальная разговорная языковая модель jondurbin, дообученная на базе 01-ai/yi-34b-200k с использованием преимущественно синтетических данных набора airoboros-3.2 и ряда сторонних датасетов. Это плотная модель семейства Llama с 33,9 млрд параметров, предназначенная для генерации текста в формате чата. Модель подходит для ответов на вопросы по заданному контексту, суммаризации, написания и дополнения кода, многошагового диалога и формирования планов действий или аргументов функций в JSON либо YAML. Карточка сообщает, что при дообучении использовалась длина контекста 8 тыс. токенов, хотя базовая модель поддерживает 200 тыс.; результаты за пределами 8 тыс. токенов могут быть ненадёжными. Для ответов по контексту рекомендуется явно отделять источники и инструкции, а также использовать низкую температуру. Модель распространяется в формате safetensors. В метаданных указана лицензия other; конкретные условия следует уточнить в карточке репозитория перед использованием. Автор характеризует модель как экспериментальную.

airoboros-c34b-2.2.1 — экспериментальная языковая модель jondurbin, дообученная на синтетических инструкционных данных набора airoboros-2.2.1. Это плотная авторегрессионная модель семейства Llama на 33,5 млрд параметров с контекстом до 16 384 токенов; опубликована в формате PyTorch под лицензией Llama 2. Модель предназначена для выполнения инструкций, ответов на вопросы с опорой на предоставленный контекст, суммаризации, написания текстов и кода. В README также описаны генерация структурированных аргументов для вызова функций и составление планов выполнения задач, однако для вызова инструментов требуется отдельная система, которая обработает такой план. Для диалога используется шаблон с метками USER и ASSISTANT. В сравнении с airoboros-c34b-2.2 в этой версии обновлены примеры письма, добавлены более длинные блоки контекста, удалены данные ролевых игр и снижена интенсивность снятия цензуры; обучение проводилось в пять эпох. README характеризует модель как универсальную, но ориентированную прежде всего на следование инструкциям, а не на непринуждённый чат. Автор предупреждает, что без настроенных критериев остановки модель может продолжить ответ от имени пользователя; для вопросов по контексту советует явно просить не придумывать ответ при нехватке сведений.

Apertus-70B-Instruct-2509 — многоязычная языковая модель Swiss AI Initiative для диалогов и генерации текста. Это дообученная версия Apertus-70B-2509 с архитектурой декодерного трансформера; в метаданных указано 97,7 млрд параметров и контекст до 65 536 токенов. Модель принимает текст и выдаёт текст, поддерживает более 1 800 языков и умеет использовать инструменты в агентных сценариях. Модель предназначена для ответов на вопросы, диалогов и других задач генерации текста, в том числе с длинным контекстом. Разработчики заявляют об открытых весах, данных и описании обучения, а также о соблюдении согласия владельцев данных. Модель распространяется по лицензии Apache-2.0. Ответы могут содержать фактические ошибки, логические несоответствия и смещения. Фильтр для удаления персональных данных в комплект не входит; важные сведения следует проверять.

RedHatAI/Apertus-8B-Instruct-2509-FP8-dynamic — инструкционная языковая модель, разработанная Red Hat на базе swiss-ai/Apertus-8B-Instruct-2509. Она предназначена для генерации и преобразования текста, диалоговых приложений и других сценариев обработки естественного языка. Модель поддерживает более 1000 языков и рассчитана на работу с длинным контекстом, однако его максимальный размер в README не указан. Входом и выходом служит текст; архитектура обозначена как ApertusForCausalLM. Модель использует динамическое квантование весов и активаций линейных операторов трансформерных блоков в формате FP8. Это примерно вдвое уменьшает число битов на параметр, размер на диске и требования к GPU-памяти по сравнению с исходным представлением FP16, что упрощает развертывание. Модель валидирована с vLLM 0.11.2, Red Hat OpenShift AI 3.2 и Red Hat AI Inference Server 3.2.5; README также указывает поддержку развертывания через vLLM. К сильным сторонам относятся многоязычность, длинный контекст, открытые и полностью соответствующие требованиям источники обучающих данных, а также сниженные требования к ресурсам благодаря FP8-квантизации. Ограничения включают текстовую модальность, потенциальные особенности качества и совместимости, связанные с квантизацией, и отсутствие в предоставленных данных подробных бенчмарков, точного размера контекста и результатов по отдельным языкам. Модель распространяется по лицензии Apache 2.0.

ChatGLM3-6B-128K 是由 Z.ai（智谱 AI）推出的 ChatGLM3 系列长文本对话模型，基于 ChatGLM3-6B 并针对长上下文更新了位置编码和训练方法。Модель поддерживает контекст до 131072 токенов и предназначена для многоходового диалога, анализа длинных документов и сценариев с вызовом инструментов, выполнением кода и агентскими задачами. Архитектура — плотная ChatGLM, размер — 7,5 млрд параметров; модель работает с текстом и поддерживает китайский и английский языки. Для контекстов до 8K авторы рекомендуют ChatGLM3-6B, а эту версию — для более длинных входов. Веса доступны для академических исследований; бесплатное коммерческое использование разрешено после регистрации через анкету.

Claude Opus 4.8 — модель семейства Opus, разработанная Anthropic и представленная как наиболее мощная общедоступная модель компании. Она предназначена для задач с текстом и изображениями, а также для работы с файлами: принимает эти данные и формирует текстовые ответы. Модель поддерживает рассуждения и контекст длиной до 1 млн токенов. Модель подходит для анализа документов и изображений, ответов на вопросы по предоставленным материалам и решения сложных текстовых задач. В доступных сведениях лицензия и конкретные языки не указаны.

FadedRedStar/gemma-4-E2B-it-qat-q4_0-heretic-GGUF — мультимодальная GGUF-версия модели Gemma 4 E2B, разработанной Google DeepMind. Модель предназначена для диалогов, рассуждений, генерации текста, обработки изображений и аудио, а также локального и периферийного развертывания. Поддерживаются системные сообщения, роли system/user/assistant, нативный вызов функций и настраиваемый режим рассуждений. Модель имеет гибридную архитектуру со скользящим и глобальным вниманием, 35 слоями и окном скользящего внимания 512 токенов. Контекст составляет 131 072 токена. Эффективный размер — 2,3 млрд параметров, общий размер с учетом Per-Layer Embeddings — 5,1 млрд. Поддерживаются текст, изображения и аудио; для мультимодального ввода используются отдельные vision/audio-проекторы. Текстовые веса представлены в формате Q4_0 PURE, рассчитанном с применением Quantization-Aware Training, а проекторы доступны в вариантах Q8_0 и BF16. Сильными сторонами являются мультимодальность, большой контекст, поддержка локального запуска и сохранение качества при 4-битном развертывании благодаря QAT. Суффикс heretic означает постобработку методом Arbitrary-Rank Ablation с использованием Heretic v1.2.0, направленную на снижение отказов при ответах; приведенные метрики являются самоотчетом автора и не были независимо проверены. Для работы требуется совместимый рантайм, например llama.cpp, а для обработки изображений и аудио — соответствующий проектор. Модель распространяется по лицензии Gemma; условия указаны по ссылке Google.