II.3Рефакторинг, миграция и модернизация

SL-AI/GRaPE-2.5-Helios-GGUF — мультимодальная инструкционная модель семейства GRaPE 2.5, разработанная командой SL-AI. Это версия модели GRaPE 2.5 Helios в формате GGUF; базовая модель указана как SL-AI/GRaPE-2.5-Helios. Helios позиционируется как модель среднего размера с примерно 10 млрд параметров для локального использования и общих задач. Модель принимает изображения, видео и текст, а генерирует текст. Она предназначена для диалогов, творческих задач, агентного программирования, математики, естественно-научных и других STEAM-сценариев, а также задач рассуждения и анализа. Поддерживаются языки English, Chinese, French, German, Spanish, Japanese, Korean, Portuguese, Russian и Arabic. Архитектура в README не раскрыта, размер контекста также не указан. Ключевая особенность — управляемая глубина рассуждений через тег <thinking_mode=xxx> с режимами minimal, low, medium, high и xtra-hi. Это позволяет выбирать компромисс между скоростью и качеством для простых запросов, сложного кода, многошаговой математики и глубокого анализа. Модель также ориентирована на более естественный стиль текста, многоязычное рассуждение и агентные сценарии. Ограничения включают отсутствие заявленных количественных бенчмарков, неизвестные технические характеристики архитектуры и контекстного окна, а также необходимость корректно поддерживать специальные режимы рассуждений в используемом интерфейсе. Лицензия — Apache-2.0.

Infinity-Instruct-3M-0625-Mistral-7B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная на наборах инструкций Infinity-Instruct-3M и Infinity-Instruct-0625. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для диалогов и выполнения пользовательских инструкций. Она не обучалась с подкреплением на основе отзывов людей (RLHF) и использует шаблон чата OpenHermes-2.5-Mistral-7B. Модель подходит для многошаговых диалогов, ответов на вопросы, помощи с кодом и математикой, а также для повседневных задач на естественном языке. В README приведены результаты MT-Bench 8,1 и AlpacaEval 2.0 31,42; это оценки из карточки, а не гарантия качества для конкретных запросов. Метаданные указывают контекст до 32 768 токенов и английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0, однако авторы ограничивают использование связанных ресурсов академическими исследованиями и запрещают коммерческое применение.

Карточка модели rayss868123/Qwen3-4B-Instruct-2507-heretic на Hugging Face совпадает с карточкой heretic-org/Qwen3-4B-Instruct-2507-heretic, поэтому описание составлено по ней. Qwen3-4B-Instruct-2507-heretic — производная диалоговая модель на базе Qwen3-4B-Instruct-2507, созданная с помощью abliteration для заметного снижения частоты отказов. По приведённому в карточке тесту отказов стало 5 из 100 запросов против 100 из 100 у исходной модели; это измерение относится к конкретному тесту и не гарантирует поведение на других запросах. Модель плотная, с архитектурой Qwen3ForCausalLM и примерно 3,7 млрд параметров, принимает текст и генерирует текст. Поддерживает контекст до 262 144 токенов и рассчитана на диалоги и режим без пошагового рассуждения. Модель подходит для ответов на вопросы, следования инструкциям, написания и анализа текстов, решения задач, программирования и использования инструментов. В карточке базовой модели заявлена поддержка нескольких языков, но конкретные языки для этой версии не перечислены. Версия опубликована в формате safetensors и предназначена для запуска через Transformers. Лицензия — Apache-2.0.

Shiftedx/qwen3.8-27b-aeon-ultimate-uncensored-attention8-bf16recurrence-vision-mtplx — независимая конверсия сообщества на базе AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED, подготовленная для Apple Silicon, MLX и MTPLX. Это плотная модель на 27 млрд параметров с гибридной архитектурой attention/Gated DeltaNet, поддерживающая работу с текстом и изображениями, рассуждения, вызов инструментов и структурированный вывод. Релиз не является официальным продуктом AEON-7, Qwen, Apple, MLX или MTPLX. Модель использует смешанную точность: аффинное 4-битное и 8-битное квантование весов, а отдельные рекуррентные проекции, vision tower и native multi-token prediction head сохранены в BF16. Репозиторий занимает около 23,84 ГБ, рассчитан на конфигурацию с 64 ГБ или более unified memory и поддерживает контекст до 262 144 токенов; квалификационное тестирование выполнено до 131 072 токенов. Заявлены языки English, Chinese и multilingual. Для ускорения предусмотрена спекулятивная генерация с MTP-head, квалифицированная на глубине 3. По опубликованным тестам модель получила 8/10 в проверке качества, 15/15 в тестах длинного контекста, 6/6 в вызове инструментов, 2/2 в лёгких агентских сценариях и 4/4 в vision-тестах. Сильными сторонами являются ориентация на качество локального запуска, мультимодальность, инструменты, длинный контекст и оптимизация под Apple Silicon. Ограничения включают высокие требования к памяти и зависимость производительности от оборудования и версии MTPLX; заявленные результаты относятся к конкретному Apple M4 Max с 64 ГБ памяти и не гарантируют аналогичную скорость на других системах. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной линейки.

infosave/Qwen3.8-27B-cmf — это квантизированная версия модели Qwen3.8-27B, преобразованная в контейнер CMF. Исходная модель разработана командой Qwen, а данный репозиторий содержит её представление для запуска через cortiq — нативный Rust-бинарник без Python и ML-фреймворков. Модель предназначена для генерации текста, диалогов, объяснения технических тем и работы через API, совместимый с OpenAI, а также через Ollama-совместимый интерфейс. Модель имеет 27 млрд параметров и гибридную архитектуру: 48 слоёв GatedDeltaNet с линейным вниманием и 16 слоёв полного внимания. Заявлено контекстное окно до 262 тысяч токенов и режим рассуждений. Поддерживаются английский, русский и китайский языки. Доступны варианты квантизации 4-bit и 8-bit; наиболее компактный q4tp занимает 14,3 ГБ, q4t — 15,4 ГБ, а q8_2f — 27,4 ГБ. К сильным сторонам относятся большое контекстное окно, поддержка различных GPU через Vulkan, Metal и DX12, работа на CPU, совместимость с NVIDIA, AMD, Intel и Apple silicon, а также возможность спекулятивного декодирования для ускорения жадной генерации. Ограничения связаны с высокими требованиями к памяти, зависимостью производительности от оборудования и характера запроса, а также с тем, что спекулятивное декодирование применяется преимущественно для greedy-генерации и не всегда ускоряет свободный текст. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-FP8 — экспериментальная модель семейства Qwen, разработанная командой Qwen. Это каузальная языковая модель с vision encoder, представленная в формате Hugging Face Transformers и предназначенная для генерации и обработки текста, мультимодальных сценариев с изображениями, длинноконтекстного анализа и агентных приложений. Версия FP8 содержит квантизированные веса постобученной модели и совместима с Transformers, vLLM, SGLang и TokenSpeed. Модель имеет 125 млрд параметров, из которых около 6 млрд активируются при обработке запроса, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура включает 48 слоёв, Mixture of Experts с 512 экспертами, гибридное внимание на основе Gated DeltaNet и Qwen Sparse Attention, Gated Residual и n-gram embedding. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 000 000 токенов. README не указывает точный перечень поддерживаемых языков. К сильным сторонам относятся высокая эффективность при работе с длинным контекстом, сниженная вычислительная и память-затраты благодаря разреженному вниманию, MoE и FP8-квантизации, а также сохранение показателей производительности, близких к исходной модели. Ограничения связаны с экспериментальным статусом архитектуры, отсутствием в README подробных результатов бенчмарков и неуказанными требованиями к аппаратному обеспечению и профилю мультимодальных возможностей. Модель распространяется по лицензии qwen-community-1.0; дополнительные условия следует проверять в файле LICENSE.

NVIDIA Qwen3.8-Flash-Next NVFP4 — квантизированная версия модели Alibaba Qwen3.8-Flash-Next, подготовленная с помощью NVIDIA Model Optimizer. NVIDIA не является разработчиком исходной модели. Это авторегрессионная мультимодальная модель для работы с текстом, изображениями и видео, предназначенная для AI-агентов, чат-ботов, RAG-систем и других приложений на базе искусственного интеллекта. Модель использует архитектуру Transformers с гибридным вниманием Gated DeltaNet и Qwen Sparse Attention, Mixture-of-Experts, gated residual streams, vision encoder и n-gram embeddings. Общий объём составляет 125 млрд параметров, из них активируется 6 млрд; дополнительно заявлены 51 млрд параметров n-gram embeddings и 4 млрд MTP. Поддерживаются текстовые, RGB- и видео-входы, а также контекст до 262 тысяч токенов с возможностью расширения до 1 миллиона токенов. Выход представлен текстовыми последовательностями. README не содержит сведений о поддерживаемых языках. NVFP4-квантизация обеспечивает готовый к развёртыванию вариант модели с сохранением сопоставимой с FP8 точности по указанным тестам; модель ориентирована на NVIDIA GPU, в частности Blackwell B200 и B300, и поддерживает vLLM в Linux. Ограничения включают зависимость от совместимого оборудования и программного стека, а также необходимость дополнительного тестирования на данных конкретного сценария перед безопасным внедрением. Указаны лицензия NVIDIA Open Model License и дополнительная применимость Qwen Community License 1.0.

Spark-X2.5-4B-GGUF — набор общественных GGUF-квантизаций компактной универсальной языковой модели Spark-X2.5-4B, разработанной SparkLLM и опубликованной в исходном виде XHToken. Репозиторий ngquocvinh содержит только квантизированные файлы для локального запуска; обучение и дообучение в рамках этого выпуска не выполнялись. Модель предназначена для диалогов, написания текстов, перевода, рассуждений, программирования, использования инструментов и агентских сценариев. Исходная модель имеет 4B параметров, поддерживает английский, китайский и, по заявлению авторов, более 200 языков. Заявлено контекстное окно до 1 млн токенов и гибридное внимание: один слой с полным вниманием и три слоя со скользящим окном, что должно способствовать эффективной обработке длинного контекста. Квантизации представлены в форматах GGUF и совместимы с llama.cpp; также заявлена поддержка экосистем llama.cpp, vLLM, SGLang, MLX, Ollama и LM Studio. Основное преимущество — возможность локального запуска при разных ограничениях по памяти: Q8_0 ближе всего к исходному BF16 по результатам измерений, Q4_K_M предлагает компромисс между размером и качеством, а Q2_K требует меньше ресурсов ценой заметной потери точности. Ограничения включают снижение fidelity у низкобитных вариантов и отсутствие в README подробных сведений о точных требованиях к памяти, скорости, обучающих данных и результатах прикладных бенчмарков. Производные файлы распространяются по Apache License 2.0 с сохранением атрибуции исходной модели; это неофициальный community-релиз и не подтверждение со стороны XHToken или SparkLLM.

InternScience/Agents-A1-4B-Q4_K_M-GGUF — квантизированная версия плотной языковой модели Agents-A1-4B, разработанная командой InternScience. Модель предназначена для агентных сценариев с длинной последовательностью действий: поиска, инженерных и научных задач, следования сложным инструкциям, профессионального вопросно-ответного взаимодействия и вызова внешних инструментов. Она поддерживает планирование, разбиение сложных задач на шаги, адаптацию по промежуточным результатам, function calling и интеграцию с API, интерпретаторами кода и поисковыми системами. Модель содержит около 4 миллиардов параметров и распространяется в формате GGUF с квантизацией Q4_K_M, что снижает требования к памяти и делает её подходящей для локального запуска. В карточке указаны теги vision и vlm, однако подробные сведения о поддерживаемых визуальных модальностях, языках и размере контекстного окна отсутствуют. По заявленным результатам Agents-A1-4B показывает высокую эффективность на BrowseComp, XBench-DS-2510, GAIA, FrontierScience-Research и IFEval, конкурируя с более крупными моделями при меньшем числе параметров. Ограничения модели включают неизвестные из README языковые и мультимодальные возможности, а также отсутствие подробностей о требованиях к оборудованию и точных условиях применения квантизированной сборки. Модель и её базовые компоненты распространяются по лицензии Apache-2.0; формат совместим с экосистемой GGUF и предназначен для использования с соответствующими локальными средствами инференса.

Granite-4.0-H-Micro-Base — базовая языковая модель IBM Granite Team для генерации текста и продолжения кода. Это decoder-only плотная архитектура на 2,6 млрд параметров с компонентами GQA, Mamba2, SwiGLU и RMSNorm. Модель обучена с нуля на смеси открытых и проприетарных данных; контекст составляет до 131 072 токенов. Модель рассчитана на суммаризацию, классификацию и извлечение информации, ответы на вопросы, генерацию текста с длинным контекстом и дополнение кода, включая Fill-in-the-Middle. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Это базовая модель без safety alignment, поэтому ответы могут содержать предвзятость, недостоверные сведения или проблемный контент; также отмечен риск дословного воспроизведения данных обучения. Лицензия Apache 2.0.

Llama 3 Tulu 2 70B — большая языковая модель-помощник, разработанная AllenAI и дообученная на базе Meta Llama 3 70B. Она обучалась на смеси общедоступных, синтетических и созданных людьми данных, включая набор инструкций и диалогов Tulu V2. Модель содержит 69,5 млрд параметров, использует архитектуру Llama с плотной causal language model и принимает текст для генерации текста. Заявленная основная языковая ориентация — английский; родной контекст составляет 2048 токенов. Модель предназначена для диалогов с помощником, выполнения инструкций, ответов на вопросы, рассуждений и генерации кода. В карточке приведены результаты тестирования на MMLU, GSM8k, BBH, TyDiQA и HumanEval, однако они не гарантируют качество в конкретном приложении. По сведениям README, модель не проходила этап RLHF для согласования безопасных ответов и может выдавать проблемный контент, особенно по соответствующему запросу. Лицензия репозитория — Apache 2.0.

Phi-4-mini-instruct-GGUF — квантизированная GGUF-версия модели Phi-4-mini-instruct, разработанной Microsoft и преобразованной компанией Second State Inc. Модель предназначена для генерации текста и диалогового применения, включая задачи обработки естественного языка и работы с кодом. Она распространяется в нескольких вариантах квантизации для запуска с llama.cpp и LlamaEdge. Модель работает с текстовой модальностью, поддерживает контекст размером до 128 000 токенов и заявлена как многоязычная. В README перечислена поддержка арабского, китайского, чешского, датского, нидерландского, английского, финского, французского, немецкого, иврита, венгерского, итальянского, японского, корейского, норвежского, польского, португальского, русского, испанского, шведского, тайского, турецкого и украинского языков. Размер исходной модели и сведения об архитектуре в README не указаны. Основное преимущество представленной версии — выбор между несколькими уровнями квантизации с размером файлов от 1,68 до 7,68 ГБ, что позволяет адаптировать модель к доступной памяти и требованиям к качеству. Варианты с низкой разрядностью экономичнее, но могут заметно снижать качество; наиболее сбалансированными в README названы Q4_K_M, Q5_K_M и Q5_K_S. Для использования требуется совместимый рантайм и шаблон prompt типа phi-4-chat. Модель распространяется по лицензии MIT.

Qwen2.5-14B-Instruct-1M-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-14B-Instruct-1M, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи, требующие обработки очень длинного контекста, при сохранении возможностей на коротких запросах. В метаданных указана поддержка английского языка. Модель имеет контекстное окно до 1 миллиона токенов, что делает её подходящей для анализа больших документов и других длинных последовательностей. При этом для последовательностей свыше 262 144 токенов возможно снижение точности до появления улучшенной поддержки. Размер исходной модели составляет 14 миллиардов параметров; сведения о конкретном методе и уровнях GGUF-квантизации в README не указаны. Модель распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может генерировать неточный, неподходящий или вредоносный контент, поэтому результаты требуют проверки. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность или соответствие конкретным требованиям.

lmstudio-community/Qwen2.5-7B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp release b3772; модель представлена в рамках программы Community Models LM Studio, но LM Studio не является её разработчиком или владельцем. Модель предназначена для генерации текста, диалоговых сценариев, ответов на инструкции и работы со структурированными данными. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский, что делает её пригодной для многоязычных приложений. Ключевые характеристики включают размер 7 млрд параметров, контекст до 128 тысяч токенов с настройками YaRN RoPE и генерацию до 8 тысяч токенов. К сильным сторонам относятся широкий языковой охват, поддержка длинного контекста и улучшенное понимание и создание структурированных данных. При этом модель может генерировать неточную, вредную или вводящую в заблуждение информацию, а README не содержит подробностей о конкретной схеме квантизации, требованиях к ресурсам и результатах бенчмарков. Распространение указано под лицензией Apache 2.0.

mlx-community/Qwen3-1.7B-bf16 — конверсия модели Qwen/Qwen3-1.7B в формат MLX, подготовленная сообществом mlx-community с помощью mlx-lm версии 0.24.0. Это плотная авторегрессионная языковая модель семейства Qwen3 с 1,7 млрд параметров; она предназначена для генерации текста и диалогов, следования инструкциям, рассуждений и работы с кодом. Метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Нативная длина контекста — 40 960 токенов. Репозиторий использует safetensors, а вариант bf16 рассчитан на запуск в экосистеме MLX. Лицензия — Apache-2.0.

jc-builds/Qwen3.5-4B-Q4_K_M-GGUF — это 4-битная квантованная версия базовой модели Qwen/Qwen3.5-4B, разработанной Alibaba Cloud. Квантование Q4_K_M и упаковка в формат GGUF выполнены для запуска на устройствах пользователя, в частности на iPhone, iPad и компьютерах Mac с Apple Silicon, через llama.cpp. Модель распространяется по лицензии Apache 2.0. Модель предназначена для генерации текста, рассуждений, программирования, следования инструкциям и использования инструментов. Она поддерживает режим reasoning с тегами <think> и ChatML-формат запросов. В README заявлены мультимодальные возможности с ранним объединением зрительных данных, однако vision encoder предоставляется отдельно. Указана поддержка 201 языка и диалекта, включая английский, китайский, японский, корейский, русский и другие языки. Архитектура представляет собой гибрид Gated DeltaNet и полноразмерного softmax-внимания в соотношении 3:1: из 32 слоёв восемь блоков содержат по три слоя DeltaNet и одному attention-слою. Модель имеет около 4 миллиардов параметров, размер файла составляет примерно 2,6 ГБ, а нативное контекстное окно — 262 144 токена; для расширения контекста заявлена совместимость с YaRN. Гибридная архитектура рассчитана на снижение потребления памяти, что делает модель подходящей для локального и мобильного вывода. Ограничениями являются потеря точности из-за 4-битного квантования, высокие требования к оперативной памяти для длинного контекста и то, что заявленные мультимодальные функции требуют отдельного vision encoder.

Qwen3.8-Flash-Next-FP8 — экспериментальная модель семейства Qwen, разработанная командой Qwen. Это причинная языковая модель с vision encoder, предназначенная для обработки текста и изображений, генерации ответов и решения мультимодальных задач. FP8-вариант содержит квантизированные веса и конфигурацию в формате Hugging Face Transformers и совместим с Transformers, vLLM, SGLang и TokenSpeed. Модель имеет 125 млрд параметров, из которых 6 млрд активируются при обработке, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура включает 48 слоёв, гибрид Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts с 512 экспертами и активацией 10 маршрутизируемых экспертов плюс одного общего. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 000 000 токенов. Для повышения эффективности на длинном контексте используется разреженное внимание на уровне микроблоков. Ключевые сильные стороны модели — высокая вычислительная эффективность, сниженная задержка при работе с длинным контекстом, поддержка мультимодальных сценариев и экономичное FP8-квантизирование с заявленной близостью характеристик к исходной модели. Ограничения включают экспериментальный статус архитектуры, отсутствие в представленном README сведений о поддерживаемых языках, подробных результатах бенчмарков и требованиях к оборудованию. Модель распространяется по лицензии qwen-community-1.0; условия следует уточнять в файле LICENSE.

NVIDIA Qwen3-Next-80B-A3B-Instruct NVFP4 — это квантизированная версия авторегрессионной текстовой модели Qwen3-Next-80B-A3B-Instruct, разработанной Alibaba. NVIDIA подготовила и оптимизировала эту версию с помощью TensorRT Model Optimizer; сама базовая модель не является разработкой NVIDIA. Модель предназначена для генерации текста, чат-ботов, AI-агентов, RAG-систем и других приложений на базе больших языковых моделей. Модель использует архитектуру Transformers с сетевой архитектурой Qwen3NextForCausalLM, принимает текстовые последовательности и генерирует текст. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Количество параметров в карточке не раскрыто. Веса и активации линейных операторов внутри трансформерных блоков переведены в формат NVFP4, что уменьшает число бит на параметр с 16 до 4, а размер на диске и требования к памяти GPU примерно в 3,3 раза. К сильным сторонам относятся сниженные требования к памяти и готовность к ускоренному выводу через TensorRT-LLM. Основные ограничения связаны с привязкой к NVIDIA GPU, совместимостью прежде всего с микроархитектурой NVIDIA Blackwell и предпочтительной средой Linux; для использования требуется дополнительное тестирование на данных конкретного сценария. Модель распространяется по лицензии Apache License 2.0 и допускает коммерческое и некоммерческое использование. Для инференса заявлена интеграция с TensorRT-LLM; результаты полной оценки в предоставленной карточке приведены не полностью.

Qwen3-Next-80B-A3B-Thinking — языковая модель с открытыми весами от команды Qwen, предназначенная для сложных задач рассуждения и диалогового применения. Она работает только в режиме размышления и может формировать длинные цепочки рассуждений. Модель построена на причинной архитектуре Qwen3-Next с разреженной смесью экспертов (MoE) и сочетает Gated DeltaNet с Gated Attention для работы с длинным контекстом. Всего в ней 80 млрд параметров, из которых активны около 3 млрд; метаданные каталога указывают 2,3 млрд параметров. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000 токенов. Поддерживаются генерация текста, чат и интерфейс вызова инструментов. Модель подходит для многошагового анализа, решения сложных задач и работы с большими текстовыми контекстами. В README заявлены высокие результаты на тестах рассуждения и эффективность инференса, но эти сравнения приведены разработчиком. Для запуска нужны совместимые версии Transformers, SGLang или vLLM и значительные вычислительные ресурсы; README рекомендует несколько GPU и отмечает риск нехватки памяти при длинном контексте. Лицензия — Apache 2.0.

Vikhr-Nemo-12B-Instruct-R-21-09-24 — русско-английская унимодальная языковая модель команды VikhrModels, дообученная на базе mistralai/Mistral-Nemo-Instruct-2407. Это плотная архитектура Mistral с 12,1 млрд параметров; модель распространяется в формате safetensors и предназначена для генерации текста и диалога. Для обучения использованы этапы SFT и SMPO, а среди обучающих данных — синтетические наборы GrandMaster-PRO-MAX и Grounded-RAG-RU-v2. Модель подходит для ответов на вопросы, рассуждений, суммаризации, генерации кода и ролевого диалога. Она поддерживает системные промпты и специальный режим grounded RAG для ответов по предоставленным документам, включая поиск идентификаторов релевантных документов. README заявляет контекст до 128 тысяч токенов; в метаданных указано значение 1 024 000 токенов. Практический предел зависит от конфигурации запуска. К ограничениям относятся низкий уровень безопасности ответов, возможные случайные дефекты генерации при высокой температуре и риск добавления модельных знаний к ответу по документам. Режим grounded RAG требует специального системного промпта; авторы рекомендуют низкую температуру. По оценке авторов на ru-arena-general часть тестовых примеров попала в обучающие данные, поэтому приведённый результат следует интерпретировать с осторожностью. Лицензия — Apache-2.0.

dranger003/c4ai-command-r-plus-iMat.GGUF — это набор GGUF-квантизаций модели C4AI Command R+, разработанной CohereForAI. Репозиторий предназначен для локального запуска модели через llama.cpp и совместимые инструменты; веса используют importance matrix для улучшения соотношения качества и размера при низкоразрядном квантовании. Базовая модель содержит около 104 млрд параметров, имеет 64 слоя и контекст до 131 072 токенов. Это текстовая autoregressive-модель для генерации текста, диалогов, рассуждений, суммаризации и ответов на вопросы. Она оптимизирована для Retrieval Augmented Generation (RAG) и многошагового использования инструментов. Модель оценивалась на английском, французском, испанском, итальянском, немецком, бразильском португальском, японском, корейском, арабском и упрощённом китайском языках. Главное преимущество репозитория — широкий выбор квантизаций с разным компромиссом между размером файлов и качеством: от IQ1_S примерно на 21,59 ГиБ до FP16 примерно на 193,38 ГиБ. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству; для запуска полноразмерных вариантов необходимы значительные вычислительные ресурсы. Для работы с моделью требуется актуальная основная ветка llama.cpp с поддержкой этой архитектуры. Лицензия — CC BY-NC 4.0, предусматривающая некоммерческое использование с соблюдением условий лицензии.

AtomicChat/gemma-4-26B-A4B-it-GGUF — это GGUF-квантизированная версия инструкционной модели google/gemma-4-26B-A4B-it, подготовленная Atomic Chat на основе оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалогов, рассуждений и других сценариях, поддерживаемых базовой text-generation-моделью. Для запуска в llama.cpp требуется применять шаблон чата Gemma 4 с параметром --jinja. Модель использует архитектуру Mixture-of-Experts: 25,2 млрд параметров всего и около 3,8 млрд активных на каждый токен, 30 слоёв, 128 маршрутизируемых экспертов с выбором top-8, гибридное внимание с локальным окном 1024 токена и глобальным вниманием, 16 attention heads и 8 KV heads. Заявленная длина контекста составляет 256 тысяч токенов, размер словаря — 262 тысячи. Базовая модель поддерживает текст и изображения, однако данный репозиторий содержит только текстовые квантизации и не включает vision projector. К сильным сторонам относятся высокая вычислительная эффективность MoE-архитектуры, большой контекст, режимы рассуждения и широкий выбор квантизаций от Q2_K до Q8_0. Квантизация с importance matrix призвана сохранить качество оригинальной модели, но низкобитные варианты могут заметно терять качество; Q4_K_M обозначен как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 — как варианты с минимальными потерями. Размер файлов составляет примерно от 10,6 до 26,9 ГБ, поэтому требуются значительные оперативная память или видеопамять. Модель распространяется по лицензии Apache-2.0.

OnlyTextLLMs выпустила текстовую версию Gemma 4 31B IT, полученную из google/gemma-4-31B-it удалением компонентов обработки изображений и аудио, а также связанных мультимодальных токенов. Текстовая часть модели и языковая голова сохранены; это плотная авторегрессионная модель Gemma4ForCausalLM с 27,4 млрд параметров по метаданным и весами bfloat16. Модель предназначена для диалогов и генерации текста. Она поддерживает контекст длиной до 262 144 токенов и работает через библиотеку Transformers. Обучение не проводилось: репозиторий содержит производную версию весов Google, из которой удалены мультимодальные компоненты. Модель распространяется по лицензии Apache 2.0. После удаления аудио- и визуальных компонентов она принимает текст и выдаёт текст; возможности исходной мультимодальной модели для анализа изображений и аудио здесь недоступны.

Карточка модели genevaquant/Inkling-Small на Hugging Face совпадает с карточкой thinkingmachines/Inkling-Small, поэтому описание составлено по ней. Inkling-Small — мультимодальная модель общего назначения от Thinking Machines, построенная на авторегрессионном трансформере с 42 слоями и разреженным MoE-блоком: из 256 экспертов для каждого токена выбираются 6, а 2 общих эксперта активны всегда. Всего модель содержит 276 млрд параметров, из которых активно 12 млрд. Она принимает текст, изображения и аудио, обрабатывая их в общем пространстве представлений, и генерирует текст. Поддерживаются форматы BF16 и NVFP4; для работы предусмотрена библиотека Transformers. Модель предназначена для диалогов, следования инструкциям, мультимодальных запросов, программирования, чат-ботов, агентных систем с использованием инструментов и приложений с поиском по документам. Основной язык — английский; заявлены общие многоязычные возможности, но языки отдельно не перечислены. Для изображений рекомендован размер сторон 40–4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью менее двух минут. Модель может выдавать фактически неверные ответы, неточно следовать инструкциям и хуже работать в длинных диалогах; качество также может различаться по языкам и предметным областям. Для важных решений необходимы проверка человеком и дополнительные меры безопасности. Весы доступны по лицензии Apache-2.0.

Карточка модели RedHatAI/Inkling-Small на Hugging Face совпадает с карточкой thinkingmachines/Inkling-Small, поэтому описание составлено по ней. Inkling-Small — мультимодальная модель общего назначения от Thinking Machines, построенная на авторегрессионном трансформере с 42 слоями и разреженным MoE-блоком: из 256 экспертов для каждого токена выбираются 6, а 2 общих эксперта активны всегда. Всего модель содержит 276 млрд параметров, из которых активно 12 млрд. Она принимает текст, изображения и аудио, обрабатывая их в общем пространстве представлений, и генерирует текст. Поддерживаются форматы BF16 и NVFP4; для работы предусмотрена библиотека Transformers. Модель предназначена для диалогов, следования инструкциям, мультимодальных запросов, программирования, чат-ботов, агентных систем с использованием инструментов и приложений с поиском по документам. Основной язык — английский; заявлены общие многоязычные возможности, но языки отдельно не перечислены. Для изображений рекомендован размер сторон 40–4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью менее двух минут. Модель может выдавать фактически неверные ответы, неточно следовать инструкциям и хуже работать в длинных диалогах; качество также может различаться по языкам и предметным областям. Для важных решений необходимы проверка человеком и дополнительные меры безопасности. Весы доступны по лицензии Apache-2.0.

Ling-lite-1.5 — языковая модель с разреженной архитектурой MoE, разработанная InclusionAI для генерации текста и диалогового взаимодействия. Карточка относит её к семейству Ling и приводит для этой версии 16,8 млрд параметров, из которых активируется 2,75 млрд. В метаданных репозитория указано 794,8 млн параметров и контекст 32 768 токенов, тогда как README сообщает 128K контекста; поэтому характеристики размера и длины контекста в источниках расходятся. Модель предназначена для широкого круга задач с текстом, включая ответы на вопросы, решение задач и генерацию кода. В опубликованной таблице оценки приведены результаты на MMLU, GPQA и HumanEval; README также описывает тесты длинного контекста до 128K. Для запуска указана библиотека Transformers, веса представлены в формате safetensors. Лицензия — MIT.

Saxo (Джи Юнсон), специалист по данным и руководитель Linkbricks Horizon-AI, дообучил эту плотную языковую модель на основе Qwen2.5-32B-Instruct. Модель содержит 32 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов; для работы с ней используется библиотека Transformers. В обучении применялись этапы CPT, SFT, DPO и ORPO, а также данные из многоязычных новостных и wiki-корпусов и наборы для отдельных задач. Модель предназначена для диалога и генерации текста, в том числе для анализа отзывов и публикаций в социальных сетях, написания текстов и кода, математических и логических задач, а также вызова функций и инструментов. В README заявлена работа с корейским, английским, японским и китайским языками; датасеты также включают перевод и суммаризацию. Репозиторий содержит веса в формате safetensors. Лицензия Apache 2.0.

MaziyarPanahi/Mistral-Small-Instruct-2409-GGUF — это набор квантованных файлов в формате GGUF для Mistral-Small-Instruct-2409, опубликованный MaziyarPanahi. Исходную модель разработала Mistral AI; она представляет собой instruct-дообученную языковую модель для диалогов, генерации и обработки текста, включая сценарии с function calling. Репозиторий предназначен для запуска через llama.cpp и совместимые локальные приложения и библиотеки. Модель имеет около 22 млрд параметров, архитектуру MistralForCausalLM и контекст до 32 768 токенов. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Доступны варианты квантования от низкой разрядности до 8-bit, что позволяет уменьшить требования к памяти и запускать модель на совместимом CPU или GPU, однако более сильное квантование может снизить качество по сравнению с исходными весами; для полной модели требуются значительные вычислительные ресурсы. Исходная Mistral-Small-Instruct-2409 распространяется по Mistral Research License (MRL). Указанные условия разрешают использование в некоммерческих исследовательских целях; для коммерческого использования модели, производных версий или их предоставления требуется отдельная коммерческая лицензия Mistral AI.

hardcoreerik выпустил декензурированную версию Llama-3.1-Nemotron-Nano-4B-v1.1, созданную с помощью Heretic v1.3.0. По карточке это плотный decoder-only Transformer семейства Llama, дообученный на базе nvidia/Llama-3.1-Minitron-4B-Width-Base; размер — 3,9 млрд параметров, контекст — до 131 072 токенов. Модель принимает и выдаёт текст, поддерживает чат, рассуждения, следование инструкциям и вызов инструментов. Она предназначена для чат-ботов, агентных систем, RAG и общих задач, включая программирование, математику и рассуждения. Основной язык — английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского. В сравнении с исходной моделью в README указано меньше отказов на тесте из 100 запросов, что отражает её декензурированную настройку. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия указана как other, а README заявляет готовность исходной модели к коммерческому использованию, но условия лицензии именно этой версии следует проверять отдельно.

solidrust/Mistral-7B-Instruct-v0.3-AWQ — это 4-битно квантованная версия Mistral-7B-Instruct-v0.3, разработанной компанией Mistral AI (mistralai) и опубликованной в формате AWQ пользователем Suparious. Модель представляет собой большую языковую модель с авторегрессионной архитектурой для генерации текста и была дообучена на выполнение инструкций. Модель предназначена для диалоговых сценариев, ответов на запросы пользователей, генерации и обработки текста, а также задач, где требуется следование инструкциям. Базовая версия Mistral-7B-v0.3 получила расширенный словарь размером 32768 токенов, поддержку токенизатора v3 и function calling. README не указывает поддерживаемые языки и размер контекстного окна. Ключевое преимущество версии AWQ — снижение требований к памяти и потенциально высокая скорость инференса при сохранении качества, сопоставимого с распространёнными настройками GPTQ. Ограничением является поддержка преимущественно Linux и Windows с графическими процессорами NVIDIA; для macOS рекомендуется использовать модели в формате GGUF. Для запуска доступны AutoAWQ, vLLM, Text Generation Inference, Transformers и Text Generation WebUI. Модель распространяется по лицензии Apache-2.0.