II.10Разработка и эксплуатация AI/ML-систем

Qwen3.8-max-Reasoning-Distilled-GGUF — компактная языковая модель, разработанная khazarai и созданная методом дистилляции знаний из Qwen3.8-max. Модель предназначена для задач рассуждения, включая анализ вариантов, решение вопросов из разных предметных областей и генерацию структурированных ответов. Формат GGUF ориентирован на использование с llama.cpp, а тег vision-language-model и pipeline image-text-to-text указывают на поддержку сценариев работы с изображениями и текстом, однако подробности о реализации визуального ввода в README не приведены. Ключевая особенность модели — оптимизированная цепочка рассуждений: она стремится выдавать линейную, последовательную и решительную логику, сокращая повторные проверки, колебания и циклы «переобдумывания». Благодаря дистилляции модель рассчитана на более эффективный инференс с меньшим числом генерируемых токенов при сохранении качества ответов. Размер архитектуры, объём параметров, максимальная длина контекста и полный набор поддерживаемых языков не указаны; явно заявлен английский язык. Модель может быть полезна там, где важны компактность, скорость и экономный расход токенов. Ограничением является то, что для чрезвычайно сложных многошаговых математических задач может потребоваться явный запрос на пошаговые промежуточные вычисления. Результаты следует проверять при использовании в медицинских, юридических и финансовых сценариях. Указанная лицензия — Apache-2.0.

BennyDaBall/Qwen3.8-Uncensored-NVFP4-MTP — это квантизированная GGUF-версия модели JonathanColetti/Qwen3.8-27B-Uncensored, подготовленная BennyDaBall. Модель основана на 27B-сборке Qwen3.8 с удалёнными ограничениями фильтрации, предназначена для генерации текста и диалогов, а также поддерживает работу с изображениями и видеокадрами при подключении vision-проектора. Заявлены английский и китайский языки. Контекстное окно составляет 262 144 токена. Основная часть трансформера из 64 слоёв сжата в формат NVFP4, а lm_head, embeddings, MTP-голова и vision-проектор сохранены в BF16. Встроенная MTP-голова позволяет использовать speculative decoding без отдельной draft-модели, что может существенно ускорять генерацию, особенно на структурированных данных, коде и повторяющихся фрагментах. Модель ориентирована прежде всего на видеокарты NVIDIA Blackwell, включая RTX 5090, RTX 5080 и RTX PRO; для работы требуются свежие версии llama.cpp с поддержкой NVFP4 и архитектуры qwen35 либо LM Studio 2.29.1 и новее. Производительность и эффективность спекулятивного декодирования зависят от оборудования и характера запроса, а для мультимодального режима требуется около 1 ГиБ дополнительной видеопамяти на vision-проектор. Распространяется по лицензии Apache-2.0.

Qwen3-Next-80B-A3B-Thinking r22 — экспериментальный чекпойнт на базе Qwen/Qwen3-Next-80B-A3B-Thinking. В карточке указано, что это MoE-модель с маршрутизируемыми экспертами, усреднённо хранящимися при 2,0161 бита; остальные веса — BF16. Метаданные указывают 2,3 млрд параметров, контекст до 262 144 токенов и библиотеку Transformers. Веса представлены в safetensors и загружены в деквантованном виде в BF16-тензоры; заявлена совместимость со стандартными Transformers и vLLM. Модель предназначена для генерации текста и диалогового использования, включая сложные рассуждения и вызов инструментов через соответствующий интерфейс. Русский язык карточкой не заявлен, поэтому языковая поддержка здесь не уточняется. Чекпойнт помечен как внутренний исследовательский; лицензия наследуется от базовой модели.

unsloth/Qwen3-VL-2B-Instruct — версия мультимодальной модели Qwen3-VL-2B-Instruct, подготовленная Unsloth; это плотная модель семейства Qwen3-VL с архитектурой Qwen3VLForConditionalGeneration и весами в формате safetensors. Она принимает текст и изображения, а также предназначена для анализа видео в диалоге: отвечает на вопросы по визуальным данным, распознаёт текст, рассуждает о пространственных отношениях и помогает взаимодействовать с графическими интерфейсами и инструментами. Карточка базовой модели указывает контекст 256 тысяч токенов с возможностью расширения до миллиона; README также заявляет поддержку OCR на 32 языках и обработку длинных видео. Модель подходит для описания изображений и видео, извлечения текста из документов, визуальных вопросов и ответов, генерации кода интерфейсов по визуальному примеру и сценариев с визуальными агентами. README отмечает исправления шаблона чата Unsloth; для llama.cpp требуется параметр --jinja. Заявления о качестве и производительности приведены без таблиц результатов в доступном README. Лицензия — Apache-2.0.

T3Q-qwen2.5-14b-v1.0-e3 — дообученная модель на основе Qwen/Qwen2.5-14B-Instruct-1M, опубликованная разработчиком JungZoona. Это плотная языковая модель с архитектурой Qwen2ForCausalLM и 14 млрд параметров, предназначенная для диалогов и генерации текста. Модель рассчитана на контекст длиной до 1,01 млн токенов и работает через библиотеку Transformers. В README указано, что модель прошла постобучение с LoRA на train_data_v1.0. Метаданные заявляют поддержку чата и интерфейса вызова инструментов; модель может применяться для длинных диалогов и анализа больших текстовых контекстов. В карточке сообщается о первом месте среди моделей до 32 млрд параметров в Global Open LLM Leaderboard, однако подробности оценки не приведены. Поддерживаемые языки по метаданным — английский и корейский. Модель распространяется по лицензии Apache-2.0. README сообщает о выпуске более новой версии T3Q-qwen2.5-14b-v1.2-e2 от 14 марта 2025 года, поэтому v1.0-e3 может быть устаревшей относительно неё.

UTC-DeBERTa-large — универсальный классификатор токенов от Knowledgator, основанный на DeBERTaV3-large и дообученный на нескольких задачах разметки последовательностей с prompt tuning. Модель предназначена для извлечения информации из текста: распознавания именованных сущностей, ответов на вопросы, извлечения отношений и разрешения кореференции; README также указывает очистку и суммаризацию текста как возможные сценарии. Метаданные относят модель к DeBERTa-v2 и задаче token classification, указывают 533,8 млн параметров и контекст до 512 токенов. Многозадачное обучение нацелено на обобщение и zero-shot распознавание сущностей; в README приведены результаты на CrossNER для областей ИИ, литературы, музыки, политики и науки. Модель принимает текст и выдаёт токенную разметку. Карточка указывает английский язык и лицензию Apache-2.0. Результаты и обобщение могут зависеть от формулировки запроса и типа текста; контекст ограничен 512 токенами.

Yi-34B-200K — большая языковая модель 01.AI, обученная с нуля. Она предназначена для генерации текста и подходит для диалога, ответов на вопросы, рассуждений и чтения длинных материалов. Модель использует плотную архитектуру LlamaForCausalLM на основе Transformer, содержит 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. Семейство Yi ориентировано прежде всего на китайский и английский языки и обучено на многоязычном корпусе объёмом 3 трлн токенов. Веса этой модели опубликованы в форматах PyTorch и Safetensors. Карточка описывает сильные результаты семейства в понимании языка, здравом смысле и чтении; эти результаты не гарантируют такое же качество на всех задачах и данных. Модель распространяется по лицензии Apache-2.0. Для запуска большой версии необходимы значительные вычислительные ресурсы; приведённый в карточке пример локального запуска Yi-34B использует ускоритель A800 с 80 ГБ памяти.

Airoboros 7B GPT4 1.4.1 QLoRA — дообученная модель семейства LLaMA, созданная jondurbin на базе синтетических данных, сгенерированных GPT-4. Это вариант QLoRA для сравнения с полной тонкой настройкой; модель содержит около 6,6 млрд параметров и рассчитана на контекст до 2048 токенов. Для диалога использует шаблон в стиле Vicuna 1.1. Модель предназначена для генерации ответов в диалоге, следования инструкциям, ответов на вопросы по предоставленному контексту, помощи с программированием, письма, ролевых диалогов, загадок и викторин. В обучающем наборе есть примеры кода на десяти языках программирования, но естественные языки модели в источниках не перечислены. Модель ориентирована на подробные и прямые ответы, однако README предупреждает, что ответы по контексту могут выдумываться, поэтому для закрытых вопросов рекомендуется явно просить не придумывать ответ при нехватке данных. Модель обучалась следовать запросам без отказов, включая незаконные или аморальные; это может приводить к небезопасным ответам. Лицензия — CC BY-NC 4.0, разрешающая использование с указанием авторства и запрещающая коммерческое использование.

ALLaM-7B-Instruct-preview-GGUF — это набор GGUF-квантизаций инструкционной языковой модели ALLaM-7B-Instruct-preview, разработанной ALLaM-AI и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций, включая арабские и англоязычные сценарии. Доступен запуск через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Модель содержит около 7 миллиардов параметров; README не уточняет её архитектуру, максимальную длину контекста, формат промптов и дополнительные модальности, поэтому она описывается как текстовая. Набор включает варианты от BF16 до Q3 и IQ3-квантизаций с размерами примерно от 3,11 до 14 ГБ. Варианты Q6 и Q5 отмечены как обеспечивающие очень высокое или высокое качество, а Q4 — как оптимальные для большинства сценариев по соотношению качества и размера. Основные преимущества — поддержка локального запуска, широкий выбор квантизаций и возможность подобрать вариант под доступную оперативную память. Более агрессивные квантизации уменьшают требования к памяти, но могут снижать качество генерации; некоторые форматы имеют статус legacy или не рекомендуются. Модель распространяется по лицензии Apache-2.0.

QuantFactory/dolphin-2.1-mistral-7b-GGUF — квантизированная версия модели Dolphin 2.1 на базе cognitivecomputations/dolphin-2.1-mistral-7b, созданная QuantFactory с использованием llama.cpp. Модель разработана в рамках проекта Dolphin; обучение спонсировала a16z. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, выполнение инструкций и творческие задачи. Модель основана на архитектуре Mistral с размером 7B параметров и распространяется в формате GGUF. Поддерживает текстовую модальность, английский язык и формат запросов ChatML. Для обучения использовались датасеты ehartford/dolphin и jondurbin/airoboros-2.2.1; Dolphin описывается как открытая реализация подхода Microsoft Orca с дополнительной очисткой, дедупликацией и повышением качества данных. К сильным сторонам относятся высокая готовность следовать инструкциям, универсальность и ориентация на творческую генерацию. Модель позиционируется как uncensored: из обучающих данных удалялись элементы alignment и bias, поэтому она может выполнять потенциально небезопасные или неэтичные запросы. При использовании в сервисах рекомендуется самостоятельно добавить слой выравнивания и фильтрации. Сведения о размере контекста и точных параметрах квантизации в README не указаны. Лицензия — Apache-2.0, допускающая коммерческое и некоммерческое использование.

EuroLLM-9B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели EuroLLM-9B-Instruct, разработанной проектом utter-project и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение инструкций и локальный запуск через совместимые приложения, например LM Studio. Модель имеет около 9 миллиардов параметров и поддерживает широкий набор языков, включая английский, немецкий, испанский, французский, итальянский, португальский, польский, русский, украинский, китайский, японский, корейский, арабский и хинди. Мультимодальные возможности и размер контекста в README не указаны. Доступны варианты от F16 до Q2_K_L, различающиеся размером файлов, требованиями к памяти и качеством: старшие варианты обеспечивают качество, близкое к исходной модели, а младшие подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. Модель удобна для локального инференса благодаря большому выбору квантизаций; рекомендованным вариантом по умолчанию назван Q4_K_M, а для максимального качества — Q6_K или Q6_K_L. Некоторые варианты оптимизированы для ARM или AVX и имеют ограничения совместимости, в частности отдельные сборки не рекомендуются для Mac или GPU. Лицензия — Apache-2.0.

Experiment26Yam_CalmeInex12 — объединённая языковая модель на архитектуре Mistral, созданная MaziyarPanahi путём слияния automerger/Experiment26Yam-7B и automerger/CalmeInex12-7B. Модель содержит 7,1 млрд параметров, принимает текстовые запросы и генерирует текст; длина контекста составляет до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев общего назначения. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

GPT4-Alpaca-LoRAMLP-65B — модель генерации текста семейства LLaMA, подготовленная на основе LLaMA 65B с помощью LoRA-дообучения MLP-компонентов на наборе alpaca_data_gpt4. Репозиторий TheBloke содержит веса после объединения LoRA с исходной LLaMA 65B; доступны варианты для GPU и CPU, включая квантованные сборки в отдельных репозиториях. В этой карточке указаны веса PyTorch для Transformers: 65 млрд параметров и контекст до 2048 токенов. Модель предназначена для диалоговых и инструкционных сценариев: она принимает текстовые инструкции и генерирует ответы. В README описан обучающий чекпойнт, полученный через LoRA на данных Alpaca GPT-4; это не означает, что ответы эквивалентны GPT-4. Для репозитория указана лицензия other, поэтому условия использования следует сверить с исходной лицензией LLaMA и правилами распространения этой сборки.

GPT-OSS-Swallow 20B SFT v0.1 — двуязычная языковая модель Tokyo Tech, созданная на основе GPT-OSS с продолжением предобучения и supervised fine-tuning. Она предназначена для диалога на японском и английском языках, перевода между ними, а также задач по математике, программированию и естественным наукам. Модель имеет MoE-архитектуру семейства GPT-OSS, около 1,6 млрд параметров по метаданным и поддерживает контекст до 131 072 токенов; карточка рекомендует ограничивать контекст 32 768 токенами или меньше, поскольку длинный контекст отдельно не обучался и не оценивался. Для инференса разработчики рекомендуют vLLM. Модель улучшает владение японским языком и перевод, сохраняя заявленные способности GPT-OSS в математике и коде. Разработчики отмечают, что модель находится на раннем этапе разработки и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Использование инструментов и управление уровнем рассуждений не проходили специального обучения, поэтому эти сценарии не валидированы. Лицензия — Apache 2.0.

Hermes-4-70B-GGUF — это квантизированная версия языковой модели Hermes-4-70B, разработанной NousResearch. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, создание и преобразование текстов и другие задачи обработки естественного языка. Формат GGUF ориентирован на локальный запуск с использованием совместимых инструментов, включая llama.cpp и LM Studio. В основе модели лежит модель размером 70 миллиардов параметров; точный вариант квантования в README не указан. Модель работает с текстовой модальностью, сведения о поддерживаемых языках и размере контекстного окна не приведены. Квантизация может снизить требования к памяти по сравнению с полноразмерной моделью, но потенциально влияет на точность и качество генерации. Как и другие генеративные модели, она может создавать неточные, вредные или неподходящие ответы. GGUF-квантизация предоставлена командой LM Studio с использованием llama.cpp release b6287, при этом LM Studio не является разработчиком исходной модели. Лицензия в README не указана.

Это GGUF-квантизированная версия Mistral-Small-24B-Instruct-2501-abliterated, разработанная huihui-ai и подготовленная квантизатором bartowski. Модель предназначена для генерации текста и работы в формате инструкций, включая диалоговые сценарии, ответы на запросы и другие задачи text-generation. Варианты доступны для запуска через llama.cpp, LM Studio и совместимые проекты. Модель содержит около 24 млрд параметров и распространяется в форматах квантования от Q3 до Q8, а также в полном формате F32. Квантизация выполнена с использованием imatrix; варианты отличаются размером файлов, требованиями к памяти и сохранением качества. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Формат приглашений использует конструкции SYSTEM_PROMPT и INST. К сильным сторонам относятся широкий выбор уровней квантования, возможность локального запуска и высокое качество рекомендуемых вариантов Q5–Q6. Ограничения включают значительные требования к оперативной или видеопамяти для версий высокого качества, а также отсутствие в предоставленных данных сведений о размере контекста, точной архитектуре, мультимодальности и результатах бенчмарков. Обозначение abliterated указывает на изменённую версию исходной instruct-модели, однако конкретные последствия этого изменения в README не описаны. Лицензия — Apache-2.0.

Nickyang/Hy3-RAZOR-226B-A21B-E144of192 — диалоговая языковая модель Tencent Hy3, в которой методом RAZOR без дообучения удалена четверть маршрутизируемых экспертов. В каждом MoE-слое сохранено 144 из 192 экспертов; README указывает 226 млрд параметров и около 21 млрд активных параметров на токен. Метаданные каталога приводят 16,6 млрд параметров, поэтому размер модели в источниках расходится. Модель предназначена для генерации текста и диалогов; базовая Hy3 также позиционируется для рассуждений, агентных сценариев и задач продуктивности. Контекстное окно — 262 144 токена. Веса доступны в формате safetensors, тип точности — bfloat16; для запуска нужна версия Transformers с нативной реализацией hy_v3. RAZOR выбирает экспертов по оценке того, насколько их функцию могут заменить оставшиеся эксперты. Веса не проходили восстановительное обучение, а калибровка проводилась на конечном многодоменном корпусе RazorCal. Использование разреженной MoE-архитектуры сохраняет около 21 млрд активных параметров на токен, но удаление экспертов является потерей информации: ответы могут отличаться по разнообразию, форматированию и поведению завершения даже при сохранении точности на отдельных задачах. Лицензия — Apache-2.0.

Это версия модели LFM2.5-1.2B-Instruct, созданная Ричардом Янгом (DeepNeuro) с помощью Heretic v2.0.0.dev0. Веса изменены методом abliteration: автор сообщает, что модель стала значительно реже отказывать, без повторного обучения. Это компактная текстовая модель семейства LFM2 для локального диалога и запуска на устройствах с ограниченными ресурсами; архитектура базовой модели сочетает свёрточные блоки и блоки внимания. В репозитории указано 1,5 млрд параметров, а для исходной модели — 1,17 млрд; метаданные каталога указывают контекст 128 000 токенов, тогда как README базовой модели приводит 32 768 токенов. Модель предназначена для диалога, творческого письма, обучения методам выравнивания, извлечения данных и RAG; исходная модель также рассчитана на агентные сценарии и вызов инструментов. Карточка сообщает о поддержке английского, арабского, китайского, французского, немецкого, японского, корейского и испанского языков. Автор приводит снижение доли отказов с 98 до 3 на тесте из 100 запросов и низкую KL-дивергенцию относительно исходной модели. Это результаты, заявленные в карточке, а не независимая оценка. Модель может отвечать на запросы, которые отвергает исходная версия; её лицензия указана как other, поэтому условия использования следует сверять с карточкой репозитория.

Liberalis Cogitator Llama 3.1 8B — разговорная текстовая модель Locutusque, дообученная на базе meta-llama/Llama-3.1-8B примерно на 450 тысячах диалогов, задач и историй. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для генерации текста и диалогов; заявленная длина контекста — 131 072 токена. В карточке указана поддержка английского языка. Модель ориентирована на решение STEM- и логических задач, программирование, ролевые диалоги, рассказы и построение вымышленных миров. В обучающих данных также использовались синтетические диалоги пациента и психолога, однако карточка не подтверждает пригодность модели для профессиональной психологической помощи. Автор предупреждает, что ответы могут быть ошибочными, необычными или спорными и что модель не знает актуальных событий. Лицензия — Llama 3.1; её условия определяются лицензией Meta Llama 3.1.

Llama-3.1-Tulu-3-8B-SFT — англоязычная инструкционная модель семейства Tülu 3, разработанная AI2 и дообученная на базе meta-llama/Llama-3.1-8B. Это плотная авторегрессионная архитектура LlamaForCausalLM с 7,5 млрд параметров, предназначенная для диалогов и выполнения разнообразных инструкций, включая математические задачи и следование формату ответа. Модель поддерживает контекст до 131 072 токенов и распространяется в формате Safetensors для использования с Transformers. Модель подходит для чат-ботов, ответов на вопросы, решения математических задач и оценки следования инструкциям. Карточка приводит результаты сравнительных тестов, в том числе MMLU, PopQA, GSM8K и IFEval, но они не гарантируют качество в конкретном приложении. По описанию модели, обучение безопасности ограничено, поэтому ответы могут быть проблематичными, особенно при соответствующих запросах. Лицензия — Llama 3.1 Community License Agreement.

Llama-3-8B-ProLong-64k-Base — длинноконтекстная языковая модель Princeton NLP, созданная авторами семейства ProLong на основе Meta Llama 3 8B Instruct. Модель продолжительно обучали на длинных текстах; в метаданных указан датасет princeton-nlp/prolong-data-64K, а число параметров составляет 7,5 млрд. Архитектура — плотная LlamaForCausalLM, веса представлены в safetensors; модель предназначена для генерации текста и диалогового взаимодействия. Модель рассчитана на сценарии, где нужно анализировать и генерировать текст с длинным контекстом. Метаданные указывают контекстное окно 65 536 токенов. README описывает семейство ProLong и приводит обучение моделей на данных до 512K токенов, но не подтверждает такое окно для данного 64k чекпойнта. Базовая модель ориентирована на английский язык; явного списка языков для этой версии нет. Разработчики сообщают о высокой производительности семейства ProLong на оценке HELMET, однако приведённое в README сравнение относится к основным instruct-моделям семейства, а не явно к этой Base-версии. Лицензия — Llama 3; перед использованием следует соблюдать её условия.

Это GGUF-квантизированная версия Mistral-Medium-3.5-128B, разработанной Mistral AI и квантизированной пользователем bartowski с помощью llama.cpp и imatrix. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая обработку текстовых запросов и изображений в совместимых инструментах. Доступны варианты для llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI, vLLM и других решений. Модель содержит 128 миллиардов параметров. В README заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Представлены варианты квантования от Q3 до Q8 с размером файлов примерно от 63 до 133 ГБ; более качественные варианты требуют больше оперативной или видеопамяти. Для мультимодального режима требуется совместимый mmproj-файл, при этом указано, что корректно работают варианты bf16 и f32, а f16 может давать некогерентные результаты. Исправлены настройки RoPE и связанные параметры квантования. Сильными сторонами являются большой размер, широкая языковая поддержка и наличие вариантов квантования, позволяющих выбирать между качеством и требованиями к памяти. Ограничениями выступают очень высокие аппаратные требования, необходимость совместимого ПО и возможные проблемы мультимодального режима с отдельными настройками mmproj. Лицензия указана как other; конкретные условия в README не приведены.

mistralai/Mistral-Nemo-Instruct-2407 дообучена автором репозитория nbeerbower на наборах jondurbin/truthy-dpo-v0.1 и kyujinpy/orca_math_dpo. Это плотная авторегрессионная модель семейства Mistral для генерации текста и диалога; метаданные указывают 12,1 млрд параметров, контекст до 1 024 000 токенов и формат Safetensors. Модель предназначена для ответов на инструкции, диалоговых сценариев и генерации текста, включая математические запросы и задачи на правдивость, представленные в данных дообучения. Базовая модель многоязычная и поддерживает вызов инструментов через соответствующий интерфейс. По README, дообучение выполнено в течение одной эпохи на A100 в Google Colab. Репозиторий приводит результаты Open LLM Leaderboard: среднее 24,72, IFEval 67,94 и BBH 29,54; эти оценки не гарантируют качество на конкретных пользовательских задачах. Лицензия — Apache-2.0.

MistralTrinity-7B-slerp — языковая модель для генерации текста и диалоговых ответов, созданная объединением Mistral-7B-Instruct-v0.2 и trinity-v1 с помощью LazyMergekit. При слиянии применён метод SLERP; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель принимает текст и выдаёт текст, поддерживает диалоговый режим. Модель подходит для ответов на инструкции, ведения диалога и генерации текста с длинным контекстом. В README не приведены результаты оценки качества или сведения о целевых языках, поэтому конкретные сильные стороны по сравнению с исходными моделями и языковое покрытие определить нельзя. Распространяется по лицензии Apache-2.0.

Nanbeige4-3B-Thinking — компактная языковая модель с 3,5 млрд параметров из четвёртого поколения семейства Nanbeige, разработанная командой Nanbeige. Это плотная авторегрессионная модель архитектуры Llama, предназначенная для генерации текста в диалогах и решения задач, требующих рассуждений. Модель обучали на корпусе из текстов, книг, кода и научных публикаций, а затем дообучали на примерах с длинными цепочками рассуждений, дистиллировали от флагманской модели Nanbeige и совершенствовали с помощью многоэтапного обучения с подкреплением. В README заявлены применения в математике, науке, творческом письме и использовании инструментов. Поддерживается контекст до 65 536 токенов; метаданные указывают английский и китайский языки. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Сильные стороны — акцент на рассуждениях при сравнительно небольшом размере и обучение на проверяемых задачах и данных с длинными цепочками рассуждений. Модель может выдавать предвзятые или дискриминационные и другие неожиданные ответы; результаты требуют проверки, особенно при использовании инструментов или в чувствительных сценариях.

Qwen3-235B-A22B-Instruct-2507-MLX-8bit — это 8-битная квантизированная версия языковой модели Qwen3-235B-A22B-Instruct-2507, подготовленная в формате MLX для эффективной работы на устройствах с Apple Silicon. Исходную модель разработала команда Qwen, а квантизацию выполнила команда LM Studio с использованием инструмента mlx_lm. Модель предназначена для генерации текста и работы с инструкциями в сценариях, поддерживаемых исходной instruct-моделью. В README указаны общий размер исходной модели — 235B параметров — и обозначение A22B, однако дополнительные сведения об архитектуре, длине контекста, поддерживаемых языках и модальностях не приведены. Формат MLX ориентирован на локальный запуск на компьютерах Apple Silicon, а 8-битное представление снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность. Модель распространяется по лицензии Apache-2.0. README не содержит подробностей о результатах тестирования, производительности, ограничениях безопасности или качестве на отдельных языках и задачах, поэтому эти характеристики требуют дополнительной проверки.

FreedomAISVR/Qwen3.5-4B-Instruct-MTP-NVFP4-GGUF — квантизированная в NVFP4 версия мультимодальной инструкционной модели Qwen3.5-4B, подготовленная FreedomAISVR в формате GGUF для запуска через llama.cpp. Модель содержит около 3,97 млрд параметров, использует гибридную архитектуру Gated DeltaNet, Gated Attention и FFN, поддерживает MTP (Multi-Token Prediction) и контекст до 262 тысяч токенов. В репозитории также есть проектор изображений в F16; заявлена возможность расширения контекста до 1 млн токенов. Модель предназначена для диалога и генерации текста по инструкциям, рассуждений и понимания изображений. Шаблон чата изменён: рассуждения выключены по умолчанию и включаются параметром enable_thinking=true. NVFP4 снижает размер весов для совместимых NVIDIA Blackwell GPU; для мультимодального ввода требуется отдельный файл проектора. Это производная модель от Qwen/Qwen3.5-4B, а не новая базовая разработка. Лицензия — Apache-2.0.

Qwen3.5-9B-Uncensored-Genesis-NVFP4-GGUF — квантизированная NVFP4-версия модели Qwen3.5-9B-Uncensored-Genesis, подготовленная автором репозитория на основе весов LuffyTheFox/Qwen3.5-9B-Uncensored-Genesis-BF16-GGUF с помощью модифицированного квантайзера для GGUF. Это плотная мультимодальная модель семейства Qwen3.5 на 9,22 млрд параметров и 32 слоя; для обработки изображений требуется отдельно использовать неизменённый файл мультимодальной проекции из исходного репозитория. В карточке указан контекст 262 144 токена. Модель предназначена для диалогов, рассуждений, работы с инструментами и задач «изображение–текст», а вариант imatrix v6 калибровался на разговорах, включая примеры вызова инструментов. В репозитории также есть варианты без калибровки и с текстовой калибровкой v5; автор рекомендует v6 для чата, рассуждений и вызова инструментов, а v5 — для обычного продолжения текста. Модель поддерживает английский и китайский языки. Лицензия — Apache-2.0. Карточка не приводит измерений perplexity или KLD для квантованных вариантов, поэтому качество относительно исходных BF16-весов не подтверждено такими метриками; для обработки изображений нужен отдельный файл проекции, а скорость NVFP4 зависит от видеокарты и сборки llama.cpp.

Qwen3.6-35B-A3B-oQ2e-FP16-MTP-MLX — модель семейства Qwen3.6, подготовленная Treeish в формате MLX safetensors как FP16-вариант пакета Qwen3.6-35B-A3B-oQ2e-MTP-MLX. Она предназначена прежде всего для локального запуска в Sprig на компьютерах Mac с чипами M1 и M2; для M3 и более новых рекомендуется BF16-вариант. Модель поддерживает обработку текста и изображений согласно заявленному pipeline image-text-to-text, однако подробности о визуальных возможностях в карточке не приведены. Архитектура содержит 35 млрд параметров, из которых примерно 3 млрд активны, и использует агрессивную смешанную oQ2e-квантизацию с imatrix: по умолчанию 2-битную affine-квантизацию с размером группы 64 и индивидуальными переопределениями точности от 3 до 8 бит. Остаточные плавающие тензоры имеют точность FP16. В пакет встроен один слой Multi-Token Prediction (MTP), контекстное окно составляет 262 144 токена. Размер пакета — около 13,6 ГБ; для работы Treeish использует 24 ГБ объединённой памяти и рекомендует 32 ГБ, но фактические требования зависят от длины контекста и настроек кэша. Сильными сторонами являются локальная генерация на Apple Silicon, поддержка MTP для потенциального ускорения декодирования и сохранение исходной структуры тензоров при переходе BF16 в FP16. В приведённом тесте на M4 Max скорость составила до 105,8 токена в секунду с MTP, но эти результаты относятся к одной машине и небольшому тестовому набору. Ограничения включают потери качества, возможные для низкобитной квантизации, зависимость от совместимого MLX Swift runtime и отсутствие гарантии побитового совпадения результатов MTP и базовой генерации. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-VQ-3.8bpw — векторно-квантизированная сборка базовой модели Qwen/Qwen3.6-35B-A3B, опубликованная TheDrainFlorist для Apple Silicon. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями; поддерживает запуск через MLX, mlx-lm и mlx-vlm. В README указан английский язык. Архитектура включает MoE с 35 млрд параметров и активной частью около 3 млрд параметров, а также vision tower; точный размер контекста не указан. Модель занимает около 15,7 GiB и использует равномерное vector quantization экспертных слоёв с геометрией d=4, K=8192, 13-битными индексами и fp16 codebook, тогда как неэкспертные тензоры имеют 8-битное представление. По сравнению с bf16-версией она заметно компактнее и демонстрирует меньшее расхождение с эталонным распределением, чем распространённая 4-битная сборка, однако уступает 8-битной по совпадению наиболее вероятных токенов. Скорость именно этого артефакта не измерялась; модель комфортно работает на машинах с 24 ГБ памяти и может запускаться на 16 ГБ при коротком контексте. Для изображений требуется mlx-vlm версии 0.6.16 или новее, а загрузчик должен поддерживать ключ model_file. Лицензия — Apache-2.0.