II.6Документация и сопровождение разработки

meetkai/functionary-v4r-small-preview — языковая модель MeetKai для диалогов с вызовом функций и плагинов. Она основана на Meta-Llama-3.1-8B-Instruct и имеет плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров. Модель принимает описания функций в формате JSON Schema и умеет выбирать, когда вызвать инструмент, выполнять вызовы последовательно или параллельно, учитывать их результаты и формировать ответ на их основе. Также поддерживает обычные ответы в чате и сценарии с интерпретатором кода. Модель рассчитана на интеграцию в приложения и серверы, поддерживающие совместимый с OpenAI интерфейс; для подготовки запросов предусмотрен шаблон чата Functionary. В метаданных указан контекст до 131 072 токенов и формат весов safetensors. Лицензия — MIT. Карточка описывает предварительную версию и заявляет поддержку вызова инструментов, но не приводит результатов независимых оценок качества.

Это пакет GGUF для распределённого запуска Gemma 3 27B Instruct, подготовленный Mesh LLM на основе unsloth/gemma-3-27b-it-GGUF. Веса исходной модели в варианте UD-Q4_K_XL разделены на артефакты по слоям, чтобы распределять вычисления и память между несколькими компьютерами в локальном кластере Mesh LLM. Модель предназначена для локального диалогового инференса, в том числе через совместимый с OpenAI API интерфейс Mesh LLM. Пакет использует формат GGUF и ориентирован на текстовую генерацию в чате; в карточке указаны семейство Gemma и возможность chat. Языки, длина контекста и подробности архитектуры не приведены в доступных данных. Это производный пакет на базе указанной GGUF-модели, а не самостоятельная разработка. Лицензия и ограничения исходной модели определяются её карточкой и в предоставленных данных не раскрыты.

GLM-4.1V-9B-Thinking — мультимодальная модель семейства GLM-4V от Zhipu AI, опубликованная в формате Unsloth. Это дообученная модель с архитектурой Glm4vForConditionalGeneration и 8,8 млрд параметров, предназначенная для диалога и рассуждений по тексту и изображениям. Она поддерживает английский и китайский языки и контекст до 65 536 токенов. Модель рассчитана на решение задач, где нужно совместно анализировать изображение и текст: отвечать на вопросы по изображению, разбирать визуальные задачи и вести диалог с учётом изображения. README заявляет поддержку произвольных соотношений сторон и изображений разрешением до 4K, а также улучшенные результаты на ряде бенчмарков VLM благодаря подходу с рассуждениями и обучению с подкреплением. Модель распространяется под лицензией MIT. Указанные возможности и результаты основаны на описании разработчика; качество может различаться в зависимости от задачи и входных данных.

HRM-Text-1B — языковая модель Sapient Intelligence на архитектуре Hierarchical Reasoning Model (HRM), обученная с нуля на смеси общедоступных текстовых корпусов. В метаданных указано 553,6 млн параметров, контекст — 4096 токенов; модель использует плотную архитектуру и доступна в формате safetensors. HRM сочетает две рекуррентно работающие Transformer-стопки: высокоуровневую медленную и низкоуровневую быструю, что позволяет выполнять дополнительные шаги вычислений при фиксированном числе параметров. Модель предназначена как исходный чекпойнт для генерации текста и экспериментов с рассуждениями, математическими запросами, классификацией, извлечением информации, структурированными ответами и короткими вопросами и ответами. Она обучена на PrefixLM-цели с префиксными условиями, а не на диалогах и инструкциях. Для лучших результатов на прикладных NLP-задачах README рекомендует несколько примеров в контексте; для математических и открытых запросов — составное условие synth,cot. Чекпойнт ориентирован на английский язык. Это не готовый чат-ассистент: качество ответов неровное, особенно без примеров, и для ассистентских сценариев потребуется дополнительное дообучение и выравнивание. Обучение на коде не проводилось, поэтому возможности программирования ограничены; ответы также могут содержать ошибки, предвзятость или небезопасный контент. Лицензия — Apache-2.0.

InteractiveOmni-8B — плотная омнимодальная модель SenseNova для интерактивного общения с изображениями, аудио, текстом и видео. Она принимает мультимодальные входные данные и генерирует связные текстовые и речевые потоки; поддерживает многошаговое взаимодействие и долговременную память. Модель предназначена для мультимодального понимания, речевого диалога и генерации речи, а также для сценариев, где требуется сочетать аудио-визуальный ввод с текстовыми ответами. В README заявлены результаты уровня SOTA на открытых тестах понимания изображений, аудио и видео, а также речевого общения; приведены сценарии запуска через Transformers с требованием версии не ниже 4.51.0 и FlashAttention 2. В репозитории доступны файлы ONNX и safetensors. Лицензия — MIT. Размер 8B указан в названии модели; поддерживаемые языки по карточке — китайский и английский.

InternVL3.5-4B-Instruct — мультимодальная модель семейства InternVL3.5, разработанная OpenGVLab и предназначенная для диалогового взаимодействия с изображениями и текстом. Это плотная архитектура InternVLChat, дообученная на базе OpenGVLab/InternVL3_5-4B-Pretrained; модель распространяется в формате safetensors и работает через Transformers. Модель подходит для вопросов по изображениям, визуального рассуждения, распознавания текста на изображениях, анализа нескольких изображений и диалоговых сценариев с визуальным контекстом. Семейство InternVL3.5 также заявляет возможности взаимодействия с графическими интерфейсами и агентные сценарии, однако README не уточняет их поддержку именно версией 4B-Instruct. Модель принимает изображения и текст и формирует текстовые ответы; контекстное окно и конкретный список поддерживаемых языков для этого чекпойнта не приведены. Авторы описывают для семейства улучшения рассуждений с помощью Cascade RL и ускорение обработки изображений через Visual Resolution Router, но количественные результаты в README относятся к семейству в целом. Модель выпущена под лицензией Apache-2.0. Как и другие мультимодальные генеративные модели, она может ошибаться в визуальных деталях и ответах; заявленные возможности семейства не гарантируют одинакового качества на версии 4B.

AtomicChat/Kimi-K3-GGUF — набор GGUF-квантизаций мультимодальной модели Kimi-K3, разработанной Moonshot AI и опубликованной в виде зеркала и квантизированных вариантов командой AtomicChat. Модель предназначена для диалоговых сценариев, генерации и понимания текста, а также анализа изображений с использованием vision-поддержки. Kimi-K3 — смесь экспертов (Mixture of Experts) примерно на 2,9 трлн параметров, из которых около 104 млрд активируются для каждого токена. Архитектура включает 93 слоя, 896 экспертов, 16 активных экспертов на токен и скрытый размер 7168. Заявлен контекст до 1 млн токенов. Поддерживаются английский и китайский языки, а также текстово-визуальный ввод. Квантизации представлены в форматах от IQ1_S и IQ1_M до IQ2_XXS, Q3_K_S и Q8_0; доступен отдельный vision-проектор. Сильными сторонами являются очень большой контекст, высокая емкость MoE-архитектуры, мультимодальность и возможность запуска через специализированную ветку llama.cpp. Ограничения исключительно существенные: даже самая компактная квантизация занимает сотни гигабайт, поэтому модель рассчитана на серверы с большим объемом RAM и/или мощные многопроцессорные GPU-системы, а не на ноутбуки и большинство рабочих станций. Обычная основная ветка llama.cpp на момент публикации не поддерживает эту архитектуру без соответствующих изменений.

djuna/L3.1-ForStHS — диалоговая языковая модель, созданная автором слиянием нескольких предварительно обученных моделей методом Model Stock с помощью mergekit. В качестве базовой модели использована vicgalle/Configurable-Llama-3.1-8B-Instruct; в слияние также вошли модели ArliAI, DreadPoor, grimjim и rityak. Архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, формат весов — Safetensors, контекст — до 131 072 токенов. Модель предназначена для генерации текста в диалогах и творческих сценариях, включая ролевое общение; описание базовой модели указывает на творческое письмо и разнообразные ролевые сценарии. Карточка приводит результаты оценивания на IFEval и BBH. Модель доступна по лицензии базовой модели, но сведения о конкретной лицензии в предоставленных данных отсутствуют.

Модель rubentito/layoutlmv3-base-mpdocvqa — версия LayoutLMv3 от Microsoft, дообученная на наборе MP-DocVQA. Это мультимодальный Transformer с архитектурой LayoutLMv3 и 151,8 млн параметров, предназначенный для ответов на вопросы по многостраничным документам. Модель принимает изображение документа и вопрос, находит нужные сведения и может предсказывать страницу, где находится ответ. Модель использовалась как базовый ориентир в исследовании Hierarchical multimodal transformers for Multi-Page DocVQA. В README приведены метрики ANLS для качества текстовых ответов и APPA для точности определения страницы. Основной язык карточки — английский; лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных работ на тех же условиях и ограничивает коммерческое использование.

Mit1208/layoutlmv3-finetuned-DocLayNet — модель Mit1208, дообученная на базе microsoft/layoutlmv3-base для разметки структуры документов по DocLayNet-small. Она использует архитектуру LayoutLMv3 и содержит 151,8 млн параметров. Модель предназначена для классификации токенов при анализе макета документа: она обрабатывает текст вместе с визуальной и пространственной информацией страницы, чтобы определять типы элементов разметки. В карточке приведены результаты оценки: F1 0,6667, точность 0,8720, precision 0,6179 и recall 0,7238. Модель подходит для извлечения структуры из документов на английском языке, например для распознавания заголовков, таблиц и других областей макета. Указанная лицензия CC BY-NC-SA 4.0 требует атрибуции, запрещает коммерческое использование и распространяет производные материалы на тех же условиях. Карточка не описывает ограничения подробнее; результаты оценки показывают, что качество классификации зависит от выбранной метрики.

LettuceDetect от KRLabsOrg — модель для выявления галлюцинаций в ответах RAG. Она принимает контекст и ответ и выполняет токенную классификацию, отмечая фрагменты ответа, которые не подтверждаются контекстом. Модель построена дообучением EuroBERT-210m, имеет около 211,7 млн параметров и поддерживает контекст до 8192 токенов. Модель рассчитана на китайский язык и обучена на китайской версии датасета RagTruth. Она предназначена для проверки ответов на основе документов и подсветки неподтверждённых утверждений. В опубликованной оценке на переведённом RAGTruth-CN указана F1-мера 74,41%; результаты могут отличаться на других данных. Лицензия — MIT.

LettuceDetect — модель KRLabsOrg для выявления галлюцинаций в ответах немецкого языка в RAG-сценариях. Это дообученный EuroBERT-210M с архитектурой EuroBertForTokenClassification и 211,7 млн параметров. Модель получает контекст и ответ и помечает на уровне токенов фрагменты ответа, которые не подтверждаются контекстом; предсказания можно объединить в диапазоны, чтобы показать проблемные места. Модель обучена на немецкой версии датасета RagTruth, переведённой с исходного RAGTruth. Поддерживает контекст до 8192 токенов и рассчитана на применение в мультиязычных RAG-системах, хотя карточка описывает именно немецкую модель. В README приведены F1 66,70% на тесте Translated RAGTruth-DE и 68,32% на вручную проверенной выборке из 300 примеров; показатели относятся к описанным наборам оценки. Модель распространяется по лицензии MIT.

llama-3-sqlcoder-8b-GGUF — это набор GGUF-квантизованных версий языковой модели llama-3-sqlcoder-8b, разработанной Defog и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и, судя по названию и исходной модели, ориентирована прежде всего на задачи, связанные с SQL и программным кодом. README не содержит подробного описания архитектуры, языков, поддерживаемых модальностей или размера контекста. Квантизация выполнена с помощью llama.cpp версии b2940 и метода imatrix. Доступны варианты от Q8_0 до крайне компактных IQ1, поэтому можно выбирать между качеством вывода и требованиями к памяти; наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S. Более агрессивные варианты занимают меньше места, но дают заметно более низкое качество и могут быть непригодны для некоторых задач. Для работы следует использовать указанный формат prompt с системным сообщением, пользовательским запросом и ответом ассистента. Лицензия модели — CC BY-SA 4.0. README не описывает результаты бенчмарков, ограничения по коммерческому применению или требования к аппаратному обеспечению, поэтому качество генерации SQL и практическую производительность необходимо оценивать отдельно для конкретного сценария.

Loes — мультимодальный ассистент HostYourAI для разговоров на нидерландском и английском языках. Это плотная модель семейства Qwen3.5 с 27 млрд параметров, дообученная методом supervised fine-tuning на нидерландских инструкциях на основе orcarouter/Qwen3.8-27B-Uncensored. В репозитории опубликованы объединённые веса в bfloat16 в формате Safetensors; лицензия весов — Apache 2.0. Модель предназначена для диалоговых приложений, исследований и оценки качества ответов на нидерландском и английском языках. Она принимает текст и поддерживает обработку изображений благодаря унаследованной от базовой модели vision-компоненте; видеовозможности также унаследованы. Vision tower не дообучался, а мультимодальные возможности этой версии отдельно не оценивались. Модель может галлюцинировать, воспроизводить предубеждения и следовать вредоносным инструкциям; базовая модель uncensored и не должна считаться надёжной системой отказов. Обучение проводилось на последовательностях длиной до 1 024 токенов, а более длинный контекст не оценивался систематически. Не следует полагаться на ответы как на единственное основание для решений с высокими последствиями.

Seraphic663 разработал полно-параметрический чекпойнт LRAT Qwen3-Embedding-0.6B, дообученный на базе Qwen/Qwen3-Embedding-0.6B для соревнования CCIR LRAT. Модель преобразует текстовые запросы и фрагменты документов в нормализованные эмбеддинги для поиска релевантных пассажей по запросу. Используется архитектура Qwen3 с 507,6 млн параметров; заявленная длина контекста — 32 768 токенов. Для обучения применялись только официальные пары LRAT, два этапа обучения и пулинг последнего токена. Модель предназначена для извлечения признаков и семантического поиска, в частности для подбора фрагментов, отвечающих на веб-поисковые запросы. В README приведены высокие метрики Recall и MRR на диагностической выборке, однако все 500 запросов этой выборки встречались в обучении, поэтому результаты не являются оценкой на отложенных данных и не подтверждают качество на лидерборде. В метаданных указан английский язык. Лицензия в предоставленных данных не указана.

MC-LLaVA-3b — мультимодальная модель семейства LLaVA, опубликованная visheratin. Она принимает изображение вместе с текстовым запросом и генерирует текстовый ответ, например, отвечает на вопросы о содержимом изображения. В карточке приведены результаты на TextVQA, GQA, VQAv2, VizWiz и задачах V*-bench, включая распознавание текста и определение пространственных отношений. Модель загружается через Transformers и AutoProcessor; для обработки изображения процессор поддерживает разбиение на кропы. По README, подход MC-LLaVA отличается от обычного для LLaVA представления изображения последовательностью из фиксированного числа токенов. Репозиторий содержит веса Safetensors, а лицензия указана как MIT. README отдельно просит учитывать условия OpenAI и Google Gemini из-за использования синтетических обучающих данных.

Mellum-4b-sft-all — дообученная JetBrains языковая модель для задач, связанных с кодом. Она основана на плотной архитектуре LLaMA и содержит 3,7 млрд параметров; контекст — до 8192 токенов. Модель предназначена прежде всего для контекстного автодополнения кода, включая дополнение фрагментов с учётом контекста проекта, а также для генерации кода и создания помощников для разработки. Модель дообучена на коде на многих языках программирования, включая Python, Java, C++, JavaScript, TypeScript, Go, Rust, SQL и другие. Её можно применять в IDE, облачном или локальном инференсе, а также в образовательных и исследовательских проектах. Репозиторий содержит веса в формате safetensors; карточка также сообщает о сохранении bf16 точности. Модель распространяется по лицензии Apache-2.0. Представленные в карточке тесты оценивают заполнение кода и показывают результаты на RepoBench, SAFIM и HumanEval Infilling. Модель может воспроизводить особенности и предвзятости публичных кодовых баз, а предложенный код необходимо проверять: он может содержать уязвимости.

openbmb/MiniCPM-V-4.6-gguf — это GGUF-квантованная версия мультимодальной модели MiniCPM-V 4.6, разработанной командой OpenBMB. Модель предназначена для понимания изображений, нескольких изображений и видео, включая визуальные вопросы и ответы, OCR и другие задачи анализа визуального содержимого. Она ориентирована прежде всего на эффективное развёртывание на периферийных устройствах и мобильных платформах: iOS, Android и HarmonyOS. Архитектура основана на визуальном энкодере SigLIP2-400M и языковой модели Qwen3.5-0.8B. Для повышения эффективности используется смешанное сжатие визуальных токенов 4x/16x, а вычислительная стоимость визуального кодирования, согласно README, снижена более чем на 50%. Заявлена примерно в 1,5 раза более высокая пропускная способность токенов по сравнению с Qwen3.5-0.8B. Модель поддерживает inference через Transformers, vLLM, SGLang, llama.cpp и Ollama, а также адаптацию и дообучение с помощью SWIFT и LLaMA-Factory. Точные параметры контекстного окна и перечень поддерживаемых языков в представленных данных не указаны. Сильные стороны модели — компактность, низкая вычислительная стоимость, поддержка анализа изображений и видео и возможность запуска на потребительских устройствах. Ограничения связаны с меньшим размером языковой части по сравнению с крупными мультимодальными моделями и с тем, что квантование может влиять на точность; конкретные характеристики зависят от выбранного варианта GGUF. Репозиторий распространяется по лицензии Apache-2.0.

Jeevesh8/multiberts_seed_0_ft_0 — модель на архитектуре BERT, опубликованная пользователем Jeevesh8 на Hugging Face и предназначенная для классификации текстов. Она содержит около 136,7 млн параметров и поддерживает входной контекст длиной до 512 токенов. Модель рассчитана на использование через экосистему Transformers и связана с JAX. Основной сценарий применения — автоматическая классификация текстовых последовательностей, например определение класса документа, сообщения или пользовательского запроса. Доступные данные не подтверждают конкретные языки, набор классов, качество на отдельных датасетах, модальности помимо текста или лицензию модели, поэтому эти характеристики не заявляются.

cservan/multilingual-albert-base-cased-128k — предварительно обученная многоязычная модель ALBERT с архитектурой AlbertForMaskedLM, предназначенная для восстановления замаскированных токенов и получения контекстных представлений текста. Разработчик карточки описывает её как вторую версию базовой модели mALBERT; обучение проводилось на многоязычной Википедии с задачами masked language modeling и предсказания порядка предложений. Модель различает регистр букв и имеет словарь SentencePiece размером 128 тысяч токенов. В метаданных указаны 211,6 млн параметров и контекст до 512 токенов. Модель рассчитана прежде всего на дообучение для классификации последовательностей и токенов, заполнения пропусков и ответов на вопросы, а также на извлечение признаков для таких задач. Метаданные перечисляют поддержку множества языков, включая русский, английский, французский, немецкий, испанский и китайский; карточка подчёркивает многоязычную предобученность. ALBERT использует общие веса повторяющихся слоёв, что снижает объём параметров относительно обычного BERT-подобного стека, хотя вычислительная нагрузка остаётся сопоставимой. Модель распространяется по лицензии Apache-2.0. Она не предназначена для свободной генерации связного текста; для прикладных задач обычно требуется дообучение.

gaudi/opus-mt-zh-en-ctranslate2 — версия модели перевода Opus-MT, подготовленная сообществом на основе работ Helsinki-NLP, CTranslate2 и michaelfeil. Это encoder-decoder модель семейства Marian для перевода с китайского на английский, преобразованная в формат CTranslate2 для ускоренного инференса на CPU и GPU. Для вычислений поддерживаются режимы int8 на CPU и int8_float16 на CUDA. Модель предназначена для перевода текстов с китайского языка на английский, в том числе при пакетной обработке и развёртывании сервиса перевода. CTranslate2 оптимизирует выполнение за счёт таких приёмов, как квантование весов и объединение слоёв; приведённые в README бенчмарки показывают ускорение на тестовых конфигурациях, но относятся к другим языковым направлениям и условиям запуска. Внутренние тесты авторов конвертации показали возможное небольшое снижение BLEU относительно исходных чекпойнтов; эффект зависит от конфигурации и квантования. Размер модели и длина контекста в предоставленных данных не указаны. Лицензия — Apache-2.0.

Ornith-1.0-35B-GGUF — открытая модель семейства Ornith-1.0, разработанная deepreinforce-ai и представленная в формате GGUF при участии Unsloth. Это 35-миллиардная MoE-модель, ориентированная на агентное программирование и эффективный запуск на одной GPU. Модель обучалась с применением обучения с подкреплением и самоулучшающегося подхода, при котором оптимизируются как траектории решения, так и scaffolding, управляющий их построением. Модель предназначена для автономных задач разработки ПО, включая работу с терминалом, исправление ошибок и решение инженерных задач в репозиториях. В README заявлены результаты 64,2 на Terminal-Bench 2.1 (Terminus-2), 62,8 на Terminal-Bench 2.1 (Claude Code) и 75,6 на SWE-bench Verified. К сильным сторонам относятся высокая эффективность в агентном кодировании и возможность локального развертывания на одной GPU. Данные о поддерживаемых языках, размере контекста и мультимодальности не указаны; по назначению модель относится к текстовой генерации. Модель распространяется по лицензии MIT и заявлена как доступная без региональных ограничений. Поскольку это GGUF-квантизация, фактические требования к памяти и качество зависят от конкретного варианта квантизации, однако сведения о доступных уровнях квантизации в представленном README отсутствуют.

Deepchecks parrot_fluency_model_onnx — ONNX-оптимизированная модель классификации текста, разработанная Deepchecks на основе оригинальной parrot_fluency_model. Она предназначена для оценки беглости и естественности англоязычных предложений и текстовых фрагментов с использованием pipeline text-classification. Модель основана на архитектуре BERT, содержит 136,7 млн параметров и поддерживает входной контекст длиной до 512 токенов. Модель ориентирована на запуск на GPU через ONNX Runtime и может применяться для автоматической фильтрации, проверки качества и ранжирования англоязычных текстов по их fluency. ONNX-формат и интеграция с Optimum упрощают пакетный инференс; в README приведён пример обработки нескольких предложений с размером батча 64. Лицензия — Apache-2.0. Производительность и результаты могут отличаться при запуске на CPU по сравнению с GPU. Модель предназначена для оценки беглости текста, поэтому её выводы не следует автоматически трактовать как полноценную проверку фактической корректности, стиля или содержания.

prometheus-2-llama-3-8b — языковая модель для диалоговой генерации текста, созданная как репликация prometheus-7b-v2.0 на базе Llama 3 8B Instruct. Веса получены слиянием с равными коэффициентами двух моделей, отдельно обученных на наборах Preference-Collection и Feedback-Collection. Модель предназначена для диалоговых сценариев генерации и оценки ответов по предпочтениям и обратной связи. Это плотная авторегрессионная архитектура Llama с 7,5 млрд параметров и контекстом 8192 токена; она принимает текст и выдаёт текст. В карточке указаны английский язык и формат Transformers safetensors. Обучение описано как один этап длительностью одну эпоху с эффективным размером пакета 128, learning rate 1e-5, косинусным расписанием и примерно 5% warmup. Модель распространяется по лицензии Apache-2.0.

CBTW/PromptSegmentation-MiniLM-L6-v2 — модель классификации текста на базе SetFit, дообученная на sentence-transformers/all-MiniLM-L6-v2. Она сочетает энкодер предложений с классификационной головой LogisticRegression и предназначена для отнесения текста к одному из 12 классов, включая роли, инструкции и ответы. Модель использует эффективное обучение на небольшом числе примеров: контрастивное дообучение энкодера и обучение классификатора на полученных признаках. Модель содержит 25,9 млн параметров и принимает текстовые последовательности длиной до 512 токенов по метаданным; в README указана максимальная длина 256 токенов. Карточка описывает примеры обучающих текстов и классов, но не устанавливает поддерживаемые языки. Лицензия в предоставленных данных не приведена.

Mungert/Qwen2.5-VL-72B-Instruct-GGUF — это GGUF-версия мультимодальной модели Qwen2.5-VL-72B-Instruct, разработанная на основе базовой модели Qwen/Qwen2.5-VL-72B-Instruct. Репозиторий подготовлен пользователем Mungert и предназначен для запуска модели через llama.cpp с использованием основного GGUF-файла и отдельного файла mmproj для мультимодального компонента. Модель предназначена для сценариев image-text-to-text: она принимает изображения и текстовые инструкции и может, например, описывать содержимое изображений. Для работы используются совместимые инструменты llama.cpp, включая llama-mtmd-cli. Известно, что размер базовой модели составляет 72B параметров; поддерживается обработка изображений, а в метаданных репозитория указан английский язык. Размер контекстного окна в README не указан. Основное преимущество этой версии — возможность локального инференса в формате GGUF с выбором вариантов точности и компромисса между качеством, скоростью и потреблением памяти. При этом для мультимодального запуска требуются два файла: модель и соответствующий mmproj. Конкретные показатели качества именно для Qwen2.5-VL-72B-Instruct в README не приведены, а описанные результаты DynamicGate относятся к тестам Llama-3-8B и не характеризуют данную модель. Лицензия указана как other, с названием qwen и ссылкой на лицензию исходной модели Qwen.

Qwen3.5-9B-GGUF — это набор GGUF-квантизаций базовой модели Qwen/Qwen3.5-9B, подготовленный jimbothigpen с использованием форка llama.cpp. Набор включает исходный вариант BF16 и 41 тип квантизации от IQ1_* до Q8_0, а также vision-проектор для мультимодального использования. Модель предназначена для локального запуска и сравнения качества, perplexity и производительности различных форматов квантизации в совместимых реализациях llama.cpp. Ключевая особенность набора — использование единой importance matrix, рассчитанной на полном многодоменном калибровочном корпусе calibration_datav3 и применённой к большинству вариантов. Это позволяет лучше сохранять качество при низкой разрядности. Отдельные форматы WHT3_0 и WHT4_0 используют Walsh-Hadamard-преобразование и намеренно создаются без importance matrix. Доступна мультимодальная конфигурация с vision-проектором, однако сведения о языках и размере контекста в README не указаны. Основное ограничение — совместимость зависит от формата: стандартные типы загружаются в обычном llama.cpp, семейства IQ-K, KS, KT, KL и KSS требуют сборки, совместимой с ik_llama.cpp, а WHT-форматы — форка jimbothigpen/llama.cpp или другой реализации с поддержкой WHT. Производительность, требования к памяти и качество зависят от выбранной квантизации и используемого backend. Производные веса распространяются по лицензии Apache-2.0, унаследованной от базовой модели.

mlx-community/Qwen3.6-35B-A3B-nvfp4 — это MLX-версия модели Qwen3.6-35B-A3B, преобразованная сообществом mlx-community с использованием mlx-vlm 0.4.4. Модель предназначена для мультимодальных задач, прежде всего для обработки изображений и текста, включая генерацию текстового описания изображения. Формат рассчитан на использование в экосистеме MLX. В карточке указано, что модель имеет размер 35B и конфигурацию A3B, однако подробности архитектуры, поддерживаемые языки, размер контекста и точный набор модальностей не приведены. Ключевое преимущество — адаптация к MLX и возможность запуска через mlx-vlm, что делает модель ориентированной на соответствующую программно-аппаратную экосистему. Ограничения и результаты бенчмарков в README не описаны. Модель распространяется по лицензии Apache-2.0. Для получения полного описания возможностей рекомендуется обращаться к карточке исходной модели Qwen/Qwen3.6-35B-A3B.

Qwen3-8B TMax AENV v39b, версия обучения 169, — плотная авторегрессионная языковая модель на архитектуре Qwen3, разработанная на основе промежуточного SFT-чекпойнта willamazon1/qwen3-8b-tmax-sft-v3-iter353. Чекпойнт дообучен методом group-relative policy optimization на асинхронных многошаговых сценариях с агентной средой и предназначен для диалоговой генерации текста и работы агента с инструментами. Модель содержит 7,6 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. Веса сохранены в формате bfloat16 и Safetensors; обучающие состояния оптимизатора в репозиторий не включены. Для использования опубликованы соседние итерации обучения, позволяющие сравнивать этапы обучения. Модель распространяется по лицензии Apache-2.0. Это отдельный промежуточный RL-чекпойнт, поэтому качество и поведение могут отличаться от финальной модели; описание не приводит конкретных результатов оценки или перечня поддерживаемых языков.

Qwen3-8B TMax AENV v39b, итерация 189 — языковая модель на архитектуре Qwen3 для диалоговой генерации текста и многошагового использования инструментов в агентных средах. Модель разработана автором willamazon1 и получена дообучением willamazon1/qwen3-8b-tmax-sft-v3-iter353 с помощью group-relative policy optimization на асинхронных многоходовых взаимодействиях с агентной средой. Базовая цепочка восходит к Qwen/Qwen3-8B. Модель содержит 7,6 млрд параметров, поддерживает контекст до 40 960 токенов и работает через Transformers. Чекпойнт сохранён в safetensors и имеет точность bfloat16; README сообщает о проверке весов на NaN и Inf и пробном запуске перед публикацией. Это одна из опубликованных контрольных точек обучения итераций 69–219, поэтому её поведение отражает конкретный этап обучения. Подходит для генерации ответов в диалоге и выполнения сценариев, где агенту нужно последовательно вызывать инструменты. Документация не приводит оценки качества или подробностей о поддерживаемых естественных языках. Лицензия — Apache-2.0.