I.2Синтез, понимание и проверка знаний

Heretic-org/Qwen-3-VL-2B-Instruct-heretic — мультимодальная чат-модель с архитектурой Qwen3-VL, созданная как декензурированная версия Qwen/Qwen3-VL-2B-Instruct методом abliteration. Она принимает текст и изображения и формирует текстовые ответы; карточка также заявляет возможности работы с видео, OCR, пространственным рассуждением и визуальными интерфейсами. Модель рассчитана на диалог по изображениям, распознавание текста и объектов, понимание видеосцен и выполнение задач по визуальным интерфейсам. В README приведено сравнение отказов: 4 из 100 у этой версии против 97 из 100 у исходной модели; также указано значение KL-дивергенции 0,0627. Репозиторий содержит веса safetensors для Transformers и распространяется по лицензии Apache-2.0.

Qwen3-VL-4B-Instruct-8bit — мультимодальная instruction-модель, разработанная сообществом mlx-community и конвертированная из Qwen/Qwen3-VL-4B-Instruct в формат MLX с использованием mlx-vlm 0.3.4. Модель предназначена для задач image-text-to-text, включая обработку изображений и генерацию текстовых ответов по инструкциям, например описание изображений. Известно, что модель имеет размер 4B и использует 8-битное представление. Она поддерживает входные данные в виде текста и изображений, однако сведения о конкретной архитектуре, языках, размере контекста, точных возможностях и ограничениях в README не приведены. Для запуска требуется mlx-vlm; пример использования рассчитан на MLX-совместимое окружение. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-4B-Instruct-NVFP4 — это 4-битная квантованная версия мультимодальной модели Qwen/Qwen3-VL-4B-Instruct, опубликованная пользователем JEILDLWLRMA. Модель предназначена для задач vision-language и image-to-text: обработки изображений вместе с текстовыми запросами, визуального понимания и генерации ответов. Базовая модель содержит около 4,4 млрд параметров; поддерживаемые языки и точный размер контекстного окна в README не указаны. Квантование выполнено методом SmoothQuant с использованием NVFP4 и библиотеки compressed-tensors/llm-compressor. Все текстовые линейные слои используют схему W4A4, а на архитектурах Ampere возможен режим W4A16 через Marlin. Vision Encoder и LM Head сохранены в формате BF16 без квантования, что должно поддерживать качество визуального анализа и генерации. Размер модели составляет около 4,1 ГБ против примерно 8,9 ГБ у версии BF16, то есть сжатие достигает около 54%. Модель откалибрована на 512 образцах Flickr30k с максимальной длиной последовательности 2048; в примерах заявлена работа с vLLM и Transformers, включая контекст до 8192 токенов в vLLM. Ограничениями являются зависимость от совместимого аппаратного и программного стека для compressed-tensors/NVFP4, а также отсутствие в README подробных результатов бенчмарков и характеристик по языкам. Лицензия — Apache 2.0, как у базовой модели.

Это версия Qwen2.5-0.5B-Instruct, преобразованная в формат Llama. Репозиторий подготовлен для совместимости с программами, поддерживающими Llama; модель можно использовать для генерации текста и диалогов. По метаданным, она содержит 494 млн параметров, использует плотную архитектуру и имеет контекст длиной 4096 токенов. Модель загружается через Transformers, веса хранятся в формате safetensors. Модель основана на Qwen/Qwen2.5-0.5B-Instruct и поддерживает несколько языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Лицензия в предоставленных данных не указана.

Ruri v3 30M — модель эмбеддингов японского текста, разработанная cl-nagoya на базе ModernBERT-Ja и дообученная от cl-nagoya/ruri-v3-pt-30m. Она преобразует предложения и фрагменты текста в векторы размерностью 256 для сравнения смысловой близости, поиска, ранжирования и кластеризации. Модель содержит 36,7 млн параметров, поддерживает последовательности до 8192 токенов и использует токенизатор SentencePiece; для токенизации не требуется внешняя сегментация японского текста. Модель предназначена для японских текстовых задач. В оценке JMTEB версия 30M показала средний результат 74,51; карточка также приводит метрики поиска, семантического сходства, классификации, переранжирования и кластеризации. Указана функция сходства cosine similarity. Репозиторий содержит веса safetensors, лицензия — Apache 2.0.

Ruri v3 310M — модель текстовых эмбеддингов для японского языка, разработанная cl-nagoya на базе cl-nagoya/ruri-v3-pt-310m. Это дообученная Sentence Transformer-модель с архитектурой ModernBERT-Ja и 314,6 млн параметров; она преобразует текст в векторы размерности 768 для сравнения по косинусному сходству. Максимальная длина последовательности — 8192 токена. Модель использует словарь из 100 тысяч токенов, SentencePiece и FlashAttention; для токенизации не требуется внешняя сегментация японского текста. Модель предназначена для поиска по смыслу, оценки сходства предложений и документов, ранжирования и других задач на японском тексте. В README приведена оценка JMTEB: средний результат 77,24; также представлены результаты по поиску, семантическому сходству, классификации, переранжированию и кластеризации. Модель поддерживает японский язык и распространяется по лицензии Apache 2.0.

kenpeter123/small-1b-dpo — языковая модель семейства Llama, разработанная автором репозитория и дообученная методом Direct Preference Optimization на базе kenpeter123/small-1b-sft. Она предназначена для генерации текста по запросам; метаданные также отмечают поддержку генерации кода. В README описана архитектура Transformer с 32 слоями, 12 головами внимания и группированным запросом внимания (GQA, 4 KV-головы); число параметров в метаданных — 956,3 млн, а контекст — 8192 токена. DPO-обучение использует пары предпочтений: правильное эталонное решение выбирается вместо ошибочного или повторяющего запрос ответа базовой SFT-модели. Репозиторий содержит веса в формате safetensors, библиотека — Transformers. Лицензия Apache-2.0. Карточка описывает обучающий чекпойнт, но не приводит оценки качества или подробностей о поддерживаемых языках помимо английского в метаданных.

Squirtle — компактная модель эмбеддингов на архитектуре BERT, созданная Mihaiii дистилляцией bge-base-en-v1.5. Она предназначена прежде всего для семантического автодополнения, а также может использоваться для сравнения сходства предложений и извлечения признаков текста. Модель содержит 16,4 млн параметров, работает с текстом и поддерживает контекст до 512 токенов. Для получения эмбеддингов в сценарии semantic-autocomplete README рекомендует использовать CLS-пулинг и нормализацию; модель также доступна в форматах Safetensors и ONNX. Лицензия — MIT. README не приводит оценок качества или подробностей о поддерживаемых языках; название базовой модели указывает на англоязычное назначение.

Ultravox — мультимодальная речевая языковая модель от Fixie.ai, объединяющая аудиовход с текстовой моделью Llama 3.2-1B-Instruct и Whisper large-v3-turbo. Она принимает речь и текст, например текстовую системную инструкцию и аудиосообщение пользователя, а ответ генерирует в текстовом виде. Модель предназначена для голосовых агентов, анализа устной речи и перевода речи между языками. В README указана версия Ultravox 0.5 с обозначением 1B; метаданные каталога указывают 4,8 млрд параметров. Модель построена на архитектуре Ultravox и поддерживает аудиовход, чат и интерфейс вызова инструментов. Для обучения использовались наборы данных распознавания речи и речевого перевода, а также продолжения, сгенерированные Llama 3.1 8B. Метаданные перечисляют широкий набор языков, включая русский; конкретные языки карточки охватывают более узкий перечень. Модель выдаёт текст и не генерирует аудио. В README отмечено, что к этой версии не применялась настройка предпочтений; качество перевода может зависеть от языковой пары и ограниченности модели версии 1B. Лицензия — MIT.

VLM2Vec-V2.0 — мультимодальная модель для получения эмбеддингов, разработанная командой TIGER-Lab. Она предназначена для сопоставления визуального или текстового запроса с текстовыми описаниями и решения задач мультимодального поиска и оценки семантического сходства. Модель поддерживает изображения, видео и визуальные документы, а также текстовые данные. В демонстрации используется backbone Qwen2-VL-7B и дообучение с LoRA; предусмотрено нормализованное pooling-представление и вычисление сходства между эмбеддингами. Модель обучалась и оценивалась на наборах MMEB-train, MMEB-V2 и MMEB-eval. В метаданных указан английский язык. Размер контекста и точные характеристики архитектуры в README не указаны. Сильная сторона модели — единое мультимодальное представление для работы с разными типами визуального контента, включая видео, изображения и документы, что делает её подходящей для retrieval-сценариев. Ограничения README подробно не описывает; для запуска требуются Transformers, PyTorch и, согласно примеру, GPU с поддержкой bfloat16. Модель распространяется по лицензии Apache-2.0.

intanm/xlm-roberta-base-squad2-idkmrc — дообученная модель для извлечения ответа на вопрос из предоставленного текста. Она основана на deepset/xlm-roberta-base-squad2 и использует архитектуру XLM-RoBERTa с головой XLMRobertaForQuestionAnswering; размер — 305,2 млн параметров, контекст — до 514 токенов. Модель предназначена для сценариев, где вопрос и текст известны заранее, например для поиска ответа в документах. Карточка сообщает результат оценки Loss 0,8167, но не приводит датасет, языки обучения или подробные результаты, поэтому качество для конкретного языка и типа текста по этим данным оценить нельзя. Репозиторий распространяется по лицензии CC BY 4.0.

AIArchiveInfo/academic-ds-9B — неизменённая архивная копия модели ByteDance-Seed/academic-ds-9B, сохранённая AIArchive. По README, оригинальная модель разработана ByteDance-Seed и обучена с нуля на более чем 350 млрд токенов из полностью открытых англоязычных наборов данных; копия не обучалась и не изменялась. Архитектура — плотная DeepSeek V3 для генерации текста, в том числе диалогового. Модель содержит 1,6 млрд параметров по метаданным каталога и поддерживает контекст длиной 8192 токена. Модель предназначена для разработки и отладки в сообществе открытого исходного кода. Метаданные указывают на чат-возможности и интерфейс вызова инструментов; практическое качество этих возможностей отдельно не описано. README характеризует модель как англоязычную. Использование регулируется лицензией Apache-2.0, указанной для копии и оригинала.

BayLing-13B-diff — версия с разницей весов модели BayLing-13B-v1.0, разработанной группой NLP Института вычислительных технологий Китайской академии наук. Это плотная авторегрессионная языковая модель на архитектуре LLaMA с 12,9 млрд параметров и контекстом 2048 токенов; репозиторий содержит веса в формате PyTorch. Модель рассчитана на генерацию текста по инструкциям, перевод, написание и создание текстов, выдачу предложений и многоходовой диалог на китайском и английском языках. В карточке заявлены сильные стороны в следовании инструкциям, межъязыковом выравнивании и взаимодействии на нескольких ходах. Это именно версия weight-diff: для восстановления параметров BayLing требуется применить apply_delta.py к соответствующим базовым весам; полная модель в карточке не представлена. Лицензия — GPL-3.0. Модель может давать неточные фактические ответы, слабо справляется с рассуждениями, математикой и программированием, а также может генерировать вредный или предвзятый контент.

deepset разработала модель на архитектуре BERT Large и дообучила её на SQuAD 2.0 для извлекающего ответа на вопросы. Модель получает вопрос и текстовый фрагмент, а затем выделяет ответ непосредственно из этого текста; если ответа в контексте нет, обучение на SQuAD 2.0 позволяет модели воздерживаться от ответа. Модель подходит для поиска ответов в документах и для систем вопросно-ответного поиска, в том числе с использованием Haystack. Она содержит 433,9 млн параметров, рассчитана на английский язык и поддерживает контекст длиной до 512 токенов. Доступны реализации в PyTorch, TensorFlow и Flax, включая веса Safetensors. Лицензия — CC BY 4.0. Модель предназначена для извлечения ответа из предоставленного контекста, а не для свободной генерации развернутых ответов или поиска сведений во внешних источниках. Контекст ограничен 512 токенами; качество за пределами английского языка и обучающего домена SQuAD 2.0 не подтверждено.

BidirLM/BidirLM-1B-Base — промежуточный чекпойнт семейства BidirLM, созданный авторами BidirLM на основе Google Gemma 3 1B. Веса Gemma 3 1B преобразовали для двунаправленного внимания, обучили с Masked Next Token Prediction на 30 млрд токенов из многодоменного корпуса, а затем объединили с исходными весами Gemma 3 1B в соотношении 50/50. Модель содержит 1 млрд параметров, использует плотную архитектуру BidirLMForMaskedLM и поддерживает контекст до 32 768 токенов. Модель предназначена прежде всего для предсказания замаскированных токенов и как основа для последующей тонкой настройки под классификацию текста и разметку токенов. Она поддерживает множество языков; среди явно перечисленных — английский, арабский, немецкий, французский, испанский, хинди и японский. Для получения общих эмбеддингов авторы рекомендуют вариант BidirLM-1B-Embedding с дополнительным контрастивным обучением. Лицензия — Apache-2.0.

CyberAgentLM3-Chat — диалоговая версия языковой модели CyberAgentLM3, разработанная CyberAgent, Inc. Модель с архитектурой Llama и 22,1 млрд параметров дообучена для диалоговых сценариев; исходная CyberAgentLM3 предварительно обучена с нуля на 2 трлн токенов. Модель предназначена для общения с пользователем и генерации ответов на японском и английском языках. Она принимает текстовые запросы в формате ChatML и поддерживает контекст длиной до 16 384 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка не описывает специальные отраслевые задачи или результаты оценки качества.

CamemBERT-L2 — компактная версия предварительно обученной модели CamemBERT, опубликованная Antoine Louis. Она получена удалением верхних слоёв исходного чекпойнта; в репозитории указано 43,5 млн параметров. Модель относится к семейству CamemBERT и предназначена для извлечения признаков из текста. Контекст составляет до 514 токенов, основным языком является французский. Модель можно дообучать для задач, в которых решение зависит от всего предложения: классификации текста, извлечения ответов на вопросы и семантического поиска. Также она поддерживает маскированное языковое моделирование. Для генерации текста автор рекомендует использовать авторегрессионные модели. Модель распространяется по лицензии MIT.

Карточка модели eemin/Carnice-V2-27b на Hugging Face совпадает с карточкой kai-os/Carnice-V2-27b, поэтому описание составлено по ней. Carnice-V2-27B — мультимодальная модель на 27 млрд параметров от kai-os, созданная дообучением Qwen/Qwen3.6-27B на трассах взаимодействия в стиле Hermes Agent. Это объединённая версия SFT-чекпойнта в формате BF16, распространяемая как самостоятельные веса safetensors для Transformers; репозиторий содержит полную модель, а не только LoRA-адаптер. Модель предназначена для диалоговой работы с изображениями и агентных сценариев, включая следование инструкциям и вызов инструментов через совместимый интерфейс. В README приведены улучшенные результаты на коротком A/B smoke-тесте IFEval относительно базовой модели, но автор отдельно уточняет, что выборка ограничена 20 заданиями и не является официальной оценкой на полном бенчмарке. Лицензия — Apache-2.0. Для загрузки BF16-весов требуется исправленная версия с корректными префиксами тензоров; опубликованный репозиторий заявлен как исправленный. Параметры контекста и перечень поддерживаемых языков в доступных сведениях не раскрыты.

Карточка модели Smilesjs/chemsmart-qwen2.5-coder-3b-instruct-v13 на Hugging Face совпадает с карточкой Smilesjs/chemsmart-qwen2.5-coder-3b-instruct-v7, поэтому описание составлено по ней. Smilesjs/chemsmart-qwen2.5-coder-3b-instruct-v7 — дообученная Smilesjs модель семейства Qwen2 для генерации текста. Она основана на unsloth/Qwen2.5-Coder-3B-Instruct-bnb-4bit и обучалась с использованием Unsloth и библиотеки TRL. Модель содержит 3,1 млрд параметров, имеет контекст до 32 768 токенов и рассчитана на текстовые диалоги; в метаданных указана поддержка английского языка. Модель можно применять для генерации ответов и кода в интерактивных сценариях. Репозиторий распространяется по лицензии Apache-2.0. Карточка не описывает специальную химическую настройку, качество на задачах или результаты оценки, поэтому название репозитория само по себе не подтверждает пригодность для химических сценариев.

CroissantLLMChat-v0.1 — чат-модель семейства Llama, разработанная в рамках инициативы CroissantLLM. Это плотная языковая модель с 1,3 млрд параметров, обученная на 3 трлн токенов на английском и французском языках, а затем дообученная для диалогов. Для общения рекомендуется использовать шаблон чата из карточки модели; указанная длина контекста — 2048 токенов. Модель предназначена для диалога, генерации текста и перевода, особенно между французским и английским. Авторы отмечают хорошие для её размера результаты в письменных задачах и работе с внутренними знаниями, а также сильные результаты перевода. Модель распространяется в формате Safetensors под лицензией MIT. Небольшой размер ограничивает сложные рассуждения, особенно без примеров или при малом числе примеров. Возможны фактические ошибки и галлюцинации, особенно по сложным темам; качество на других языках и в программировании ограничено. Данные обучения в основном отражают сведения не позднее ноября 2023 года.

unsloth/DeepSeek-R1-Distill-Qwen-1.5B-bnb-4bit — 4-битная квантованная версия модели DeepSeek-R1-Distill-Qwen-1.5B, разработанная и опубликованная Unsloth на основе модели DeepSeek от DeepSeek AI. Это текстовая языковая модель для задач рассуждения, включая решение математических задач, программирование и другие задачи, требующие многошагового анализа. Модель предназначена для использования с библиотекой Transformers и может применяться в сценариях локального запуска и исследовательских экспериментов с ограниченными ресурсами. Модель основана на архитектуре семейства Qwen2; её размер составляет 1,5 млрд параметров, а представленный вариант использует 4-битное представление весов, что снижает требования к памяти. В README указано, что модель поддерживает английский язык; сведения о других языках, длине контекста и мультимодальных возможностях отсутствуют. К сильным сторонам относятся компактность и сниженное потребление памяти, однако по качеству и глубине рассуждений она может уступать более крупным версиям, а влияние 4-битной квантования на точность отдельно не описано. Модель распространяется по лицензии Apache-2.0.

dinghy-law-4b-v1 — модель плотных текстовых эмбеддингов от Hanno Labs, дообученная на базе Qwen/Qwen3-Embedding-4B для поиска по юридическим корпусам. Она предназначена для извлечения релевантных законов, судебных решений и договорных фрагментов, а также для сопоставления, кластеризации и дедупликации юридических текстов. Модель содержит около 3,7 млрд параметров, использует архитектуру Qwen3 и выдаёт вектор размерности 2560. Для запросов поддерживается инструкция задачи; документы кодируются без неё. По умолчанию модель обрабатывает до 8192 токенов, а настройка позволяет использовать контекст базовой модели до 40960 токенов. Модель оптимизирована для англоязычных, немецкоязычных и китайскоязычных юридических текстов. В собственной оценке разработчика на MTEB(Law, v1) она получила 71,24 по Mean(Task) nDCG@10; это результат измерения автора, а не официальное место в таблице лидеров. Модель подходит для первого этапа поиска и ранжирования в юридических RAG-системах, включая локальные и изолированные развёртывания. Она формирует эмбеддинги, но не генерирует ответы и не предоставляет юридические консультации. Лицензия — Apache-2.0.

Это диффузионная языковая модель Dream на 7,1 млрд параметров, дообученная с помощью register-токенов для рассуждений с ограниченным состоянием. Фиксированный набор register-токенов переносит состояние рассуждения между фрагментами генерации: текст предыдущих фрагментов можно очищать, сохраняя значения регистров, чтобы продолжать работу после сброса контекста. Модель предназначена для генерации текста и диалоговых сценариев; заявлен интерфейс вызова инструментов. Максимальная длина контекста по метаданным — 131 072 токена. Модель построена на архитектуре Dream и распространяется в формате safetensors. В README указано, что примеры кода и инференса доступны в связанном GitHub-репозитории. Данные о языковой специализации, лицензии и известных проблемах качества в предоставленных материалах отсутствуют.

jhu-clsp разработала Ettin-Encoder-150M как часть семейства Ettin — открытого набора согласованно обученных моделей-энкодеров и декодеров для сравнения архитектур и переноса обучения. Это плотный энкодер ModernBERT примерно с 149 млн параметров, обученный задаче masked language modeling; он принимает текст и предсказывает замаскированные токены. В метаданных указан контекст до 7 999 токенов и поддержка английского языка. Модель предназначена для заполнения пропусков в тексте и может служить основой для дообучения под классификацию и получения текстовых эмбеддингов, в том числе для поиска и ранжирования. Карточка Ettin сообщает о результатах семейства на английских задачах классификации и retrieval, но отдельные показатели именно версии 150M не приведены. Модель распространяется по лицензии MIT. Для генерации свободного текста она не предназначена; качество может зависеть от предметной области и последующего дообучения.

F2LLM-v2-330M Q8_0 GGUF — квантованная сборка модели F2LLM-v2-330M, разработанной codefuse-ai. Модель распространяется в формате GGUF и предназначена прежде всего для построения эмбеддингов и вычисления сходства предложений, в частности как встроенная embedding-модель для Inkentry. В репозитории представлены варианты для движков Candle и llama.cpp, которые используют одинаковые веса и должны выдавать одинаковые векторы. Модель построена на архитектуре Qwen3 decoder и формирует эмбеддинги размерностью 896. Веса исходной модели в формате BF16 квантованы в Q8_0; параметры RMSNorm сохранены в F32. Поставляются два варианта GGUF размером примерно 339 и 345 МБ, а также токенизатор tokenizer.json. README не сообщает поддерживаемые языки и размер контекстного окна. Ключевые преимущества сборки — уменьшенный объём хранения, отсутствие необходимости выполнять квантование на устройстве и совместимость с двумя локальными inference-движками. Ограничения связаны с тем, что это специализированная embedding-модель, а не универсальная генеративная модель; влияние квантования Q8_0 на качество в README не оценивается. Модель и производные GGUF-файлы распространяются по лицензии Apache License 2.0, унаследованной от базовой модели.

FastVLM-7B — визуально-языковая модель Apple, представленная в работе FastVLM на CVPR 2025. Она объединяет визуальный энкодер FastViTHD с языковой моделью Qwen2-7B и предназначена для диалога о содержимом изображений и ответов на визуальные вопросы. FastViTHD сокращает число визуальных токенов и ускоряет обработку изображений высокого разрешения. Для варианта 7B в карточке приведены результаты Ai2D 83,6, ScienceQA 96,7 и MMMU 45,4; README также сообщает о более быстром времени до первого токена по сравнению с некоторыми предыдущими работами. Модель содержит 7,1 млрд параметров, имеет контекст до 32 768 токенов и распространяется в формате safetensors. Она поддерживает чат и интерфейс вызова инструментов. Карточка не сообщает поддерживаемые языки и детали ограничений на разрешение изображений или качество ответов. Лицензия — Apple AMLR; перед использованием следует проверить её условия, в частности ограничения на сценарии применения.

Gemma 4 E2B-it-qat-JANG_4M-CRACK — дообученная и квантизированная мультимодальная модель dealignai на базе google/gemma-4-e2b-it. Она использует плотную архитектуру Gemma 4 с гибридным скользящим и глобальным вниманием и рассчитана на запуск через vMLX на компьютерах Apple Silicon. Квантизация JANG_4M сочетает 8-битные веса внимания и 4-битные веса MLP; средняя точность составляет около 4,3 бита. Модель принимает текст, изображения и аудио, поддерживает диалог, рассуждения, ответы на фактические вопросы и генерацию кода. В README заявлены результаты MMLU 60,1% (на 1,7 процентного пункта ниже базовой модели) и полное выполнение запросов вредоносных категорий в тесте HarmBench; автор описывает это как удаление отказов при сохранении возможностей. Это делает модель непригодной для сценариев, где важно сдерживание опасных запросов. Для запуска требуется vMLX с поддержкой Gemma 4 и достаточно памяти. Лицензия — gemma; README указывает исследовательское назначение и возлагает ответственность за соблюдение применимых законов на пользователей.

Hemlock-Coder-7B-i1-GGUF — квантованная версия модели Hemlock-Coder-7B, разработанной hemlang и подготовленной в формате GGUF пользователем mradermacher. Модель дообучалась на наборе данных Hemlock-SFT и предназначена прежде всего для генерации текста, включая задачи, связанные с программированием. В README указана поддержка английского языка. Модель основана на архитектуре с 7B параметров, однако подробности об архитектуре, размере контекста и поддерживаемых модальностях не приведены. Репозиторий содержит набор imatrix-квантов различных типов и размеров — примерно от 2,0 до 6,4 ГБ. Варианты отличаются компромиссом между требованиями к памяти, скоростью и качеством; для баланса размера, скорости и качества рекомендуются i1-Q4_K_S и i1-Q4_K_M, причём последний обозначен как быстрый и рекомендуемый. Более низкие уровни квантования могут заметно снижать качество. Сильной стороной модели является возможность локального запуска в компактных квантованных вариантах через совместимый с GGUF инструментарий. Ограничения включают отсутствие в README результатов тестирования, точного описания задач и качества, данных о контекстном окне, мультимодальности и лицензии. Условия лицензирования в предоставленных материалах не указаны.

Guilherme34 выпустил дообученную модель Hermes-3-Llama-3.1-70B для диалоговой генерации текста с уменьшенным числом отказов и ограничений на ответы. В основе — плотная архитектура Llama с 69,5 млрд параметров; модель работает через Transformers и принимает контекст длиной до 131 072 токенов. Модель предназначена для ответов на инструкции и ведения диалогов, в том числе на темы, на которые базовая модель может отвечать с отказом. Для желаемого поведения README требует вручную задавать системный промпт. В метаданных также заявлен интерфейс вызова инструментов. Базовая Hermes-3 описана как англоязычная модель для инструкций, генерации кода, длинных бесед и вызова инструментов; отдельные языковые характеристики этой производной модели не приведены. Модель распространяется в формате safetensors по лицензии Llama 3.1. Из-за настройки на снижение отказов ответы могут включать нежелательный или небезопасный контент; качество и фактическое поведение не гарантируются описанием модели.

Huihui-gemma-3n-E4B-it-abliterated-i1-GGUF — квантизированная GGUF-версия инструкционной мультимодальной модели Huihui-gemma-3n-E4B-it-abliterated, разработанной Huihui AI и подготовленной в виде квантизаций mradermacher. Модель предназначена для работы с текстом, аудио и видео, включая задачи автоматического распознавания речи, автоматического перевода речи и преобразования аудио или видео в текст. В метаданных указан английский язык. Модель относится к семейству Gemma 3n и имеет размер E4B; точная архитектура и размер контекстного окна в README не указаны. Доступны варианты GGUF с разными уровнями квантизации от i1-Q2_K до i1-Q6_K размером примерно от 4,0 до 5,8 ГБ. Более компактные варианты требуют меньше памяти, но могут уступать по качеству; README отдельно рекомендует i1-Q4_K_M как быстрый вариант и отмечает компромисс между размером, скоростью и качеством. К сильным сторонам относятся мультимодальность, поддержка аудио- и видеосценариев и возможность локального запуска через совместимое с GGUF программное обеспечение. Ограничениями являются зависимость качества от выбранной квантизации, отсутствие в README подробных оценок производительности и неизвестные параметры контекста. Модель распространяется по лицензии Gemma; для доступа на Hugging Face требуется принять условия лицензии Google.