I.2Синтез, понимание и проверка знаний

Карточка модели jm123989/adv-nlp-hw1-jmala3 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

Карточка модели freedomfrier/all-MiniLM-L6-v2-128dim на Hugging Face совпадает с карточкой valurank/MiniLM-L6-Keyword-Extraction, поэтому описание составлено по ней. valurank/MiniLM-L6-Keyword-Extraction — англоязычная модель для получения векторных представлений предложений и коротких абзацев. Это Sentence-Transformers-модель на архитектуре BERT с 25,9 млн параметров, создающая плотные эмбеддинги размерности 384. В README описано дообучение контрастивным методом на более чем миллиарде пар предложений на основе nreimers/MiniLM-L6-H384-uncased; метаданные указывают формат PyTorch и контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Эмбеддинги можно использовать для ранжирования кандидатов по близости векторных представлений, в том числе при извлечении ключевых слов из текста. По умолчанию тексты длиннее 256 WordPiece-токенов обрезаются. README не приводит отдельную лицензию, а метаданные обозначают её как other, поэтому условия использования следует сверить с карточкой репозитория. Модель обучалась преимущественно на англоязычных данных; качество для других языков не подтверждено.

AtesiT/all-MiniLM-L6-v2-ru-adapted — русскоязычная доменно-адаптированная модель на базе sentence-transformers/all-MiniLM-L6-v2, созданная автором AtesiT для семантического поиска. Это энкодер предложений архитектуры BERT с 25,9 млн параметров: он преобразует текст в эмбеддинги размерностью 384, пригодные для сравнения по семантической близости. Модель принимает текст, поддерживает русский язык и рассчитана на последовательности длиной до 512 токенов по метаданным; в README указано ограничение 256 токенов. Модель дообучена на русских парафразах из deepvk/ru-HNP с TripletLoss. Её можно применять для поиска похожих фраз и документов, ранжирования кандидатов по сходству и построения семантического поиска по коллекциям русскоязычных текстов. Лицензия — Apache-2.0. Качество дообученной версии в README ещё не оценено: приведены только низкие результаты базовой модели на rubq-retrieval. Обучение охватывало 20 тысяч примеров и три эпохи, а различие между обучающими парафразами и задачами поиска по QA может ограничивать перенос качества.

ronanki/all_mpnet_128_20_MNR_base — модель Sentence-Transformers на базе MPNet, разработчик — пользователь Hugging Face ronanki. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 136,7 млн параметров, принимает текст, выдаёт эмбеддинги и рассчитана на контекст до 514 токенов. Модель обучена с функцией Multiple Negatives Ranking Loss и косинусным сходством. Она подходит для построения поиска по смыслу и группировки похожих текстов; карточка не приводит результатов оценки, поэтому качество на конкретных данных оценивать по ней нельзя. Репозиторий содержит веса PyTorch; сведения о лицензии отсутствуют в предоставленных данных.

Модель omarelshehy/arabic-english-sts-matryoshka — двуязычная Sentence Transformer, дообученная разработчиком на базе FacebookAI/xlm-roberta-large. Она преобразует предложения и абзацы на арабском и английском языках в плотные векторы размерностью 1024 для сравнения семантической близости. Векторы можно сокращать до 768, 512, 256, 128 или 64 измерений, чтобы уменьшить требования к памяти и вычислениям; для оценки сходства используется косинусная мера. Модель предназначена для семантического поиска и сопоставления текстов, поиска перефразировок, кластеризации и классификации. Она поддерживает как сравнение текстов внутри каждого языка, так и межъязыковое сопоставление арабского и английского текстов. Архитектура основана на XLM-RoBERTa large, содержит 658,7 млн параметров, принимает текст длиной до 514 токенов и выдаёт векторы. Для использования требуется библиотека Sentence Transformers. В README приведены обнадёживающие результаты MTEB, но разработчик рекомендует проверять качество на целевых данных. Модель распространяется по лицензии Apache-2.0.

Модель gchhablani/bert-base-cased-finetuned-qqp разработана на основе bert-base-cased и дообучена для классификации пар вопросов на наборе GLUE QQP. Она использует архитектуру BERT для классификации последовательностей и предназначена для определения того, задают ли два вопроса одно и то же по смыслу. В README приведены результаты на оценочной выборке: accuracy 0,9084, F1 0,8768 и объединённая оценка 0,8926. Модель содержит 135,5 млн параметров, принимает текстовые пары и поддерживает контекст до 512 токенов. Основной сценарий — выявление дубликатов вопросов, например, в поиске или при очистке базы вопросов и ответов. Указана лицензия Apache-2.0.

RK-1235/bge-base-FIR-matryoshka-BASELINE-10epo-triplet — дообученная модель Sentence Transformers на основе англоязычной BAAI/bge-base-en, созданная разработчиком репозитория. Она преобразует предложения и абзацы в плотные текстовые векторы размерностью 768 и предназначена для семантического поиска, сравнения сходства текстов, поиска перефразировок, кластеризации и классификации. Архитектура включает BERT, пулинг по CLS-токену и нормализацию векторов; максимальная длина входа — 512 токенов, сходство оценивается косинусной мерой. В README приведены оценки поиска для усечённых векторов размерностью от 64 до 1024 на тестовом наборе dim_1024/dim_768 и других наборах; результаты относятся к этим данным и не гарантируют качество на иных задачах. Модель рассчитана на английский текст. Лицензия в предоставленных сведениях не указана.

manu/bge-fr-en — специализированная модель эмбеддингов предложений, созданная дообучением плотной модели BGE-M3 на собственных данных на французском и английском языках. Она построена на архитектуре XLM-RoBERTa и преобразует предложения и абзацы в плотные векторы размерностью 1024; число параметров — 658,7 млн, максимальная длина контекста — 8194 токена. Модель предназначена для семантического поиска, сравнения смысловой близости текстов и кластеризации. Её можно использовать для поиска по франко- и англоязычным коллекциям, сопоставления запросов с документами и группировки похожих текстов. Модель оценивалась с помощью MTEB; веса доступны в формате safetensors. Ограничение: README описывает обучение на французских и английских данных, поэтому качество для других языков не подтверждено. Лицензия в предоставленных сведениях не указана.

qilowoq/bge-m3-en-ru — компактная версия BAAI/bge-m3, подготовленная автором репозитория обрезанием словаря до токенов английского и русского языков. Модель основана на архитектуре XLM-RoBERTa, содержит 465,8 млн параметров и предназначена для получения векторных представлений предложений и сравнения их семантического сходства. Карточка сообщает, что обрезанный словарь уменьшает модель примерно в 1,5 раза относительно исходной и сохраняет те же эмбеддинги. Модель подходит для семантического поиска, сопоставления запросов с документами и поиска похожих предложений на английском и русском языках. Она принимает текст и выдаёт эмбеддинги; заявленная длина контекста — 8194 токена. Распространяется по лицензии MIT.

bge-small-en-v1.5-bf16 — англоязычная модель для создания векторных представлений предложений и текстов. Модель представлена сообществом mlx-community в формате BF16 и основана на bge-small-en-v1.5; исходная модель предназначена для задач feature extraction и sentence similarity. Модель подходит для семантического поиска, сопоставления похожих текстов, классификации, кластеризации, retrieval и reranking, а также для построения систем поиска дубликатов и оценки семантической близости. В README приведены результаты тестирования на наборах MTEB для классификации, поиска, кластеризации, переранжирования и оценки текстовой близости, включая Amazon, ArguAna, AskUbuntu, Banking77 и BIOSSES. Поддерживаемый язык — английский. Сведения о точном размере модели, архитектуре, размерности эмбеддингов и максимальной длине контекста в предоставленных данных отсутствуют. Модель ориентирована на эффективное получение эмбеддингов, однако её качество и применимость следует оценивать на данных конкретного проекта; переносимость на другие языки не подтверждена. Лицензия — MIT.

BigQwen2.5-Echo-47B-Instruct — разговорная языковая модель mlabonne, созданная с помощью MergeKit на основе Qwen/Qwen2-32B-Instruct. Это self-merge с распределённым повторением отдельных слоёв: число повторов постепенно меняется от краёв к середине и обратно. Модель имеет архитектуру Qwen2 и 46,6 млрд параметров, принимает текст и генерирует текст; поддерживает контекст до 32 768 токенов и интерфейс вызова инструментов. Метаданные указывают языки: китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Модель предназначена для диалогов и генерации текста; базовая Qwen2.5 также рассчитана на программирование, математику и структурированные ответы. В приведённой карточке результаты оценки ниже показателей Qwen2.5-32B-Instruct по среднему баллу, IFEval и BBH, поэтому показатели базовой модели не следует переносить на этот вариант. Доступны веса в формате Safetensors; лицензия — Apache-2.0.

Bonsai-2-27B-CRACK-Ternary-JANG — дообученная dealign.ai версия тернарно-квантованной модели PrismML Ternary-Bonsai-2-27B на архитектуре Qwen 3.5, предназначенная для генерации текста, диалога и агентных сценариев. Модель рассчитана на запуск в vMLX на компьютерах Apple Silicon; использует формат JANG с 2-битными аффинными весами, групповой квантизацией 128 и сохранённым Hadamard-преобразованием. В карточке указаны контекст до 262 тыс. токенов, режимы рассуждения low, medium и xhigh, XML-вызовы инструментов, а также поддержка изображений и видео. Модель ориентирована на англо-китайские сценарии, включая ответы на вопросы, кодирование и работу с инструментами. По заявлению автора, поведение отказов удалено на уровне весов; приведены результаты MMLU и HarmBench на данной сборке. Для запуска требуется vMLX с JANG-Hadamard runtime: стандартный путь загрузки MLX, согласно карточке, выдаёт некорректные результаты. Лицензия — Apache 2.0.

DeCLUTR-small — компактная модель семейства RoBERTa от авторов работы DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations. Она обучена для получения универсальных векторных представлений предложений и предназначена для работы как энкодер предложений, в том числе в экосистеме Sentence Transformers. Модель кодирует текст в эмбеддинги, которые можно сравнивать по косинусному сходству. Это подходит для поиска семантически близких предложений, сопоставления текстов и построения признаков для downstream-задач. В метаданных указаны 95,2 млн параметров, контекст до 514 токенов и поддержка английского языка; доступны веса PyTorch и Flax. Лицензия — Apache 2.0. Карточка позиционирует модель как универсальный энкодер предложений, но не приводит оценки качества для конкретных наборов данных. Результаты могут зависеть от домена и способа применения эмбеддингов; архитектура RoBERTa также ограничивает обработку входа заданной длиной контекста.

Это текстовая диалоговая модель Richard Young на базе deepseek-ai/DeepSeek-R1-0528-Qwen3-8B. В исходной модели цепочки рассуждений DeepSeek-R1-0528 были дистиллированы в Qwen3-8B; затем с помощью Heretic выполнена абляция направления отказа без повторного обучения. Модель содержит 7,6 млрд параметров, использует плотную архитектуру Qwen3 и принимает контекст до 131 072 токенов. Модель предназначена для генерации ответов с рассуждениями, в том числе при решении математических и логических задач, программировании, творческом письме и учебных сценариях. Карточка сообщает, что абляция заметно снижает частоту отказов и что модель сохраняет близкое к исходной поведение по измеренной KL-дивергенции; эти оценки приведены автором модели. Поддерживаются диалоговый режим и интерфейс вызова инструментов. Модель работает с текстом и распространяется в формате safetensors. Лицензия — MIT. Из-за уменьшения числа отказов модель может отвечать на запросы, которые исходная версия отклоняет; следует учитывать это при выборе сценария применения. Результаты и поведение модели могут отличаться от приведённых в карточке оценок.

Текстовая модель семейства Llama, опубликованная Kunakornjack и дообученная на unsloth/DeepSeek-R1-Distill-Llama-8B с использованием Unsloth и библиотеки TRL. Она предназначена для генерации текста и диалогов; базовая модель рассчитана на математические задачи, программирование и многошаговые рассуждения. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 131 072 токенов. Модель может применяться для диалоговых помощников, генерации ответов, решения математических задач и помощи с кодом. Карточка не описывает отдельные результаты или специализацию этого дообучения, поэтому его влияние на качество по сравнению с базовой моделью оценить нельзя. Лицензия — Apache-2.0.

DeepSeek V4 Flash REAP K150 Mixed NVFP4 — производная версия DeepSeek V4 Flash, подготовленная sleepyeldrazi на основе официального чекпойнта deepseek-ai/DeepSeek-V4-Flash. Это текстовая MoE-модель для генерации текста и диалогов. REAP удаляет наименее активные эксперты: в слоях 3–42 оставлено по 150 маршрутизируемых экспертов из исходного набора, что соответствует сокращению примерно на 41%; первые три слоя сохранены без такого сокращения. Дообучения не проводилось. Веса упакованы в смешанном формате: NVFP4 для gate/up проекций маршрутизируемых экспертов, Q2_K для down проекций, Q8_0 для внимания, общих экспертов и выходной головы; эмбеддинги сохранены в F16. Конверсия MXFP4 в NVFP4 описана как преобразование формата шкал без изменения значений весовых нибблов. Репозиторий содержит GGUF, однако для запуска требуется специальный движок ds4 с пользовательскими CUDA-ядрами; стандартные сборки llama.cpp и другие обычные GGUF-рантаймы модель не загружают. Калибровка ориентирована на код, вызов инструментов, исследования и поиск знаний. Карточка приводит бюджет памяти для DGX Spark, включая запуск с контекстом до 1 млн токенов при использовании FP8 KV-кэша, но точная длина контекста в метаданных не указана. Лицензия — MIT.

KennethEnevoldsen/dfm-sentence-encoder-large-exp1 — модель на базе BERT, упакованная для работы с Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 453,9 млн параметров и принимает последовательности длиной до 512 токенов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Модель предназначена для получения текстовых эмбеддингов; README не приводит результаты бенчмарков или конкретные поддерживаемые языки. Доступна в формате PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

Это 4-битная версия Dolphin 2.9.3 на базе Mistral Nemo, преобразованная mlx-community из cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b в формат MLX с помощью mlx-lm 0.16.1. Модель представляет собой плотную причинную языковую модель Mistral с 12,1 млрд параметров и предназначена для генерации текста в диалоговом формате; среди возможных сценариев — ответы на вопросы, помощь с кодом, математические задачи и вызов инструментов, на которые указывают обучающие наборы данных и возможности базовой Dolphin-модели. Модель дообучена на Mistral-Nemo-Base-2407, а данный репозиторий содержит её MLX-представление для запуска на устройствах Apple с MLX. Метаданные указывают контекст до 1 024 000 токенов и лицензию Apache-2.0. В README не описаны отдельные ограничения качества; применимость столь длинного контекста и заявленные сценарии зависят от конкретной конфигурации запуска.

E5-small-v2-t2t-nl — нидерландская версия модели для получения плотных текстовых эмбеддингов, дообученная на базе clips/e5-small-v2-t2t. Её можно использовать для сравнения семантической близости запросов и текстов, поиска по смыслу и задач ранжирования. Модель построена на архитектуре BERT и содержит 39,9 млн параметров; максимальная длина контекста — 512 токенов. Она работает с текстом и предназначена прежде всего для нидерландского языка. В карточке приведён пример кодирования запросов и фрагментов MS MARCO и указана оценка на бенчмарке MTEB-NL. Модель распространяется по лицензии MIT.

tasksource/ettin-17m-embed — компактная модель Sentence Transformer, дообученная Tasksource на базе jhu-clsp/ettin-encoder-17m. Она преобразует текстовые фрагменты в векторы размерностью 256 для поиска семантически близких предложений и текстов; для сравнения векторов используется косинусное сходство. Модель построена на архитектуре ModernBERT, содержит 16,8 млн параметров и поддерживает последовательности до 1024 токенов по README; метаданные указывают контекст до 7999 токенов. Модель рассчитана на английский язык. При обучении использовались наборы данных для семантического сходства, поиска, сопоставления вопросов и ответов, определения дубликатов и других задач понимания текста. Её можно применять для семантического поиска, поиска похожих предложений и построения эмбеддингов для ранжирования или группировки текстов. Репозиторий содержит веса в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.

Ngit/fail-detect — модель Sentence Transformers на архитектуре MPNet, разработанная автором репозитория Ngit. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически похожих текстов, кластеризации и других задач сравнения предложений. Модель содержит 136,7 млн параметров и принимает текст; заявленная длина контекста — 514 токенов. Модель подходит для построения семантического поиска и группировки текстов по смыслу. В README указано обучение с CosineSimilarityLoss. Доступен формат PyTorch; лицензия в предоставленных данных не указана.

AEON-7 выпустил BF16-версию Gemma-4-12B-it с удалёнными отказами и заявленным сохранением возможностей исходной модели. Это плотная мультимодальная модель семейства Gemma 4 с 12 млрд параметров, предназначенная для диалога и следования инструкциям; основная задача в метаданных — генерация текста. В README также указаны сценарии работы с кодом, математическими задачами и рассуждениями. Базовая модель поддерживает работу с изображениями, видео и аудио, однако карточка этой версии описывает прежде всего текстовую генерацию. В README модель позиционируется как точный BF16-вариант семейства K4 для дообучения или запуска на оборудовании без Blackwell. Для загрузки через мультимодальный путь vLLM требуется processor_config.json из карточки базовой модели. Приведённые авторами показатели производительности относятся к DGX Spark и оптимизированному контейнеру AEON vLLM; они не характеризуют другие конфигурации. Модель распространяется по лицензии Gemma Google.

Это GGUF-сборка Gemma-4-26B-A4B-it, подготовленная ironbcc для запуска через llama.cpp и LM Studio. Комплект включает основную 26-миллиардную MoE-модель Gemma-4 и вспомогательную модель-драфтер gemma-4-26B-A4B-it-assistant от Google для speculative decoding. Основная модель использует 128 экспертов; доступны варианты драфтера с квантованием Q2_K, Q4_K_M, Q8_0 и F16. Указан английский язык, а модель предназначена для генерации текста, диалогов, рассуждений и программного использования через совместимые серверы и клиенты. Максимальный контекст Gemma-4 заявлен как 256K токенов, однако конкретные возможности зависят от runtime и настроек. Ключевое преимущество сборки — ускорение генерации за счёт Multi-Token Prediction и speculative decoding: в приведённом тесте на Apple M5 Max скорость достигала примерно 1,55 раза относительно режима без MTP, а при отключении reasoning — до 143,2 токена в секунду. Q2_K-драфтер рекомендован как наиболее быстрый и показал наивысшую долю принятых токенов в тесте. Ограничения включают необходимость специальной ветки llama.cpp с поддержкой Gemma-4 MTP; на момент подготовки README эта функциональность ещё не была включена в основную ветку, а LM Studio требовал соответствующего runtime. Включение thinking повышает качество рассуждений, но снижает скорость. Основной файл имеет размер около 26 ГБ, поэтому запуск требует значительного объёма памяти; для полного контекста 256K README указывает примерно 31 ГБ RSS при старте с дальнейшим ростом потребления. Распространение заявлено по лицензии Apache-2.0, при этом для доступа к Gemma на Hugging Face необходимо принять условия использования Google.

mlx-community/gemma-4-26B-A4B-it-qat-OptiQ-4bit — квантизированная MLX-версия модели Google Gemma 4, подготовленная сообществом mlx-community с помощью mlx-optiq. Модель основана на Google Gemma 4 26B A4B instruction-tuned QAT и предназначена для локального запуска на устройствах Apple Silicon без PyTorch и облачной инфраструктуры. Это разреженная MoE-модель с 26 млрд общих параметров, 128 маршрутизируемыми экспертами и примерно 4 млрд активных параметров на токен. Используется смешанная квантизация: преимущественно 4-битная, но чувствительные компоненты, включая часть экспертных тензоров, слои внимания и маршрутизатор, представлены в 8-битном формате. Достигнутая точность составляет 6,01 бит на вес, размер модели на диске — около 19 ГБ. Модель поддерживает генерацию текста, а также сценарии image-text-to-text через bf16 vision-модуль. Языки и размер контекстного окна в README не указаны. Модель ориентирована на рассуждения, следование инструкциям, генерацию кода, работу с инструментами и агентские сценарии. По сравнению с равномерной 4-битной квантизацией той же QAT-базы она немного улучшает средний Capability Score и результаты MMLU, GSM8K и IFEval, однако уступает в BFCL и HumanEval, поэтому характеристики зависят от задачи. Для использования требуются mlx-optiq и версия mlx-lm из основной ветки; запуск рассчитан прежде всего на Apple Silicon и требует значительного объёма памяти. Лицензия указана как Apache 2.0; также применяются условия лицензии Gemma от Google.

GLM-4.6V-FP8 — мультимодальная модель семейства GLM-V, разработанная организацией zai-org (Z.ai). Репозиторий содержит FP8-версию модели GLM-4.6V с 106 млрд параметров, предназначенную преимущественно для облачной инфраструктуры и высокопроизводительных кластеров. Заявлены поддерживаемые языки Chinese и English, библиотека Transformers и сценарий image-text-to-text. Модель предназначена для анализа изображений, скриншотов и страниц документов вместе с текстом, понимания длинных и визуально сложных документов, работы с таблицами, графиками и макетами, а также для мультимодальных агентов. Она поддерживает контекст до 128K токенов, нативный Function Calling с передачей визуальных данных инструментам и интерпретацией визуальных результатов, генерацию смешанного изображения и текста, а также восстановление HTML/CSS по скриншотам интерфейсов и их редактирование по инструкциям на естественном языке. К сильным сторонам относятся масштабный контекст, объединённое понимание текста и визуального содержимого, возможность связывать восприятие с вызовом инструментов и заявленная высокая эффективность в задачах визуального понимания среди моделей сопоставимого размера. При этом разработчики отмечают, что возможности ответов на чисто текстовые вопросы всё ещё нуждаются в улучшении; также ранее наблюдавшиеся повторяющиеся рассуждения и ошибки форматирования были лишь частично смягчены. Модель распространяется по лицензии MIT.

NobodyWho/Google_Gemma4-E2B-GGUF — это GGUF-квантизация инструкционно настроенной мультимодальной модели Gemma 4 E2B от Google DeepMind, переопубликованная для библиотеки NobodyWho. Квантизации BF16, Q8_0 и Q4_K_M предоставлены unsloth; базовая модель — google/gemma-4-E2B-it. Модель предназначена для диалоговой генерации текста, следования инструкциям, рассуждений и нативного tool calling с грамматически ограниченным выводом. Она поддерживает анализ изображений через дополнительную проекционную модель mmproj-BF16.gguf, работает с текстом и изображениями, поддерживает более 140 языков и рассчитана на контекст до 131 072 токенов. Эффективный размер составляет примерно 2,3 млрд параметров, что делает модель ориентированной на локальное и on-device использование. Для всех перечисленных вариантов квантизации заявлена успешная проверка tool calling: 14 из 14 тестов. К сильным сторонам относятся мультимодальность, длинный контекст, многоязычность, поддержка вызова инструментов и доступность компактной Q4_K_M-версии. Для работы с изображениями требуется отдельная проекционная модель, а характеристики качества могут зависеть от выбранной квантизации; конкретные результаты бенчмарков в README не приведены. Модель распространяется по лицензии Apache 2.0.

NVIDIA gpt-oss-120b-Eagle3-short-context — текстовая модель для генерации ответов, основанная на OpenAI gpt-oss-120b и дополненная модулем Eagle3 для спекулятивного декодирования. Базовая gpt-oss-120b использует архитектуру Mixture-of-Experts с 120 млрд общих и 5 млрд активируемых параметров; этот репозиторий содержит 739,4 млн параметров Eagle-модуля. Модель принимает текст и генерирует текст, а её контекстное окно составляет 131 072 токена. Модель предназначена для разработчиков чат-ботов, ИИ-агентов и RAG-систем, а также для диалогов и выполнения инструкций. Вариант short-context обычно предпочтителен для запросов с контекстом менее 8 тысяч токенов. Eagle3 предсказывает кандидаты следующих токенов, которые проверяет базовая модель, ускоряя генерацию при принятии нескольких токенов за шаг. Для запуска NVIDIA указывает TensorRT-LLM и GPU NVIDIA; README описывает совместимость с Blackwell. Модель оптимизирована для инференса на системах с GPU NVIDIA. Карточка заявляет готовность к коммерческому и некоммерческому использованию, но в метаданных лицензия обозначена как other, поэтому перед применением следует проверить условия лицензии репозитория. Качество и безопасность необходимо проверять на данных и сценариях конкретного приложения; опубликованные результаты приводят показатели принятия токенов Eagle на MT-Bench, а не оценку качества ответов.

OpenVINO/gpt-oss-20b-int4-ov — квантизированная версия языковой модели gpt-oss-20b, разработанной OpenAI. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT4 с помощью NNCF в режиме INT4_ASYM без группировки весов. Это модель для генерации текста, доступная для локального запуска через OpenVINO, Optimum Intel и OpenVINO GenAI. Модель предназначена для задач генерации текста, диалоговых приложений, построения RAG-систем и интеграции в агентские сценарии с function calling. Она совместима с OpenVINO версии 2026.0.0 и выше и Optimum Intel версии 1.27.0 и выше; в README также приведены варианты запуска на CPU и GPU через OpenVINO Model Server. Размер исходной модели составляет 20 млрд параметров согласно её идентификатору и названию базовой модели, однако сведения о контекстном окне, поддерживаемых языках и точной архитектуре не указаны. Ключевое преимущество модели — уменьшенный объём весов благодаря INT4-квантизации, что может упростить локальное развертывание и снизить требования к памяти. При этом квантизация способна влиять на качество генерации, но конкретные результаты оценки в карточке не приведены. Ограничения следует уточнять в карточке исходной модели gpt-oss-20b. Модель распространяется по лицензии Apache License 2.0.

Huihui-Qwen3.8-27B-abliterated-NVFP4 — квантизированная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, подготовленная автором репозитория sakamakismile. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, переводов и следования инструкциям. Она также содержит необработанную vision tower, однако мультимодальная работа в README не тестировалась. Модель основана на архитектуре Qwen3.8 с 27 млрд параметров и использует NVFP4-квантизацию W4A4 с размером группы 16. Большинство весов представлены в NVFP4, а lm_head, vision tower, conv1d DeltaNet и MTP head сохранены в bfloat16. Поддерживаются speculative decoding через MTP и запуск в vLLM 0.22 на GPU с архитектурой Blackwell SM120. Размер весов уменьшен с 55,6 до 20,0 ГБ; рекомендуемый контекст — до 32 768 токенов. README не указывает полный список поддерживаемых языков, но результаты проверок включают английский, французский и японский. К сильным сторонам относятся заметное сокращение объёма модели, совместимость с двумя видеокартами по 16 ГБ при наличии запаса под KV-кэш, сохранение MTP-головы для ускоренного декодирования и отсутствие выявленного ухудшения на заявленном наборе проверок после более узкой абляции. Ограничения включают необходимость Blackwell и vLLM 0.22 для описанной конфигурации, неподтверждённую мультимодальную работу, а также периодические пропуски закрывающей скобки при генерации длинных файлов кода; рекомендуется использовать синтаксическую проверку. Модель распространяется по лицензии Apache-2.0. Репозиторий содержит только квантизированные веса, а авторство исходной модели принадлежит huihui-ai.

Kanana 1.5 2.1B Instruct — языковая модель компании Kakao, выпущенная в мае 2025 года. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 1,9 млрд параметров и контекстом до 32 768 токенов. Веса доступны в формате Safetensors, лицензия — Apache 2.0. Модель предназначена для диалогов и генерации текста, включая задачи программирования, математики и вызова функций. Она подходит для ответов на вопросы, помощи с кодом, решения математических задач и продолжительных бесед; README отмечает улучшения в этих возможностях по сравнению с предыдущей версией семейства. Модель поддерживает английский и корейский языки; интерфейс вызова функций указан среди её возможностей. Для контекста длиннее 32K токенов README описывает расширение до 128K с помощью YaRN. Качество на конкретных задачах зависит от запроса и сценария; количественные результаты оценки в предоставленной карточке опущены. Kakao указывает, что пользовательские данные Kakao не использовались для предобучения или последующего обучения.