I.2Синтез, понимание и проверка знаний

Модель v2ray/Llama-3-70B — повторно опубликованная версия Meta Llama 3 с 69,5 млрд параметров. Это авторегрессионная языковая модель на архитектуре Transformer с Grouped-Query Attention; репозиторий содержит веса в формате Safetensors. Модель принимает текст и генерирует текст и код, а заявленная длина контекста составляет 8192 токена. Модель предназначена для генерации текста на английском языке: её можно применять для диалогов с ассистентом и адаптировать под другие задачи генерации естественного языка. В README описано семейство Llama 3, включая предварительно обученные и настроенные для инструкций варианты, однако точный вариант этой копии отдельно не уточнён. Модель разработана Meta и опубликована 18 апреля 2024 года. Для семейства указана специальная коммерческая лицензия Meta Llama 3; перед использованием следует ознакомиться с её условиями и Acceptable Use Policy. README отмечает, что модель не предназначена для языков, отличных от английского, и что для безопасного применения в конкретной системе могут понадобиться дополнительные меры защиты.

Карточка модели AgentPublic/llama3-instruct-8b на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

QuantFactory/Llama-3-KoEn-8B-GGUF — квантизированная версия модели beomi/Llama-3-KoEn-8B, созданная с помощью llama.cpp. Исходная модель разработана Junbum Lee (Beomi) на основе Llama 3 8B; обучение продолжалось на корпусе на корейском и английском языках при поддержке программы TRC и выполнялось на TPUv4-256. Модель предназначена для генерации текста и кода, а также для адаптации к различным задачам обработки естественного языка. Это авторегрессионная языковая модель с оптимизированной архитектурой Transformer и механизмом GQA. Доступен один вариант размером 8B параметров, с контекстом до 8k токенов и объёмом обучения более 80B токенов. На вход принимает только текст и генерирует текст или код; модель является статичной и обучена на офлайн-данных. README не уточняет конкретный формат квантизации и его влияние на производительность или качество. К сильным сторонам относятся поддержка корейского и английского языков, относительно компактный размер и возможность локального запуска благодаря квантизации. Ограничения включают статус предварительного релиза, дату отсечения знаний — июнь 2023 года, отсутствие встроенной инструкционной настройки у базовой модели и необходимость самостоятельно реализовать меры безопасности. Использование регулируется лицензией CC-BY-NC-SA-4.0 в сочетании с лицензией Llama 3 и соответствующими правилами допустимого использования; коммерческие и иные сценарии должны проверяться на соответствие этим условиям.

RDson/Llama-3-Peach-Instruct-4x8B-MoE — экспериментальная языковая модель RDson, созданная с помощью Mergekit путём объединения четырёх моделей семейства Llama 3 в архитектуру MoE. Она предназначена для диалоговой генерации текста и может применяться для ответов на вопросы, следования инструкциям и решения задач с рассуждением. В README приведены результаты GSM8K для варианта Q4_K_M; в репозитории указаны веса safetensors, а GGUF-версия доступна отдельно. Модель имеет около 7,5 млрд параметров и контекстное окно 8192 токена. В состав объединения вошли Meta-Llama-3-8B-Instruct, SFR-Iterative-DPO-LLaMA-3-8B-R, Hermes-2-Theta-Llama-3-8B и Llama-3-8B-Instruct-Coder. README называет её экспериментальной; сведения о лицензии в предоставленных данных отсутствуют.

LLM2Vec-Mistral-7B-Instruct-v2-mntp-unsup-simcse — модель для получения текстовых эмбеддингов на основе Mistral-7B-Instruct-v2, представленная организацией или исследовательской группой McGill-NLP. В репозитории указано, что модель распространяется с использованием PEFT и предназначена для преобразования текста в векторные представления, пригодные для сравнения семантической близости. Модель ориентирована на семантический поиск и информационный retrieval, reranking, классификацию, кластеризацию, оценку текстовой семантической близости и извлечение признаков. В README заявлен английский язык и приведены результаты на наборах MTEB, включая задачи классификации, поиска, кластеризации, reranking и STS. Архитектура основана на модели класса Mistral с 7 млрд параметров; сведения о поддерживаемых модальностях, размере контекста и точных процедурах инференса не указаны. Сильная сторона — универсальность эмбеддингов для широкого спектра задач обработки текста; ограничения, включая качество на других языках и зависимость результатов от конкретного домена, требуют дополнительной проверки. Лицензия — MIT.

unsloth/Meta-Llama-3.1-70B-Instruct — квантованная версия Meta-Llama-3.1-70B-Instruct, разработанная на основе модели Meta компанией Unsloth. Модель предназначена для диалоговых приложений, генерации и продолжения текста, а также дообучения на собственных наборах данных с использованием инструментов Unsloth. Она ориентирована прежде всего на англоязычные сценарии. Модель относится к семейству Llama 3.1, имеет размер 70B параметров и поддерживается библиотекой Transformers. README не содержит подробностей об архитектуре, модальностях и размере контекстного окна; по представленным данным модель является текстовой. Unsloth позиционирует свои инструменты как позволяющие ускорять дообучение и снижать потребление памяти, а также экспортировать результат в GGUF и использовать его через vLLM, однако эти характеристики относятся к процессу дообучения и экосистеме Unsloth, а не обязательно к самой модели. К сильным сторонам относятся большой размер модели и возможность адаптации под пользовательские данные. Ограничения включают отсутствие заявленной поддержки других языков и модальностей, а также отсутствие в README подробных оценок качества, требований к оборудованию и характеристик инференса. Модель распространяется по лицензии llama3.1; конкретные условия этой лицензии следует учитывать перед использованием.

Metis-8B-RL — мультимодальный агент для рассуждений по тексту и изображениям, разработанный Accio-Lab в рамках фреймворка Metis. Это финальный чекпойнт обучения с подкреплением по алгоритму Hierarchical Decoupled Policy Optimization (HDPO), обученный на основе Metis-8B-ColdStart; метаданные также связывают модель с Qwen3-VL-8B-Instruct. Модель ведёт многоходовый диалог и выбирает, когда задействовать инструменты выполнения кода, текстового поиска и поиска изображений. Модель предназначена для визуального рассуждения, понимания документов, математических и логических задач с изображениями и текстом, а также для агентных сценариев с выборочным использованием инструментов. В README заявлено снижение доли вызовов инструментов с 98% до 2% и высокие результаты на 13 бенчмарках открытых агентных моделей с 8 млрд параметров. Архитектура — плотная Qwen3-VL для условной генерации; веса опубликованы в safetensors и используются через Transformers. Метаданные указывают английский язык. Лицензия — Apache-2.0. Для полного запуска требуются внешние инструменты и зависимости, описанные в проекте; приведённые в карточке заявления о качестве основаны на бенчмарках разработчиков.

mlx-community/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-OptiQ-4bit — это MLX-квантизированная версия модели GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking, которая представляет собой reasoning fine-tune архитектуры MiniCPM5-1B примерно на 1 млрд параметров. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения задач с рассуждениями, программирования, tool calling и function calling. Заявлена поддержка английского и китайского языков, а формат работы ориентирован на Apple Silicon через MLX. Основная точность квантования — 4-bit, при этом чувствительные слои хранятся в 8-bit. Всего квантизировано 169 слоёв: 67 в 8-bit и 102 в 4-bit; эффективная разрядность составляет 5,805 бит на вес. Размер весов уменьшен с 2,0 ГБ в bf16 до 874 МБ, что делает модель удобной для локального запуска на компьютерах Apple Silicon. При генерации модель формирует рассуждения внутри тегов <think>...</think>, поэтому ей требуется достаточно большой лимит max_tokens. К сильным сторонам относятся малый размер, локальная работа без облачных сервисов и PyTorch, поддержка MLX-native serving, смешанной точности KV-cache и LoRA fine-tuning через mlx-optiq. При этом для данной квантованной версии не проводились task-бенчмарки, а распределение разрядности перенесено с базовой модели MiniCPM5-1B и может несколько отличаться по оптимальности для этого fine-tune. В карточке указана лицензия Apache-2.0; также рекомендуется учитывать условия лицензии исходной модели.

MiniCPM5-2B-GGUF — это набор общественных GGUF-квантизаций плотной языковой модели MiniCPM5-2B, разработанной OpenBMB и преобразованной в формат GGUF автором ngquocvinh. Релиз предназначен для локального запуска через llama.cpp и совместимые среды, включая Ollama и LM Studio, а также для создания локальных ассистентов, coding agents, сценариев с использованием инструментов и развёртывания на устройствах с ограниченными ресурсами. Релиз является только конвертацией и квантизацией исходной модели без дополнительного обучения, дообучения, объединения весов или иных изменений параметров. Модель использует архитектуру LlamaForCausalLM, содержит около 2,52 млрд параметров, 42 слоя и GQA с 16 query-heads и 2 KV-heads. Нативная длина контекста составляет 131 072 токена. В метаданных указаны английский и китайский языки. Поддерживаются генерация текста, рассуждения и официальный шаблон чата с thinking и XML-стилем вызова инструментов, однако поведение tool calling в этом релизе отдельно не сертифицировано. Доступно несколько уровней квантизации: от Q8_0 и Q6_K с наибольшей близостью к BF16-версии до более компактных вариантов с меньшей точностью. Чем сильнее сжатие, тем ниже требования к ресурсам, но тем заметнее отклонение поведения от исходной модели; экстремально низкие уровни, такие как Q1_0 и некоторые Q2-варианты, демонстрируют существенную потерю качества по приведённым измерениям. Релиз распространяется по Apache License 2.0 с требованием сохранять атрибуцию OpenBMB и лицензию при перераспределении. Это общественная квантизация, не официальный релиз и не одобрение OpenBMB.

valurank/MiniLM-L6-Keyword-Extraction — англоязычная модель для получения векторных представлений предложений и коротких абзацев. Это Sentence-Transformers-модель на архитектуре BERT с 25,9 млн параметров, создающая плотные эмбеддинги размерности 384. В README описано дообучение контрастивным методом на более чем миллиарде пар предложений на основе nreimers/MiniLM-L6-H384-uncased; метаданные указывают формат PyTorch и контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Эмбеддинги можно использовать для ранжирования кандидатов по близости векторных представлений, в том числе при извлечении ключевых слов из текста. По умолчанию тексты длиннее 256 WordPiece-токенов обрезаются. README не приводит отдельную лицензию, а метаданные обозначают её как other, поэтому условия использования следует сверить с карточкой репозитория. Модель обучалась преимущественно на англоязычных данных; качество для других языков не подтверждено.

MiniMax-M2.7-MXFP4-Mixed-CT-AutoRound — смешанная MXFP4-версия MiniMax-M2.7, подготовленная Intel с помощью AutoRound в режиме RTN. Это языковая модель для генерации текста и диалогового общения; в примере применения показан запуск через vLLM с поддержкой выбора инструментов и разбора вызовов инструментов. В тестах карточки приведены результаты на AIME 2025, GPQA Diamond, GSM8K и PIQA; сравнение с исходной версией показывает близкие значения на этих наборах. Модель распространяется в формате safetensors и имеет 8-битную маркировку в метаданных, при этом README описывает вариант MXFP4. Для запуска в примере используется контекст до 102 400 токенов и несколько GPU; это параметры примера инференса, а не подтверждённый нативный размер контекста. Применяется лицензия исходной MiniMax-M2.7; её конкретные условия следует проверять в карточке базовой модели. Модель может выдавать фактически неверные, предвзятые или оскорбительные ответы, поэтому перед использованием требуется оценка безопасности.

unsloth/mistral-7b-bnb-4bit — это напрямую квантизированная 4-битная версия Mistral 7B, подготовленная командой Unsloth с использованием bitsandbytes. Модель предназначена для запуска и дообучения в экосистеме Transformers, в том числе в доступных GPU-средах вроде Google Colab и Kaggle. Основные сценарии использования — генерация и продолжение текста, диалоговые приложения, а также fine-tuning на собственных наборах данных. README указывает поддержку английского языка, библиотекой интеграции является Transformers. Архитектура основана на Mistral 7B, однако точные параметры контекста и другие архитектурные характеристики в карточке не приведены. Формат 4-bit уменьшает требования к памяти; для Mistral 7B заявлено снижение использования памяти примерно на 62% при дообучении с инструментами Unsloth. Сильные стороны модели — компактное 4-битное представление и ориентированность на эффективное дообучение, включая последующий экспорт в GGUF или использование с vLLM. Ограничения включают возможное снижение точности из-за квантизации, зависимость от совместимого программного окружения и отсутствие в README подробных результатов оценки качества. Модель распространяется по лицензии Apache-2.0.

kokolamba/ModernBERT-base-DPR-8e-05-CMNRL-minibs16 — англоязычная модель Sentence Transformers, дообученная автором на базе answerdotai/ModernBERT-base на 1,25 млн примеров из набора MS MARCO. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения текстов по косинусному сходству, семантического поиска и подбора релевантных фрагментов. Также в README указаны сценарии поиска парафраз, кластеризации и классификации текста. Модель использует encoder-архитектуру ModernBERT с усреднением токенных представлений; максимальная длина последовательности — 8192 токена. Она подходит для англоязычного семантического поиска и сопоставления запросов с документами. Веса опубликованы в формате safetensors; лицензия в предоставленных данных не приведена.

Карточка модели coderancer/movie-recommender-model на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

NegMPNet — модель эмбеддингов предложений на базе MPNet, разработанная TUM NLP. Это версия all-mpnet-base-v2, дообученная с повышенной чувствительностью к отрицаниям. Модель преобразует предложения и абзацы в плотные векторы размерности 768 и подходит для семантического поиска, кластеризации и сравнения текстов с учётом отрицаний. Модель принимает текст и выдаёт векторные представления. Она содержит 136,7 млн параметров, имеет контекст до 514 токенов и предназначена прежде всего для англоязычных текстов. По карточке, обучение использовало MultipleNegativesRankingLoss с косинусным сходством. Модель распространяется по лицензии CC BY-SA 4.0.

Nemotron-3.5-Lightning-30B-A3B-Uncensored-xCloud-GGUF — языковая модель, разработанная xCloudinfo на основе NVIDIA Nemotron-3.5-Lightning-30B-A3B-BF16. Она предназначена для генерации текста и локального запуска через llama.cpp в сценариях разработки, исследований и технической валидации. Модель ориентирована на английский и китайский языки. Это гибридная архитектура Mamba-2, Mixture of Experts и Attention: общий объём составляет 30 млрд параметров, около 3 млрд активируются при обработке запроса. Поддерживаются Multi-Token Prediction и контекст до 1 млн токенов. Модель не переобучалась: из отдельных матриц Attention и MoE была удалена направленность, связанная с чрезмерными отказами, методом directional ablation с интенсивностью 0,8. Компоненты Mamba и MTP draft head сохранены. Доступны GGUF-квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и IQ2_M; рекомендуемый вариант для развёртывания — Q4_K_M, размером около 24 ГБ. Сильной стороной модели являются гибридная архитектура, высокая вычислительная эффективность за счёт MoE и варианты квантизации для локального использования. Ограничение — отсутствие исходного безопасного поведения отказа: модель может напрямую отвечать на чувствительные и двояко применимые запросы, поэтому ответственность за законность и этичность использования лежит на пользователе. Для корректного reasoning требуется достаточный лимит токенов, а при работе рекомендуется явно указывать текущую дату в системном запросе. Модель распространяется по лицензии OpenMDW-1.1, унаследованной от базовой модели. Коммерческое использование разрешено; при распространении необходимо сохранять текст лицензии и уведомления об авторских правах. xCloudinfo не несёт ответственности за выводы модели и их дальнейшее использование.

sapidlabs подготовила разреженную MoE-версию языковой модели NVIDIA Nemotron-3-Nano-30B-A3B: методом REAP удалена половина маршрутизируемых экспертов, по 64 из 128 в каждом MoE-слое. Это сокращает объём модели примерно с 59 до 32 ГБ; число активируемых экспертов на токен осталось равным шести, поэтому основной выигрыш — в размере и потреблении памяти, а не в скорости генерации. Модель использует архитектуру Nemotron-H с классом NemotronHForCausalLM, поддерживает чат и имеет контекст до 262 144 токенов. Модель предназначена для генерации текста, диалогов, задач программирования и рассуждений. Прунинг выполнен без повторного обучения с калибровкой на 256 примерах из набора evol-codealpaca-v1, поэтому лучше всего подтверждены сценарии, близкие к коду и рассуждениям. Формальные бенчмарки не проводились; возможна потеря качества относительно исходной модели, особенно за пределами калибровочных данных. Для запуска доступны веса safetensors через Transformers; для ускоренного пути Mamba требуются mamba-ssm и causal-conv1d. Лицензия указана как other; дополнительных условий README не приводит.

AceReason-Nemotron-1.1-7B-GGUF — это GGUF-квантизированная версия языковой модели AceReason-Nemotron-1.1-7B, разработанной NVIDIA и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста, задач рассуждения, математики и программирования; в метаданных указаны supervised fine-tuning и reinforcement learning. Заявленный язык — английский. Модель содержит 7 миллиардов параметров и поставляется в нескольких вариантах точности, включая BF16, Q8_0, Q6_K, Q5_K, Q4_K и более компактные форматы. Квантизация выполнена с использованием imatrix и llama.cpp, поэтому модель рассчитана на локальный запуск через llama.cpp, LM Studio и совместимые проекты. Для работы используется формат запросов ChatML с ролями system, user и assistant. Размер контекста и точная архитектура в README не указаны. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и компромисс между качеством, требованиями к памяти и скоростью инференса; наиболее качественными в README названы варианты Q6_K_L, Q6_K, Q5_K и Q4_K_L, а Q4_K_M обозначен как типовой вариант для большинства сценариев. Более сильное сжатие уменьшает требования к памяти, но может снижать качество. Лицензия — NVIDIA Open Model License; исходная модель доступна как nvidia/AceReason-Nemotron-1.1-7B.

NVIDIA-Nemotron-Labs-Teacher-Instruction-Following — большая языковая модель NVIDIA для точного следования инструкциям. Она предназначена как для самостоятельного применения, так и для роли модели-учителя при генерации обучающих данных и дистилляции. Модель особенно ориентирована на запросы с явными ограничениями по формату, длине, стилю и структуре ответа, включая заполнение схем и оценку соблюдения требований. Модель построена на гибридной архитектуре LatentMoE: в ней сочетаются слои Mamba-2, Mixture of Experts и отдельные слои внимания; Multi-Token Prediction поддерживает ускоренную генерацию. Всего модель содержит 550 млрд параметров, из которых 55 млрд активны. Метаданные указывают контекст 262 144 токена; README заявляет до 1 млн токенов. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, португальский и китайский языки; метаданные также перечисляют иврит и арабский. Модель принимает текстовые запросы и генерирует текст. По карточке, чекпойнт готов к коммерческому и некоммерческому использованию, однако лицензия в метаданных обозначена как other, поэтому перед использованием следует проверить условия лицензии в репозитории. Масштаб модели предполагает высокие требования к вычислительным ресурсам; README описывает многосерверное развертывание на оборудовании NVIDIA.

OpenAI o4-mini — компактная модель рассуждений из серии o-series, разработанная OpenAI. Она предназначена для быстрых и экономичных ответов с сохранением развитых мультимодальных и агентных возможностей, включая использование инструментов. В доступной карточке указаны мультимодальность и поддержка инструментов, но не уточнены входные и выходные типы данных, конкретные языки или размер контекста, поэтому эти характеристики не конкретизируются.

OpenBuddy-zero-14b-v22.3-32k — многоязычная диалоговая языковая модель семейства Llama, разработанная OpenBuddy. Она предназначена для чат-общения и генерации текста в ответ на запросы; модель содержит 13,8 млрд параметров и поддерживает контекст до 32 768 токенов. Модель дополнительно обучена на многоязычном наборе данных с токенизатором на основе Yi-1.5-9B-32K. В README также указано, что веса включают части Yi-1.5-9B-32K и DeepSeek-VL-7B-chat. Карточка перечисляет китайский, английский, французский, немецкий, японский, корейский, итальянский и финский языки. Репозиторий содержит веса в формате safetensors и поддерживает чатовый сценарий. Модель может выдавать ошибочные, вредоносные или нежелательные ответы; авторы не рекомендуют применять её в критических ситуациях, включая медицину и важные финансовые или юридические решения. В метаданных лицензия обозначена как other; README сообщает об использовании компонентов под Apache 2.0 и DeepSeek License, поэтому перед использованием следует проверить условия обеих лицензий.

Ornith-1.0-35B-GGUF-llamacpp-tp1 — это GGUF-версия языковой модели Ornith-1.0-35B, разработанной deepreinforce-ai, подготовленная для запуска через llama.cpp на одной GPU. Модель предназначена для генерации текста и кода, а также для сценариев локального сервинга с различными требованиями к скорости, объёму памяти и точности. В комплект входят варианты квантования Q3_K_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также вариант IQ4_XS-MTP с интегрированной головой multi-token prediction для ускорения спекулятивной генерации при низкой конкуренции. Размер исходной модели составляет 35B параметров. Доступны артефакты объёмом примерно от 15,61 до 34,37 GiB на диске, с требованиями к загруженной VRAM примерно от 17,27 до 34,77 GiB в зависимости от квантования. Вариант Q4_K_M позиционируется как сбалансированный по скорости и памяти, Q6_K и Q8_0 обеспечивают наиболее высокую точность, а Q3_K_M предназначен для минимального потребления памяти. Для MTP-варианта заявлено ускорение однопоточной генерации примерно в 1,3 раза; при этом длинные детерминированные последовательности не являются побитно идентичными режиму без MTP. Сильными сторонами являются широкий выбор квантований, высокая скорость инференса через llama.cpp и возможность локального запуска на одной GPU. Ограничениями выступают требование режима tp=1, отсутствие поддержки multi-GPU tensor parallel serving в этой версии и неизбежная потеря точности у более компактных квантований. Лицензия — MIT.

Ornith-Agents-A1-3.6-35B-A3B-MTP-GGUF — GGUF-сборка от tepirale, основанная на объединённой с помощью dare_ties модели Qwen3.5-35B-A3B с архитектурой Mixture-of-Experts. В модель встроен блок Multi-Token Prediction (MTP), заимствованный из официальной GGUF-версии Qwen3.6-35B-A3B. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16 размером примерно от 20,5 до 69,4 GiB. Указан английский язык; репозиторий также содержит multimodal-проектор для сценариев image-text-to-text. Главное назначение модели — генерация текста и мультимодальные задачи с запуском через llama.cpp, включая серверное применение и обработку изображений при наличии соответствующего mmproj-файла. Встроенный MTP-блок позволяет использовать native speculative decoding без отдельной draft-модели. По данным автора, достигается около 45% принятия черновых токенов и до примерно 260 токенов в секунду на H100; фактическая скорость зависит от квантования, настроек и оборудования. В README приведены конфигурации с контекстом до 131 072 и 254 000 токенов, однако это параметры тестовых запусков, а не обязательно гарантированный максимальный контекст. Сильные стороны — несколько вариантов компромисса между качеством и требованиями к памяти, отсутствие двойного квантования и сохранение блока MTP в точности Q8_0 или F16 независимо от основной квантовки. Ограничения включают значительные требования к VRAM, необходимость сборки llama.cpp с поддержкой CUDA для заявленной производительности и зависимость от корректной поддержки MTP. Модель распространяется по лицензии Apache 2.0.

heydariAI/persian-embeddings — дообученная Mohammad Hassan Heydari модель XLM-RoBERTa для построения контекстных векторных представлений предложений и абзацев. Она основана на FacebookAI/xlm-roberta-base и адаптирована на крупном корпусе персидских текстов для более точного учёта особенностей персидского языка. Модель предназначена для семантического поиска, кластеризации текстов и оценки контекстного сходства. Входом служит текст на персидском или английском языке, выходом — представления токенов, которые следует агрегировать подходящей операцией pooling для получения эмбеддинга предложения или абзаца. Архитектура — плотная XLM-RoBERTa; размер указан как 658,7 млн параметров, длина контекста — 514 токенов. Модель распространяется по лицензии Apache-2.0. Качество может быть ниже на языках, отличных от персидского и английского, а для получения эмбеддингов целых фрагментов текста требуется корректно настроить pooling.

Mungert/phi-4-GGUF — это набор GGUF-файлов с моделями Phi-4, предназначенными для локального запуска и инференса в формате GGUF. Репозиторий содержит варианты весов в BF16 и F16, а также квантованные версии Q8_0, Q6_K, Q4_K, Q4_0 и IQ3. Модель относится к классу текстовых генеративных моделей и ориентирована на диалоги, ответы на вопросы, работу с математическими задачами, программным кодом и другими текстовыми запросами. В метаданных указан английский язык и задача text-generation; поддержка других языков не заявлена. Главное преимущество набора — выбор между точностью и требованиями к памяти. Полноформатные BF16 и F16 подходят для оборудования с соответствующим ускорением, а квантованные варианты позволяют запускать модель на CPU и устройствах с ограниченной оперативной памятью или VRAM. Более агрессивное квантование уменьшает размер и потребление памяти, но может снижать точность. Сведения об архитектуре, количестве параметров, размере контекста, мультимодальности и результатах тестирования в README не приведены. Лицензия — MIT. README указывает связь с моделью Microsoft Phi-4 через ссылку на её лицензию; Mungert предоставляет варианты Phi-4 в формате GGUF. Для использования необходимо выбрать файл, совместимый с возможностями оборудования и требуемым уровнем качества.

Карточка модели infgrad/Prism-Qwen3.5-Reranker-2B на Hugging Face совпадает с карточкой infgrad/Prism-Qwen3.5-Reranker-4B, поэтому описание составлено по ней. Prism-Qwen3.5-Reranker-4B — модель-реранкер от infgrad на основе архитектуры Qwen3.5, дообученная для поиска и RAG-сценариев. Она оценивает релевантность пары «запрос — документ» и может дополнительно выдать краткий вклад документа в ответ на запрос и самостоятельный фрагмент с релевантными свидетельствами. Для нерелевантных документов возвращает отрицательный результат без этих пояснений. Модель предназначена для переупорядочивания результатов поиска, в том числе в агентных системах, и обработки запросов в форме ключевых слов. Веса содержат 3,4 млрд параметров; архитектура плотная, контекстное окно по метаданным — 262 144 токена. Однако обучение ограничивало примеры 10 тысячами токенов, поэтому на более длинных входах качество может снижаться. Основные языки — английский и китайский; другие языки также поддерживаются, но обучающих данных для них меньше. Модель распространяется под лицензией MIT.

Карточка модели infgrad/Prism-Qwen3.5-Reranker-9B на Hugging Face совпадает с карточкой infgrad/Prism-Qwen3.5-Reranker-4B, поэтому описание составлено по ней. Prism-Qwen3.5-Reranker-4B — модель-реранкер от infgrad на основе архитектуры Qwen3.5, дообученная для поиска и RAG-сценариев. Она оценивает релевантность пары «запрос — документ» и может дополнительно выдать краткий вклад документа в ответ на запрос и самостоятельный фрагмент с релевантными свидетельствами. Для нерелевантных документов возвращает отрицательный результат без этих пояснений. Модель предназначена для переупорядочивания результатов поиска, в том числе в агентных системах, и обработки запросов в форме ключевых слов. Веса содержат 3,4 млрд параметров; архитектура плотная, контекстное окно по метаданным — 262 144 токена. Однако обучение ограничивало примеры 10 тысячами токенов, поэтому на более длинных входах качество может снижаться. Основные языки — английский и китайский; другие языки также поддерживаются, но обучающих данных для них меньше. Модель распространяется под лицензией MIT.

Карточка модели junie626/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Карточка модели xuanguan5525/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Qwen/Qwen3-0.6B-MLX-bf16 — версия модели Qwen3, подготовленная для запуска с библиотекой MLX. Это плотная авторегрессионная языковая модель с 507,9 млн параметров, основанная на Qwen/Qwen3-0.6B-Base; в репозитории указаны веса safetensors и лицензия Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математических задач, генерации кода, перевода и сценариев с вызовом инструментов. Модель поддерживает режимы с рассуждениями и без них, которые можно переключать при формировании запроса. Карточка описывает поддержку более 100 языков и диалектов. Контекст в метаданных указан как 40 960 токенов; README базовой модели приводит 32 768 токенов. Модель компактна по числу параметров и рассчитана на запуск через MLX, однако карточка не приводит отдельной оценки качества именно этой версии на конкретных задачах. Как и другие небольшие языковые модели, она может ошибаться в фактах, рассуждениях и коде; для режима рассуждений важен подбор параметров генерации.