I.2Синтез, понимание и проверка знаний

antarge/minilm-finetuned — дообученная модель на базе sentence-transformers/all-MiniLM-L6-v2, предназначенная для получения векторных представлений предложений и оценки их семантического сходства. Она использует плотную архитектуру BERT и распространяется в формате PyTorch; для работы требуется библиотека Transformers или Sentence Transformers. Модель обучена на наборе sentence-transformers/all-nli и ориентирована на англоязычные тексты. Лицензия — MIT, допускающая коммерческое использование при соблюдении её условий. Модель подходит для поиска предложений по смыслу, сравнения формулировок и кластеризации текстов. Размер указан в метаданных как 252 млн параметров, однако README не поясняет его расчёт для этой модели; поэтому практические свойства размера базовой модели отдельно не выводятся. Карточка не сообщает длину контекста и ограничения качества.

Mistral-7B-Instruct-v0.3-GGUF — квантизированная версия инструкционной модели Mistral-7B-Instruct-v0.3, разработанной mistralai и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для диалогового взаимодействия и запуска локальных сервисов генерации текста, включая сценарии с использованием инструментов через LlamaEdge. Модель имеет размер 7B параметров и поддерживает контекст до 32 000 токенов. В репозитории представлены варианты квантизации от Q2_K до Q8_0, а также f16; их размер составляет примерно от 2,72 до 14,5 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу между размером и качеством, тогда как более агрессивная квантизация уменьшает требования к ресурсам, но может заметно ухудшать качество. Сведения о модальностях и поддерживаемых языках в README не указаны. Модель подходит для локального чата, генерации текста и интеграции в приложения через LlamaEdge с шаблонами Mistral Instruct и Mistral Tool. К ограничениям относятся компромиссы между размером файла и качеством, характерные для квантизированных версий, а также отсутствие в предоставленных данных результатов тестирования и подробностей об аппаратных требованиях. Распространяется по лицензии Apache-2.0.

Gaivoronsky/Mistral-7B-Saiga — русскоязычная генеративная модель, опубликованная Gaivoronsky. Это плотная causal language model семейства Mistral на 7,1 млрд параметров, представленная в формате PyTorch fp16. Она основана на IlyaGusev/saiga_mistral_7b_lora и предназначена для генерации текста и диалоговых сценариев на русском языке. Модель подходит для русскоязычных ответов на вопросы, инструкций и общения в чат-ботах. Заявленная длина контекста — 32 768 токенов. Модель распространяется по лицензии CC BY 4.0; README описывает запуск через vLLM.

Mistral-Small-2501-SCE-Mashup-24B — объединённая текстовая модель, созданная сообществом mergekit-community методом SCE на основе unsloth/Mistral-Small-24B-Base-2501 и нескольких дообученных моделей семейства Mistral и других текстовых моделей. Она предназначена для генерации текста и диалогового общения. Модель использует плотную архитектуру MistralForCausalLM, содержит 23,4 млрд параметров и поддерживает контекст до 32 768 токенов. В состав слияния вошли модели ArliAI, ReadyArt, TheDrummer, arcee-ai, PocketDoc и trashpanda-org. Репозиторий содержит веса в формате safetensors и рассчитан на использование через Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

BlueAvenir/model_growth_restructuring_V_1_0 — модель на базе XLM-RoBERTa, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения предложений. Архитектура содержит около 305,2 млн параметров, а максимальная длина контекста составляет 514 токенов. Модель принимает текст и возвращает векторные представления; её можно использовать через Sentence-Transformers или Transformers с соответствующим pooling. В карточке указан CosineSimilarityLoss, однако сведения о языках обучения, данных и результатах оценки не приведены. Модель опубликована в формате PyTorch; сведения о лицензии отсутствуют в предоставленных данных.

flax-sentence-embeddings/mpnet_stackexchange_v1 — модель SentenceTransformers на основе MPNet-base, разработанная в рамках Community Week Hugging Face для проекта по обучению моделей эмбеддингов предложений. Её дообучили сиамским методом с контрастивной целью на парах вопросов и ответов StackExchange, а также на данных MS MARCO, NQ и других наборов вопросов и ответов. В репозитории указана архитектура MPNet, размер около 136,7 млн параметров и контекст до 514 токенов. Модель кодирует текст в векторы, отражающие его смысл. Она предназначена для семантического поиска и поиска ответов по вопросам; эмбеддинги также можно применять для оценки сходства предложений и кластеризации. Обучение ограничивало длину последовательности 128 токенами, поэтому качество на более длинных текстах может снижаться. Формат весов — PyTorch; лицензия в предоставленных данных не указана.

sieu-n/msmarco-distilbert-cos-v5_en-ko-ja_v1.2.4 — модель Sentence-Transformers на базе BERT с 124,3 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для оценки семантической близости, кластеризации и семантического поиска. Модель принимает текст и выдаёт эмбеддинги; контекст ограничен 512 токенами. Название указывает на обучение для английского, корейского и японского языков с использованием MS MARCO, однако сведения о точной методике и результатах обучения в карточке ограничены. Модель опубликована в формате PyTorch и подходит для построения поиска по смыслу и группировки текстов. Лицензия в предоставленных данных не указана.

bigscience/mt0-small — многоязычная модель BigScience для выполнения инструкций на естественном языке. Это вариант mT5-small, дообученный на смеси задач xP3; архитектура кодировщик-декодировщик MT5, размер — 157,4 млн параметров. Модель принимает текстовые инструкции и генерирует текстовые ответы, в том числе для задач перевода, классификации по инструкции, объяснения понятий и написания историй. Модель рассчитана на выполнение разнообразных задач без специального обучения под каждую из них и демонстрирует перенос между языками и задачами в zero-shot-сценариях. Карточка приводит примеры на нескольких языках и указывает, что модель понимает языки предобучения mC4 и дообучения xP3; метаданные перечисляют поддерживаемые языки. Доступны веса PyTorch, safetensors и ONNX. Лицензия — Apache-2.0. Качество зависит от формулировки запроса: стоит ясно обозначать границы входного текста и задавать нужный язык и контекст. Модель не гарантирует точность ответов на всех задачах и языках.

GyuBack/multilingual-e5-large-instruct-FT_klue_mrc_full32b — это Sentence Transformer, дообученный на базе intfloat/multilingual-e5-large-instruct для семантического сопоставления вопросов и документов. Модель преобразует текст в нормализованные плотные векторы размерности 1024; сходство оценивается косинусной мерой. В основе — трансформер XLM-RoBERTa с усреднением токенных представлений и максимальной длиной последовательности 512 токенов. Модель подходит для семантического поиска, ранжирования и сравнения текстов, поиска перефразировок, кластеризации и получения признаков для классификации. Данные обучения включают 23 392 пары: короткие вопросы на корейском языке и более длинные фрагменты документов; примеры указывают на адаптацию для поиска по корейским вопросам и контекстам. Лицензия в предоставленных источниках не указана.

legacy107/multi-qa-mpnet-base-dot-v1-wikipedia-augmented-search-farmed — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска и сравнения текстов; в README также указаны сценарии кластеризации и семантического поиска. Обучение использовало MultipleNegativesRankingLoss с косинусным сходством. Модель принимает текст и выдаёт векторные представления, пригодные для поиска по смыслу и группировки похожих текстов. Контекст составляет до 514 токенов. Данных о специальных языках, на которых модель оптимизирована, в карточке нет. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

Nano-Jev v1.0 — компактная модель принятия решений для конвейеров RAG, разработанная Shubham Divakar. Она принимает вопрос и один или несколько фрагментов контекста и оценивает релевантность отрывка, достаточность набора отрывков для ответа или обоснованность утверждения контекстом. Модель возвращает вероятности по заданным вариантам и не генерирует текст. Архитектура — кросс-энкодер на базе MiniLM с 12 слоями и скрытым размером 384, дополненный классификационной головой; в метаданных указано 40 млн параметров, а README приводит 33,4 млн. Модель дообучена на microsoft/MiniLM-L12-H384-uncased, принимает текст и поддерживает английский язык; максимальный контекст — 512 токенов. Распространяется по лицензии MIT. Модель быстрая и на тестах, близких к обучающим данным, показывает хорошие результаты классификации и калибровки. На новых наборах данных точность снижается примерно на 15–20 процентных пунктов, а калибровка переносится плохо; перед применением на собственных данных следует перепроверить пороги и вероятности. Она рассчитана на английский текст в стиле Википедии, а пользовательские наборы меток работают слабее.

Nomic-embed-text-v1.5-Embedding-GGUF — модель для создания текстовых эмбеддингов и оценки семантического сходства, основанная на nomic-ai/nomic-embed-text-v1.5. Квантизацию в формате GGUF выполнила Second State Inc.; исходную модель разработала nomic-ai. Модель предназначена для семантического поиска, сопоставления текстов и других задач, где требуется преобразование текста в векторное представление. Указан английский язык. Модель поддерживает запуск через LlamaEdge и имеет контекстное окно размером 768 токенов. Доступны варианты GGUF с квантизацией от 2 до 8 бит и вариант f16, размером примерно от 60,9 до 274 МБ. Вариант Q4_K_M обозначен как рекомендуемый для сбалансированного качества и размера, а Q5_K_M и Q5_K_S — как варианты с очень небольшой потерей качества. Более сильная квантизация уменьшает размер, но может заметно ухудшать качество эмбеддингов. Модель компактна и подходит для локального развёртывания, однако README не содержит подробностей об архитектуре, размерности эмбеддингов, точных показателях качества и аппаратных требованиях. Модель распространяется по лицензии Apache-2.0.

nikcheerla/nooks-amd-detection-v2-full — модель на базе MPNet, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768, пригодные для поиска по смыслу, сравнения текстов и кластеризации. Модель насчитывает 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель можно применять для семантического поиска и сопоставления текстов, а также для группировки похожих предложений и абзацев. README указывает на обучение с CosineSimilarityLoss; метаданные отмечают возможности получения эмбеддингов. В репозитории представлены веса PyTorch. Лицензия в предоставленных данных не указана.

Карточка модели OpenBuddy/openbuddy-qwen2.5llamaify-14b-v23.3-200k на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-qwen2.5llamaify-14b-v23.1-200k, поэтому описание составлено по ней. OpenBuddy/openbuddy-qwen2.5llamaify-14b-v23.1-200k — многоязычная чат-модель OpenBuddy на 14 млрд параметров. Она основана на Qwen2.5-14B-Chat и использует плотную архитектуру LlamaForCausalLM; модель предназначена для диалоговой генерации текста. Заявленная длина контекста составляет 200 000 токенов. Модель подходит для чат-ботов и приложений, которым нужны ответы и диалог на китайском, английском, французском, немецком, японском, корейском, итальянском и финском языках. Репозиторий содержит веса в формате safetensors; для работы с шаблоном чата README рекомендует быстрый токенизатор из Transformers, также упоминается развёртывание API через vLLM. Лицензия — Apache 2.0. Модель может выдавать ошибочные, вредные или оскорбительные ответы. Разработчик предостерегает от применения в критических и высокорисковых сценариях, включая медицину и важные финансовые или юридические решения.

RedHatAI/OpenHermes-2.5-Mistral-7B-pruned50 — разреженная версия диалоговой модели OpenHermes-2.5-Mistral-7B, подготовленная Neural Magic для обслуживания через движок nm-vllm. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров; заявленное окно контекста — 32 768 токенов. Она принимает текстовые запросы и генерирует текстовые ответы в диалоговом режиме. Модель подходит для локального запуска чат-ассистента, ответов на вопросы, генерации текста и помощи с кодом. Репозиторий содержит веса PyTorch, оптимизированные разреживанием для высокой пропускной способности и меньшего потребления памяти при инференсе через nm-vllm. Она унаследовала возможности базовой OpenHermes-2.5-Mistral-7B, но карточка не приводит отдельной оценки качества именно разреженной версии. Лицензия в предоставленных данных не указана.

VMware/open-llama-7b-v2-open-instruct — инструктивно дообученная версия OpenLLaMA 7B v2 от VMware на наборе Open-instruct. Это плотная авторегрессионная модель семейства LLaMA с 6,6 млрд параметров и контекстом 2048 токенов, предназначенная для генерации текста и ответов на инструкции. В карточке отмечено улучшение результатов на задачах программирования относительно первой версии OpenLLaMA; для инструктивного дообучения использован шаблон Alpaca. Основной язык карточки — английский. Модель подходит для диалоговых ответов, выполнения текстовых инструкций, объяснения понятий и генерации примеров кода. Она распространяется в форматах PyTorch и safetensors по лицензии CC BY-SA 3.0. Для корректной токенизации в README рекомендуется отключить быстрый токенизатор, поскольку он может кодировать текст неверно.

OpenThai 2.0 Qwen3.8-27B — дообученная компанией OpenThai мультимодальная модель на архитектуре Qwen3.5 с 27 млрд параметров. Она принимает текст и изображения и предназначена прежде всего для работы с тайскими документами: распознавания печатного и рукописного текста, транскрипции страниц, извлечения структуры и ответов на вопросы по документам. Также подходит для ответов на тайском и английском языках, следования инструкциям, программирования и использования инструментов. Модель заявлена с контекстом 262 144 токена; в производственном API используется контекст до 131 072 токенов. В README приведены результаты оценки тайских экзаменационных знаний, следования инструкциям и распознавания документов, включая улучшение распознавания рукописного текста относительно базовой модели. Модель распространяется под лицензией Apache-2.0. Качество структурированного извлечения данных примерно соответствует базовой модели и слабее в разборе таблиц, извлечении ключевой информации и вопросах по диаграммам. Текст на вывесках и других сценах распознаётся хуже, а рукописный текст остаётся сложным: на сложных примерах возможны ошибки примерно в каждом четвёртом символе. Возможны галлюцинации на нечитаемых изображениях; длинные ответы могут различаться между запусками.

OrakzaiX — это общественный GGUF-релиз модели класса 8B на архитектуре Llama, поддерживаемый и квантизированный Faisal Orakzai в рамках экосистемы Orakzai. В метаданных указана базовая модель meta-llama/Llama-3-8B-Instruct; данных о самостоятельном обучении новой фундаментальной модели нет. Модель предназначена для локальной генерации текста и диалоговых сценариев: создания частных ассистентов, офлайн-прототипирования, разработки инструментов, суммаризации, извлечения технической информации, объяснения кода, автоматизации и экспериментов с многоагентными рабочими процессами. Формат GGUF рассчитан на запуск через совместимые средства, включая llama.cpp, на потребительском оборудовании, рабочих станциях, периферийных устройствах и частных серверах. Локальное выполнение может помочь сохранять запросы и ответы в контролируемой среде, однако безопасность зависит от настроек и окружения. Доступны варианты квантизации от Q2_K до Q8_0; рекомендуемым начальным вариантом указан Q4_K_M, обеспечивающий компромисс между качеством, скоростью и потреблением памяти. Фактические требования к ресурсам выше размера файла из-за контекста, KV-кэша и служебных буферов. Языки, размер контекстного окна, результаты бенчмарков, точность в специализированных областях, надежность вызова инструментов и возможности автономной работы не указаны. Лицензия обозначена как other; перед распространением или коммерческим использованием необходимо проверить условия лицензии OrakzaiX и базовой модели Meta.

LLukas22/paraphrase-multilingual-mpnet-base-v2-embedding-all — модель эмбеддингов на архитектуре XLM-RoBERTa, дообученная автором на базе paraphrase-multilingual-mpnet-base-v2. Она предназначена для представления предложений и поиска семантически близких текстов, в том числе для поиска ответов и дубликатов в системах вопросов и ответов. Модель насчитывает 305,2 млн параметров, поддерживает контекст до 514 токенов и рассчитана на применение через Sentence-Transformers. Модель обучалась на SQuAD, NewsQA, CQADupStack, FiQA, SciDocs, GermanQuAD и Natural Questions; автор приводит результаты ранжирования релевантных ответов на нескольких значениях top-k. В метаданных указаны английский и немецкий языки. Модель выпущена под лицензией Apache-2.0. Она формирует векторные представления и оценки сходства, поэтому качество поиска зависит от соответствия запроса и корпуса данным обучения; приведённые результаты относятся к указанным оценочным наборам.

pharo-collaborators-classifier — модель семейства MPNet от AISE-TUDelft на базе Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости; подходит для семантического поиска и кластеризации текстов. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch. Модель обучена с функцией потерь CosineSimilarityLoss. Лицензия в предоставленных данных не указана.

mainbrains поддерживает форк Phi-3-Mini-4K-Instruct — компактной плотной языковой модели семейства Phi-3 с 3,7 млрд параметров и контекстом до 4096 токенов. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики, логики и программирования; она дообучена следовать инструкциям и выдавать структурированные ответы. Модель рассчитана на применение в условиях ограниченных вычислительных ресурсов и требований к низкой задержке, в том числе как локальный узел для генерации текста и работы с инструментами. README заявляет запуск на компактном оборудовании, но фактическая скорость зависит от аппаратуры и способа инференса. Карточка описывает преимущественно англоязычное обучение и предупреждает о снижении качества на других языках, а также о возможных неточностях, предвзятости и оскорбительных ответах. Лицензия — MIT.

Карточка модели infgrad/Prism-Qwen3.5-Reranker-0.8B на Hugging Face совпадает с карточкой infgrad/Prism-Qwen3.5-Reranker-4B, поэтому описание составлено по ней. Prism-Qwen3.5-Reranker-4B — модель-реранкер от infgrad на основе архитектуры Qwen3.5, дообученная для поиска и RAG-сценариев. Она оценивает релевантность пары «запрос — документ» и может дополнительно выдать краткий вклад документа в ответ на запрос и самостоятельный фрагмент с релевантными свидетельствами. Для нерелевантных документов возвращает отрицательный результат без этих пояснений. Модель предназначена для переупорядочивания результатов поиска, в том числе в агентных системах, и обработки запросов в форме ключевых слов. Веса содержат 3,4 млрд параметров; архитектура плотная, контекстное окно по метаданным — 262 144 токена. Однако обучение ограничивало примеры 10 тысячами токенов, поэтому на более длинных входах качество может снижаться. Основные языки — английский и китайский; другие языки также поддерживаются, но обучающих данных для них меньше. Модель распространяется под лицензией MIT.

Модель alpcansoydas/product-model-16.10.24 — Sentence Transformer, дообученный разработчиком на базе sentence-transformers/all-mpnet-base-v2. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения смысловой близости, семантического поиска и других задач работы с текстовыми эмбеддингами. Архитектура MPNet использует усреднение токенных представлений и нормализацию; сходство векторов можно оценивать косинусной мерой. В README указана максимальная длина последовательности 384 токена, а метаданные каталога указывают контекст до 514 токенов. Модель предназначена для семантического поиска, поиска перефразировок, кластеризации текстов и классификации на основе эмбеддингов. В README приведены невысокая точность классификации и метрики сходства со значениями nan, поэтому качество на конкретных данных следует проверять отдельно. Лицензия в предоставленных данных не указана.

Карточка модели infgrad/puff-large-v1 на Hugging Face совпадает с карточкой infgrad/puff-base-v1, поэтому описание составлено по ней. infgrad выпустил модель на базе XLM-RoBERTa для поиска и семантического сопоставления текстов. Она формирует векторные представления предложений и поддерживает несколько выходных размерностей: 256, 768, 1024, 1563, 1792, 2048 и 4096. Модель рассчитана на поиск как внутри одного языка, так и между китайским и английским; автор отмечает, что английские представления слабее китайских. Контекстная длина составляет 514 токенов. Модель распространяется под лицензией MIT.

Карточка модели ArchiveStudio/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Карточка модели Davedav/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

DavidAU создал Qwen2.5-QwQ-35B-Eureka-Cubed — плотную языковую модель для генерации текста и диалогов с акцентом на рассуждения. Она объединяет QwQ-32B с компонентами DeepSeek-R1-Distill-Qwen-32B и TinyR1-32B-Preview методом автора «Cubed»: в README заявлены четыре дополнительных слоя и прирост примерно на 2 млрд параметров. Метаданные указывают архитектуру Qwen2 и 33,9 млрд параметров; модель рассчитана на контекст до 131 072 токенов и распространяется в формате safetensors для использования напрямую или конвертации в другие форматы. Модель предназначена для решения задач, требующих пошагового рассуждения, включая математику и программирование, а также для написания развернутых, творческих и научных текстов. README рекомендует шаблон ChatML без системного промпта и приводит настройки генерации; указанный там дополнительный промпт необязателен. Автор сообщает о более коротких цепочках рассуждений на некоторых задачах и улучшении детализации и креативности ответов, но не приводит независимых оценок. Лицензия в предоставленных данных не указана.

Это 4-битная версия мультимодальной инструкционной модели Qwen2.5-VL-7B-Instruct, подготовленная сообществом mlx-community и преобразованная в формат MLX с помощью mlx-vlm 0.1.11. Модель содержит 7,1 млрд параметров и предназначена для диалога и выполнения инструкций по текстовым запросам и визуальным данным. Модель принимает текст и изображения, а также поддерживает анализ видео согласно описанию базовой модели. Её можно применять для ответов на вопросы об изображениях, извлечения сведений из документов и других визуальных задач. Контекст составляет до 128 000 токенов; доступны интерфейсы чата и вызова инструментов. Репозиторий указывает формат safetensors и лицензию Apache-2.0. Карточка сообщества отсылает к оригинальной карточке Qwen2.5-VL-7B-Instruct за подробностями; качество и ограничения конкретной 4-битной версии отдельно не описаны.

Qwen3-0.6B-GPTQ-Int8 — квантованная 8-битная версия причинной языковой модели Qwen3-0.6B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, переводов, творческого письма и сценариев с интеграцией внешних инструментов. Она поддерживает переключение между режимами рассуждения и обычного диалога в рамках одной модели. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не являются параметрами эмбеддингов, имеет 28 слоёв и использует Grouped-Query Attention с 16 головами для запросов и 8 для ключей и значений. Контекстное окно составляет 32 768 токенов. Поддерживаются более 100 языков и диалектов, однако конкретный перечень языков в README не указан. Модель работает с текстовой модальностью и распространяется в формате GPTQ с 8-битной квантизацией. К сильным сторонам относятся компактный размер, поддержка многоязычных инструкций, режимов рассуждения и обычной генерации, а также возможности для агентских сценариев. Ограничения включают меньший размер по сравнению с крупными моделями Qwen3 и возможное появление повторов при неподходящих параметрах генерации; README рекомендует при таких проблемах использовать presence_penalty 1.5. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-4B-Base-unsloth-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-4B-Base, подготовленная Unsloth и основанная на модели Qwen от команды Qwen. Это каузальная языковая модель на стадии предобучения, предназначенная для генерации и продолжения текста, обработки естественного языка, программирования, STEM-задач, логического рассуждения и работы с многоязычными данными. Поскольку модель является базовой, она не заявлена как специально обученная для диалогов или следования инструкциям. Модель содержит около 4,0 млрд параметров, из них 3,6 млрд без учёта embedding-слоёв, имеет 36 слоёв и использует Grouped-Query Attention с 32 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. Семейство Qwen3 предварительно обучалось на 36 трлн токенов на 119 языках с использованием данных для кодирования, STEM, рассуждений, книг, многоязычных и синтетических источников. Ключевое преимущество варианта — 4-битное представление, снижающее требования к памяти; при этом квантование может ограничивать точность по сравнению с полной или менее агрессивно квантованной версией. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется актуальная версия библиотеки Transformers; версии ниже 4.51.0 не поддерживают архитектуру Qwen3.