I.3Извлечение и структурирование данных

LaBSE (Language-agnostic BERT Sentence Encoder) — многоязычная модель на архитектуре BERT, представленная Google и перенесённая из версии v2 на TensorFlow Hub в формат PyTorch для Hugging Face. Модель содержит 498,1 млн параметров и формирует векторные представления предложений для 109 языков; контекст ограничен 512 токенами. Предобучение сочетает маскированное языковое моделирование и моделирование перевода. LaBSE предназначена для сопоставления предложений между языками и поиска соответствующих текстов в двуязычных корпусах. Её можно применять для мультиязычного поиска, поиска семантически близких фраз и построения систем поиска по тексту. Репозиторий предоставляет веса в форматах PyTorch, TensorFlow и Flax, включая safetensors. Лицензия — Apache-2.0.

duyntnet/Llama-3.1-SuperNova-Lite-imatrix-GGUF — набор GGUF-квантизаций модели Llama-3.1-SuperNova-Lite, разработанной Arcee.ai на основе архитектуры Llama-3.1-8B-Instruct. Модель предназначена для генерации текста, выполнения инструкций и широкого спектра прикладных задач, где важны высокая производительность и сниженные требования к ресурсам. Она может использоваться через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель содержит около 8 млрд параметров и представляет собой дистиллированную версию Llama-3.1-405B-Instruct: при обучении использовались офлайн-логиты крупной 405B-модели и набор инструкционных данных, созданный с помощью EvolKit. Заявлены сильные стороны в следовании инструкциям, производительности на бенчмарках и адаптации к предметным областям при компактном размере. В README указан английский язык; другие языки, размер контекста и точные характеристики отдельных квантизаций не приведены. Репозиторий содержит именно квантизированные варианты в формате GGUF с использованием imatrix, поэтому фактические требования к памяти и качество зависят от выбранной версии. Лицензия обозначена как other, но её конкретные условия в README не раскрыты.

Llama-3.1-Tulu-3-405B-DPO — большая языковая модель семейства Tülu 3, разработанная Allen Institute for AI (Ai2). Это плотная авторегрессионная модель на архитектуре Llama 3.1 с 403,7 млрд параметров, дообученная методом DPO на основе allenai/Llama-3.1-Tulu-3-405B-SFT. Она предназначена для диалогов и следования инструкциям, а также для широкого круга текстовых задач, включая математические рассуждения и выполнение заданий по заданным критериям. Контекстное окно составляет до 131 072 токенов; основной язык — английский. Модель подходит для создания чат-ассистентов, ответов на вопросы и решения сложных текстовых задач. Карточка приводит результаты оценки на нескольких бенчмарках, включая MATH, GSM8K и IFEval, и описывает её как модель с сильными результатами на разнообразных задачах. Для запуска доступны веса PyTorch и библиотека Transformers. Модель распространяется по Llama 3.1 Community License Agreement. Авторы отмечают, что обучение безопасности ограничено: без дополнительной фильтрации модель может выдавать проблемные ответы, особенно при соответствующих запросах. Для инференса также нужны значительные вычислительные ресурсы из-за размера модели.

SanctumAI/Llama-3.2-3B-Instruct-GGUF — квантизированная версия языковой модели Meta Llama 3.2 3B Instruct, подготовленная SanctumAI. Это текстовая модель формата GGUF с генерацией текста на входе и выходе, предназначенная для многоязычного диалога, агентского поиска с извлечением данных и суммаризации. Модель имеет 3 млрд параметров и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В репозитории доступны варианты квантизации Q2_K–Q8_0, а также f16; их размер составляет примерно от 1,36 до 6,43 ГБ, а требуемый объём памяти — от 4,66 до 9,38 ГБ. Квантизация облегчает локальный запуск на устройствах с ограниченными ресурсами, однако может снижать точность по сравнению с исходной моделью. README не содержит сведений о размере контекстного окна и конкретной архитектуре. Модель ориентирована на прикладные сценарии общения и обработки текста, но, как и другие компактные языковые модели, может генерировать неточные, вредные или неподходящие ответы. Для использования рекомендуется применять шаблон чата Llama 3. Лицензия указана как Llama 3.2; исходная модель принадлежит Meta, при этом SanctumAI отвечает за квантизацию данного варианта.

Llama-3-8B-Ultra-Instruct-GGUF — квантованные версии инструкционной языковой модели Llama-3-8B-Ultra-Instruct. Исходная модель связана с elinas/Llama-3-8B-Ultra-Instruct и базируется на Undi95/Meta-Llama-3-8B-Instruct-hf; квантования подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях, где важны автономность и умеренные требования к памяти. Это текстовая модель с примерно 8 млрд параметров, представленная в формате GGUF и совместимая с llama.cpp. Доступны варианты квантования от Q8_0 до IQ1_M размером примерно от 2,16 до 8,54 ГБ. Более качественными считаются Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4; низкобитные версии экономят память, но снижают качество. В README не указаны языки, размер контекста, поддержка других модальностей и результаты бенчмарков. Для работы следует использовать специальный chat-шаблон Llama 3 с ролями system, user и assistant. Модель подходит для локальных чат-ботов, генерации и преобразования текста, а также других задач следования инструкциям. Сильные стороны — широкий выбор квантований, возможность запуска на ограниченных ресурсах и сохранение высокого качества в старших вариантах. Ограничения связаны с потерями качества при сильном квантовании; варианты Q3 и ниже имеют заметно более низкое качество, а IQ1_M не рекомендуется. Лицензия указана как llama3.

Llama-3-Groq-70B-Tool-Use-GGUF — набор GGUF-квантизаций модели Llama-3-Groq-70B-Tool-Use, опубликованный bartowski на основе исходной модели Groq. Модель предназначена для генерации текста, использования инструментов и function calling, включая сценарии, где языковая модель взаимодействует с внешними функциями или сервисами. Указан английский язык. Модель относится к семейству Llama 3 и имеет размер 70B параметров. README не содержит сведений о точной архитектуре, длине контекста или поддержке мультимодальности; по указанным данным это текстовая модель без подтверждённой поддержки изображений или других модальностей. Доступны варианты квантизации от F32 до Q2_K и IQ2_M с размерами файлов примерно от 24 до 282 ГБ, что позволяет выбирать баланс между качеством и требованиями к памяти. Для запуска рекомендуются llama.cpp и LM Studio; предусмотрен специальный prompt format на основе шаблона Llama 3. Сильными сторонами являются специализация на tool use и function calling, а также широкий выбор уровней квантизации, включая варианты Q4–Q6, ориентированные на высокое качество при меньшем размере. Ограничениями выступают большие требования к оперативной или видеопамяти даже у квантизированных вариантов и возможное снижение качества при низких уровнях квантизации. Модель распространяется по лицензии llama3; README не уточняет дополнительные условия лицензии.

prudant/lsg_4096_sentence_similarity_spanish — модель эмбеддингов предложений на основе BERT с механизмом внимания Local Sparse Global (LSG). Она создана как адаптация hiiamsid/sentence_similarity_spanish_es для работы с более длинными последовательностями и предназначена прежде всего для вычисления сходства между предложениями и создания эмбеддингов длинных текстов. Модель обрабатывает последовательности длиной до 4096 токенов и содержит 137,1 млн параметров. Модель ориентирована на испанский язык. Эмбеддинги можно применять для сравнения предложений и поиска семантически близких фрагментов в длинных документах. LSG распределяет внимание между локальными, разреженными и глобальными позициями, что снижает вычислительную сложность при работе с длинным контекстом. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

StanFurrer/merlinite-7B-slerp — объединённая языковая модель, созданная Stan Furrer с помощью LazyMergekit. Она сочетает веса ibm/merlinite-7b и mistralai/Mistral-7B-Instruct-v0.2 методом slerp и предназначена для генерации текста и ответов на инструкции в диалоговом формате. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Поддерживает контекст до 32 768 токенов, распространяется в формате safetensors; в конфигурации слияния указан тип данных bfloat16. README не сообщает о специализированной предметной области или дополнительных модальностях. Лицензия в предоставленных данных не указана.

facebook/mms-lid-2048 — модель семейства wav2vec2, разработанная Vineel Pratap и соавторами для определения языка по аудиозаписи. Она классифицирует аудио среди 2048 языков; в карточке указана частота дискретизации 16 кГц. Архитектура репозитория — Wav2Vec2ForSequenceClassification, размер по метаданным — 1,3 млрд параметров, веса доступны в форматах PyTorch и Safetensors. Модель предназначена для автоматического распознавания языка речи в аудиосигналах, включая языки с ограниченными ресурсами. Среди поддерживаемых языков есть русский, английский, арабский, китайский и многие другие. Это классификатор аудио, а не модель транскрибации: она определяет язык, но не выдаёт текстовую расшифровку речи. Распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

flax-sentence-embeddings/multi-qa_v1-mpnet-cls_dot — модель SentenceTransformers для построения векторных представлений предложений, разработанная в рамках проекта Hugging Face Community Week. Она основана на microsoft/mpnet-base и дообучена сиамской сетью с контрастивной целью на парах вопросов и ответов из Stack Exchange, MSMARCO, Natural Questions и других наборов данных. Для представления предложения используется выход CLS, а сходство при обучении вычислялось скалярным произведением. Модель предназначена для кодирования текста в векторы, сохраняющие семантическую информацию, прежде всего для поисковых систем и поиска ответов по смыслу. Полученные эмбеддинги также подходят для сравнения сходства предложений и кластеризации. Архитектура — MPNet; в репозитории указано 136,7 млн параметров и контекст до 514 токенов. Обучающие последовательности ограничивались 128 токенами. Модель принимает текст и выдаёт векторы; обучение на вопросно-ответных парах делает её особенно подходящей для поиска по вопросам и ответам. Лицензия в предоставленных данных не указана.

MyAwesomeModel — модель на базе архитектуры BERT, доступная через библиотеку Transformers и предназначенная для извлечения признаков из входных данных. Репозиторий также описывает улучшения в рассуждениях, математике, программировании, классификации, суммаризации и работе с диалогами, однако метаданные Hugging Face классифицируют модель как feature-extraction. Модель может использоваться для преобразования текста в векторные представления, последующей классификации, поиска семантически похожих документов и других задач, основанных на признаках из Transformer-моделей. В README заявлены сниженная частота галлюцинаций и поддержка function calling, но подробные сведения о размере модели, контекстном окне, языках и точном формате запуска отсутствуют. Модель распространяется по лицензии MIT.

MyAwesomeModel — модель на базе BERT, опубликованная в Hugging Face Hub пользователем liufeqww1154. Согласно метаданным, она предназначена для извлечения признаков и работает с библиотекой Transformers на PyTorch. Архитектурная информация ограничена указанием семейства BERT; размер модели, модальности, поддерживаемые языки и длина контекста не указаны. README также заявляет об улучшенных рассуждениях, математике, программировании, логике, генерации текста, function calling и снижении галлюцинаций, однако эти сведения не согласуются с основным pipeline-тегом feature-extraction и не сопровождаются техническими деталями реализации. Поэтому модель можно рассматривать прежде всего как инструмент получения векторных представлений текста для последующей классификации, поиска или кластеризации. Модель распространяется по лицензии MIT.

MyAwesomeModel — модель на базе архитектуры BERT, опубликованная в репозитории sdgjfjkl/MyAwesomeModel-TestRepo. Согласно метаданным Hugging Face, она предназначена для извлечения признаков и работает с библиотекой Transformers на базе PyTorch. Модель можно использовать для получения векторных представлений текста, последующей классификации, поиска похожих текстов и других задач, где необходимы эмбеддинги. В README также заявлены возможности рассуждения, генерации кода, диалога, суммаризации и function calling, однако эти характеристики не согласуются с указанным pipeline-тегом feature-extraction и не подтверждаются техническими параметрами модели. Модель распространяется по лицензии MIT.

NegMPNet — модель эмбеддингов предложений на базе MPNet, разработанная TUM NLP. Это версия all-mpnet-base-v2, дообученная с повышенной чувствительностью к отрицаниям. Модель преобразует предложения и абзацы в плотные векторы размерности 768 и подходит для семантического поиска, кластеризации и сравнения текстов с учётом отрицаний. Модель принимает текст и выдаёт векторные представления. Она содержит 136,7 млн параметров, имеет контекст до 514 токенов и предназначена прежде всего для англоязычных текстов. По карточке, обучение использовало MultipleNegativesRankingLoss с косинусным сходством. Модель распространяется по лицензии CC BY-SA 4.0.

Nemotron-3-Embed-1B-AWQ-W4A16 — квантизированный энкодер текстовых представлений, созданный Facu Vlad J (groxaxo) на основе модели NVIDIA Nemotron-3-Embed-1B-BF16. Модель предназначена для извлечения эмбеддингов, семантического поиска, retrieval-сценариев и оценки качества локального или размещённого инференса. Заявлены английский и испанский языки, а также поддержка задач feature extraction. Модель использует архитектуру типа ministral3 и имеет размер порядка 1B параметров. Веса линейных слоёв квантизированы в INT4 по схеме AWQ W4A16 с асимметричными нулевыми точками и размером группы 32, тогда как активации, таблица токенов и нормализующие слои сохраняются в BF16. Размер эмбеддинга составляет 2048 измерений; также заявлена работа с представлениями размерностью 1024 и 512. Контекст ограничен 4096 токенами в рекомендуемой конфигурации vLLM. Контрольная точка сериализована в формате compressed-tensors и оптимизирована для инференса через vLLM с ядром Marlin, занимая около 1,0 ГБ на диске. Сильными сторонами являются существенно меньший размер по сравнению с BF16-версией, ускоренный GPU-инференс и заявленное отсутствие потери Recall@10 на тестах для английского и испанского языков. При этом результаты основаны на ограниченных наборах данных и требуют проверки на собственных сценариях. Квантизация может изменять точность, потребление памяти и пропускную способность, а для работы необходим runtime с поддержкой соответствующей архитектуры и формата. Модель распространяется по лицензии OpenMDW-1.1; перед использованием и распространением следует изучить условия лицензии исходной модели NVIDIA.

OLMo-2-1124-13B-Instruct-GGUF — квантизированная версия инструкционной языковой модели OLMo-2-1124-13B-Instruct, разработанной Allen Institute for AI и подготовленной в формате GGUF автором bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях. Она поддерживает английский язык и использует текстовую модальность. Модель содержит 13 миллиардов параметров. В репозитории доступны исходный вариант F16 и различные уровни квантизации от Q8_0 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Квантизация выполнена с помощью llama.cpp и imatrix; для запуска следует использовать шаблон промпта с ролями system, user и assistant, указанный в README. Варианты Q6 и Q5 позиционируются как высококачественные, Q4_K_M — как сбалансированный вариант для большинства сценариев, а варианты с меньшим числом бит требуют меньше памяти, но могут заметнее терять качество. Сильной стороной модели является широкий выбор GGUF-квантизаций, включая варианты, оптимизированные для отдельных ARM-конфигураций и inference на CPU. Ограничения включают поддержку только английского языка, текстовый формат работы и неизбежное снижение качества у более агрессивно квантизированных вариантов. Размер контекста и другие архитектурные характеристики в предоставленных данных не указаны. Модель распространяется под лицензией Apache 2.0.

OpenHermes-2.5-Mistral-7B-GGUF — квантизированная версия инструкционной языковой модели OpenHermes-2.5-Mistral-7B, разработанной Teknium и преобразованной в формат GGUF компанией Second State Inc. Модель основана на архитектуре Mistral и содержит около 7 млрд параметров. В метаданных указан английский язык; модель предназначена для текстового диалогового взаимодействия и обработки инструкций с использованием шаблона ChatML. Модель подходит для локального запуска чат-ботов и LLM-сервисов, включая использование через LlamaEdge версии 0.2.8 и выше. Заявленный размер контекста составляет 4096 токенов. Доступны варианты квантизации от 2 до 8 бит с размером файлов примерно от 3,08 до 7,7 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S рекомендованы как сбалансированные по качеству и размеру, тогда как варианты с более низкой разрядностью экономят память, но заметно снижают качество. Основные преимущества модели — возможность локального развертывания, широкий выбор уровней квантизации и совместимость с экосистемой LlamaEdge. Ограничения включают относительно небольшой контекст в 4096 токенов и потери качества при использовании низкоразрядных вариантов; README не содержит подробных результатов оценки, сведений о других языках или мультимодальных возможностях. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/OpenHermes-2.5-neural-chat-7b-v3-1-7B-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и Weyaxi/OpenHermes-2.5-neural-chat-7b-v3-1-7B. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в ответ на инструкции и диалоговые запросы; поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст, поэтому подходит для диалоговых помощников, ответов на вопросы и выполнения текстовых инструкций. В метаданных указана лицензия Apache-2.0. Языки модели по имеющимся данным определить нельзя.

Карточка модели hotchpotch/open-provence-reranker-v1 на Hugging Face совпадает с карточкой hotchpotch/open-provence-reranker-xsmall-v1, поэтому описание составлено по ней. OpenProvence reranker xsmall v1 — компактная двуязычная модель переранжирования и отбора предложений для подготовки контекста в системах поиска и RAG. Модель разработана hotchpotch и содержит 30 млн параметров; архитектура — OpenProvence для классификации последовательностей, веса представлены в формате safetensors. Модель принимает вопрос и текстовый контекст, оценивает релевантность предложений и удаляет фрагменты, не относящиеся к запросу. Она предназначена для ускорения поиска нужной информации и сокращения контекста перед передачей его генеративной модели. Поддерживаются английский и японский языки; согласно карточке, xsmall рассчитана на низкую задержку и может работать на CPU. В опубликованных оценках модель сокращала объём контекста, сохраняя ответы на контрольных примерах, но результаты зависят от языка, порога отсечения и набора данных. Модель опубликована под лицензией MIT.

Это GGUF-квантизация модели Qwen3.8-27B-Uncensored, разработанной orcarouter и подготовленной пользователем bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для локального запуска в совместимых инструментах, включая llama.cpp. Модель поддерживает работу с текстом и изображениями при использовании отдельного файла mmproj, а также speculative decoding через MTP. Она ориентирована на рассуждения, function calling, vision-language-сценарии, red teaming и другие задачи генерации и анализа контента. Заявлены английский и китайский языки. README не указывает размер контекстного окна и конкретную архитектуру базовой модели. Доступны варианты от BF16 до различных уровней квантования GGUF. Q6 и Q5 позиционируются как варианты очень высокого или высокого качества, а Q4_K_M — как сбалансированный вариант по размеру и качеству; менее точные варианты требуют меньше оперативной памяти. К ограничениям относятся необходимость значительных аппаратных ресурсов для крупных файлов, зависимость мультимодального режима от mmproj и отсутствие в README подробных результатов оценки качества. Указанная лицензия — Apache-2.0.

gmunkhtur выпустил дообученную модель Sentence Transformers на основе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Она использует архитектуру BERT и преобразует предложения и абзацы в плотные векторы размерностью 384 для сравнения семантического сходства по косинусной мере, поиска перефразировок, семантического поиска, кластеризации и классификации текста. Для получения векторов применяется усреднение токенных представлений; библиотека модели — sentence-transformers. В README указан предел последовательности 128 токенов, тогда как метаданные каталога указывают нативный контекст 512 токенов. Модель обучена на 11 113 парах предложений с оценками сходства. Примеры в карточке написаны на монгольском и русском языках, а базовая модель предназначена для многоязычных текстов. В приведённой оценке на sts-dev корреляция Спирмена составляет 0,4878, поэтому качество сходства может быть ограниченным. Лицензия в предоставленных данных не указана.

duyntnet/Phi-3-medium-128k-instruct-imatrix-GGUF — набор GGUF-квантизаций модели Phi-3-Medium-128k-Instruct, разработанной Microsoft и опубликованной пользователем duyntnet. Репозиторий предназначен для локального запуска модели через совместимые инструменты, включая llama.cpp; указано, что квантизации созданы с использованием актуальной версии llama.cpp. Модель относится к классу text-generation и работает с текстом. Исходная Phi-3-Medium-128k-Instruct — инструкционная языковая модель для диалогов, ответов на вопросы, генерации текста и решения задач по пользовательским запросам. Она рассчитана на использование в chat-формате и поддерживает контекст до 128 000 токенов; размер словаря токенизатора — до 32 064 токенов. В README указан английский язык. Архитектура и точное число параметров в представленных данных не раскрыты. Сильной стороной модели является большой контекст и наличие готовых GGUF-квантизаций для более эффективного локального инференса. Ограничения включают зависимость от совместимого рантайма и конкретного варианта квантизации, а также отсутствие в README подробных характеристик качества, требований к ресурсам и данных о поддерживаемых модальностях помимо текста. Лицензия указана как other; её точные условия требуют отдельной проверки в исходном репозитории Microsoft.

PolDense-17M — компактная польская модель эмбеддингов из семейства PolDense, разработанного для поиска и извлечения релевантных текстов. Она основана на энкодере ettin-encoders с архитектурой ModernBERT и содержит 16,8 млн параметров. Модель формирует плотные векторные представления текста и рассчитана на низкую задержку при поиске, семантическом сравнении и построении RAG-систем на польском языке. Обучение включало два этапа дистилляции знаний от BGE-Multilingual-Gemma2 и финальную настройку для поиска с использованием данных, подготовленных с помощью BGE-Reranker-v2.5-Gemma2-Lightweight. Карточка сообщает о проверке семейства на польском бенчмарке PIRB и о сильных результатах моделей разных размеров; отдельные показатели PolDense-17M не приведены. Для поиска запросу нужен префикс «[query]: », а для сравнения предложений — «[sts]: ». Модель поддерживает контекст до 7 999 токенов. Лицензия репозитория указана как Gemma; перед использованием следует проверить её условия.

CultriX/Qwen2.5-14B-Wernicke — объединённая плотная авторегрессионная языковая модель семейства Qwen2.5, созданная с помощью mergekit методом Model Stock. В основу слияния взята Qwen/Qwen2.5-14B; в объединение также вошли EVA-Qwen2.5-14B-v0.0, Qwen2.5-14B-Instruct, SuperNova-Medius, Rombos-LLM-V2.6-Qwen-14b и Qwen2.5-Lumen-14B. Модель содержит 14 млрд параметров и рассчитана на генерацию текста и диалоги. Модель подходит для ответов на запросы, свободного продолжения текста и формирования структурированных ответов; в метаданных также отмечен интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает английский язык, а заявленная длина контекста составляет 131 072 токена. Для оценки приведены результаты Open LLM Leaderboard, включая IFEval и BBH, но данных недостаточно, чтобы определить практическое качество в конкретных сценариях. Распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия языковой модели Qwen2.5-72B-Instruct, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Исходную модель разработала команда Qwen; карточка указывает текстовую специализацию и поддержку английского языка. Модель предназначена для диалогов и генерации текста, включая запуск локально через llama.cpp или LM Studio, с использованием специального chat-шаблона Qwen. Модель имеет 72 млрд параметров, а репозиторий предлагает несколько вариантов квантизации GGUF — от IQ1_M и Q2 до Q8_0. Размеры файлов составляют примерно от 23,74 до 77,26 ГБ; варианты с более высокой точностью обычно требуют больше памяти, но лучше сохраняют качество исходной модели. Рекомендуемыми названы Q6_K, Q5_K_M, Q4_K_M и IQ4_XS. Для некоторых вариантов доступны раздельные файлы, а отдельные квантизации используют Q8_0 для embedding- и output-весов. Сильная сторона репозитория — широкий выбор компромиссов между качеством и требованиями к памяти, а также совместимость с распространёнными локальными инструментами. Ограничения включают значительный объём памяти, необходимый для запуска 72-миллиардной модели, и снижение качества при сильной квантизации; конкретная длина контекста в README не указана. Модель распространяется по лицензии Qwen, обозначенной как other; дополнительные условия следует уточнять в файле лицензии исходной модели.

Qwen2-VL-7B-Instruct-GGUF — мультимодальная instruction-модель семейства Qwen, разработанная командой Qwen и представленная в GGUF-квантизации bartowski на основе llama.cpp. Модель основана на Qwen2-VL-7B-Instruct и предназначена для работы с текстом и изображениями. Модель подходит для анализа изображений различного разрешения и соотношения сторон, визуального вопросно-ответного взаимодействия, мультимодального рассуждения и сценариев агентской автоматизации, где требуется интерпретация визуальной информации. Заявлена поддержка нескольких языков и контекста до 32K токенов. Размер базовой модели — 7B параметров; точные характеристики конкретного уровня квантизации в README не указаны. К сильным сторонам относятся сочетание языкового и визуального понимания, способность обрабатывать изображения разных форматов и поддержка длинного контекста. Ограничения включают возможные неточности, неподходящие или вредоносные ответы, характерные для генеративных моделей; конкретные ограничения качества и производительности для выбранной квантизации не описаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста и выполнения задач по инструкциям. README не содержит подробностей о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности или специализированных сценариях применения. Известно, что квантование снижает требования к памяти по сравнению с исходной моделью, а формат MLX ориентирован на эффективное выполнение на Apple Silicon. К ограничениям относятся возможные ошибки, неточности, вредоносные или неподходящие ответы, характерные для генеративных моделей, а также зависимость производительности от оборудования Apple Silicon. Модель распространяется по лицензии Apache-2.0. LM Studio не является создателем исходной модели и не гарантирует её точность, безопасность или соответствие конкретным требованиям.

Это версия Qwen3-4B-Instruct-2507, подготовленная сообществом mlx-community для запуска с библиотекой MLX. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 3,7 млрд параметров; в метаданных указан контекст до 262 144 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно применять для ответов на вопросы, составления и редактирования текстов, а также работы с длинными текстовыми контекстами. Карточка подтверждает формат MLX и safetensors; лицензия — Apache-2.0. README сообщает о конвертации из Qwen/Qwen3-4B-Instruct-2507 с помощью mlx-lm 0.30.2.

Qwen3.5-0.8B-FP8 — мультимодальная каузальная языковая модель семейства Qwen3.5 с визуальным энкодером. Репозиторий surogate содержит FP8-квантизированные веса и конфигурации постобученной версии, основанной на Qwen/Qwen3.5-0.8B-Base. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит 0,8 млрд параметров, 24 слоя и скрытое измерение 1024. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; используется гибридная схема с 6 блоками, каждый из которых включает три последовательности Gated DeltaNet → FFN и один блок Gated Attention → FFN. Нативная длина контекста составляет 262 144 токена. Заявлена поддержка 201 языка и диалекта, однако конкретный перечень языков в README не приведён. Ключевое преимущество версии — снижение требований к памяти и вычислениям благодаря мелкозернистой FP8-квантизации с размером блока 128; заявлено, что показатели производительности почти идентичны исходной модели. Артефакты совместимы с Hugging Face Transformers, vLLM, SGLang и KTransformers. Ограничения включают небольшой размер модели по сравнению с более крупными системами и потенциальные потери качества, характерные для компактных моделей, а также отсутствие подробных сведений о визуальном энкодере и результатах большинства тестов в предоставленном фрагменте. Лицензия — Apache-2.0.

Ex0bit/Qwen3.5-122B-A10B-PRISM-PRO-GGUF — мультимодальная чат-модель Ex0bit в формате GGUF, созданная на основе Qwen/Qwen3.5-122B-A10B и предназначенная для запуска через llama.cpp. По описанию автора, PRISM-PRO изменяет механизмы отказа и предвзятости; доступная Dynamic-квантизация размером 57,7 ГБ использует разные уровни точности для блоков модели, а веса внимания сохранены в Q8_0. В репозитории также указан файл mmproj для обработки изображений и видео. Модель имеет гибридную MoE-архитектуру с 122 млрд параметров, из которых активны около 10 млрд на токен, и сочетает GatedDeltaNet с полным вниманием. Заявленное окно контекста — 262 144 токена; доступны режимы рассуждения и прямого ответа. Подходит для диалога, анализа изображений и видео, работы с длинным контекстом и рассуждений. В метаданных указана поддержка множества языков, включая русский, английский и китайский. Лицензия — Apache-2.0.