I.3Извлечение и структурирование данных

Карточка модели MahmoodAnaam/ModernBERT-large на Hugging Face совпадает с карточкой answerdotai/ModernBERT-base, поэтому описание составлено по ней. ModernBERT-base — двунаправленная encoder-only модель семейства Transformer в стиле BERT, разработанная в сотрудничестве Answer.AI, LightOn и их коллег. Она предварительно обучена на 2 триллионах токенов английских текстов и кода и предназначена для заполнения пропусков в тексте, а также как основа для прикладных задач понимания языка и поиска. Модель содержит 22 слоя и 149 млн параметров, поддерживает контекст до 8192 токенов. В архитектуре используются RoPE, чередование локального и глобального внимания, unpadding и Flash Attention для эффективной обработки длинных последовательностей. Она подходит для анализа длинных документов, классификации, семантического и кодового поиска после настройки под соответствующую задачу. Обучающие данные преимущественно англоязычные и включают код, поэтому качество для других языков может быть ниже. Обработка полного окна контекста может быть медленнее, чем коротких последовательностей; возможны смещения из обучающих данных. Лицензия — Apache-2.0.

Модель tomaarsen/mpnet-base-all-nli-triplet — англоязычная Sentence Transformer-модель, созданная дообучением microsoft/mpnet-base на триплетах датасета sentence-transformers/all-nli. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения смысловой близости текстов с помощью косинусного сходства, семантического поиска, поиска перефразирований, кластеризации и классификации текстов. Архитектура состоит из MPNet и mean pooling; максимальная длина входа — 512 токенов. Модель содержит 136,7 млн параметров и распространяется в формате safetensors. Карточка приводит результаты TripletEvaluator на наборах all-nli-dev и all-nli-test: точность по косинусному сходству составляет 0,9004 и 0,915 соответственно. Модель рассчитана на английский язык, её лицензия — Apache-2.0. Она выдаёт векторы, а не готовые ответы; для задач поиска обычно нужны отдельное хранилище и механизм ранжирования. Результаты карточки получены на данных AllNLI и не гарантируют качество на других языках или предметных областях.

tomaarsen/mpnet-base-gooaq — текстовая Sentence Transformer модель, разработанная на базе microsoft/mpnet-base и дообученная на наборе вопросов и ответов GooAQ. Она преобразует предложения и абзацы в плотные векторы размерности 768; близость текстов можно оценивать косинусным сходством. Модель содержит около 136,7 млн параметров, использует архитектуру MPNet с усреднением токеновых представлений и принимает последовательности длиной до 512 токенов. Модель предназначена прежде всего для семантического поиска и сопоставления вопросов с ответами на английском языке. Её также можно применять для оценки семантического сходства, поиска перефразировок, кластеризации и классификации текста. В карточке приведены результаты поиска на GooAQ dev: точность cosine_accuracy@1 — 0,7198, @3 — 0,884 и @5 — 0,9305. Модель выдаёт векторы, а не готовые ответы или метки классов; для поиска требуется сравнение векторов, например по косинусному сходству. Обучение ориентировано на англоязычные пары вопросов и ответов, поэтому качество для других языков не подтверждено. Лицензия — Apache-2.0.

mT5-XL — многоязычная модель Google на архитектуре encoder-decoder Transformer семейства T5 с 1,9 млрд параметров. Она предварительно обучена на корпусе mC4, охватывающем 101 язык, в едином формате преобразования текста в текст; доступны веса PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0. Модель служит базой для дообучения под конкретные задачи обработки естественного языка, например перевод, суммаризацию и ответы на вопросы. Сам чекпойнт прошёл только предварительное обучение без обучения на размеченных задачах, поэтому перед решением прикладных задач его необходимо дообучить. Для очень крупной модели требуется достаточно памяти и вычислительных ресурсов.

flax-sentence-embeddings/multi-qa_v1-MiniLM-L6-mean_cos — модель SentenceTransformers для преобразования предложений и вопросов в векторные представления. Её разработали участники Hugging Face Community Week в рамках проекта по обучению моделей эмбеддингов; за основу взяли nreimers/MiniLM-L6-H384-uncased и дообучили на парах «вопрос — ответ» с помощью сиамской сети и контрастивного обучения. Вектор предложения формируется усреднением скрытых состояний BERT-подобной архитектуры MiniLM с 25,9 млн параметров. Модель предназначена для семантического поиска, сравнения сходства вопросов и ответов, кластеризации текстов и других сценариев, где нужно сопоставлять предложения по смыслу. Она принимает текст и выдаёт эмбеддинги; модель обучалась на данных Stack Exchange, MSMARCO, Natural Questions и TriviaQA. Контекст ограничен 512 токенами, а при обучении длина последовательности ограничивалась 128 токенами. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

Nemotron-3-Embed-1B-NVFP4 — мультиязычная модель для создания текстовых эмбеддингов, разработанная NVIDIA. Это квантованная версия Nemotron-3-Embed-1B-BF16, предназначенная прежде всего для задач поиска ответов на вопросы по большим текстовым корпусам, семантического поиска, retrieval и построения RAG-приложений. Модель готова к коммерческому использованию. Модель основана на пруненом энкодере архитектуры Ministral-3-3B-Instruct-2512 и содержит 1,14 млрд параметров при размере скрытого состояния 2048. Она обрабатывает только текст, использует двунаправленное внимание и формирует плотный 2048-мерный вектор посредством среднего pooling по токенам. Максимальная длина входа составляет 32768 токенов; более длинные тексты необходимо разбивать на фрагменты или обрезать. Поддерживается динамическое уменьшение размерности эмбеддинга с последующей L2-нормализацией. Модель поддерживает 34 языка, включая английский, русский, китайский, арабский, французский, немецкий, испанский, японский, корейский, хинди, португальский, украинский и другие. Квантование весов и активаций линейных слоёв в формат NVFP4 выполнено с использованием NVIDIA Model Optimizer, а дистилляция с учётом квантования применялась для восстановления качества на длинных входах. Основное ограничение — checkpoint предназначен для запуска через vLLM и оптимизирован для NVIDIA GPU; для Transformers или Sentence Transformers рекомендуется версия BF16. Качество поиска при замене BF16-версии на NVFP4 следует проверять на собственных данных. Модель распространяется по лицензии OpenMDW License Agreement версии 1.1; дополнительно указана Apache License 2.0. При использовании необходимо учитывать условия стороннего программного обеспечения, устанавливаемого вместе с проектом.

Модель lucaswychan/Nemotron-Research-Reasoning-Qwen-1.5B-Reasoning-Embedding — дообученная методом контрастивного обучения модель эмбеддингов на базе NVIDIA Nemotron-Research-Reasoning-Qwen-1.5B. Она преобразует текст в векторные представления для сравнения семантической близости предложений и поиска по смыслу. В карточке описана как часть исследования влияния моделей с обучением через RLVR на качество семантических представлений; результаты MTEB и BRIGHT не показали устойчивого преимущества таких начальных весов перед базовой моделью при одинаковом обучении. Модель построена на плотной архитектуре Qwen2, содержит 1,5 млрд параметров, поддерживает контекст до 131 072 токенов и предназначена для многоязычного текста. Используется библиотека Sentence Transformers, веса опубликованы в формате safetensors. Лицензия — Apache-2.0.

Orca Mini v9.3 — диалоговая языковая модель, дообученная Pankaj Mathur на базе meta-llama/Llama-3.3-70B-Instruct. Она предназначена для генерации текста и общения с пользователем в формате инструктивного ассистента. Модель содержит 69,5 млрд параметров, использует плотную архитектуру Llama и запускается через Transformers; веса представлены в форматах PyTorch и safetensors. Контекстное окно — до 131 072 токенов. Модель подходит для ответов на вопросы, ведения диалогов и генерации текстов. Базовая Llama 3.3 поддерживает английский и семь других языков: французский, немецкий, хинди, итальянский, португальский, испанский и тайский. Карточка Orca Mini также указывает английский язык. Качество и безопасность ответов не гарантированы: возможны ошибки, предвзятость и нежелательные ответы, поэтому перед внедрением нужны проверки и настройки под конкретный сценарий. Модель распространяется по лицензии Llama 3.3.

MIRALABS/Ornith-1.5-35B-A3B-W4A16-SYM — симметрично переквантизированная версия мультимодальной модели Ornith-1.5-35B-A3B, разработанная командой Milner Team (MIRALABS) на основе модели ornith-ai. Модель относится к семейству Qwen3.6/3.5 A3B MoE и предназначена для локального запуска и обслуживания через vLLM, включая задачи генерации текста, рассуждений и обработки изображений и видео. В README также указана встроенная поддержка reasoning/tool parser для конфигурации первого запуска. Это MoE-модель с заявленным размером 35B и активной конфигурацией A3B. Маршрутизируемые экспертные слои переквантизированы в W4A16 symmetric с 4-битными весами, 16-битными активациями и размером группы 32; vision tower и MTP head сохранены в BF16. Формат хранения — compressed-tensors/pack-quantized, поддерживается vLLM версии 0.19 и новее с Marlin backend. Заявленный максимальный контекст — 32 768 токенов. Поддерживаемые языки в README не указаны. Сильная сторона модели — возможность запуска MoE-варианта на NVIDIA GPU через vLLM с существенно меньшими требованиями к памяти; на двух RTX 3090 заявлена загрузка примерно по 20 ГБ на GPU. К ограничениям относятся потери качества и расхождения с BF16-версией из-за 4-битной квантизации, а также необходимость совместимой конфигурации vLLM и оборудования. Модель распространяется по лицензии MIT.

Msobhi/Persian_Sentence_Embedding_v3 — модель Sentence Transformers, разработанная на основе FacebookAI/xlm-roberta-large и дообученная на наборах данных для персидского языка, включая задачи поиска вопросов и ответов, семантического сходства и перефразирования. Она преобразует предложения и абзацы в плотные векторы размерности 1024, которые можно сравнивать косинусной близостью. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. Архитектура объединяет XLM-RoBERTa large с усреднением токенных представлений; максимальная длина входа — 512 токенов в README и 514 контекстных токенов по метаданным. Карточка заявляет поддержку персидского, английского, арабского и ряда других языков. Модель содержит 658,7 млн параметров и распространяется в формате Safetensors. В основном обучающие данные ориентированы на персидский язык, поэтому качество для других заявленных языков может различаться; входы длиннее ограничения последовательности требуют усечения или разбиения. Лицензия в предоставленных данных не указана.

bartowski/Phi-3.1-mini-128k-instruct-GGUF — это GGUF-квантизованная версия инструкционной языковой модели Phi-3.1-mini-128k-instruct, разработанной Microsoft и подготовленной для распространения пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы, выполнение инструкций и задачи, связанные с обработкой естественного языка и кодом. Модель работает с текстом, заявлена поддержка английского языка, а контекстное окно составляет до 128 000 токенов. Доступны варианты от F32 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-разновидностей; размер файлов варьируется примерно от 1,42 до 15,29 ГБ. Более высокие варианты квантования обеспечивают лучшее сохранение качества, а низкобитные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Модель рассчитана на локальный запуск через llama.cpp и совместимые приложения, включая LM Studio. В README не приведены результаты тестирования, точные сведения об архитектуре, аппаратные требования или ограничения по применению, поэтому её возможности нельзя оценить за пределами указанных сценариев. Для модели указана лицензия MIT.

QRRanker — модель для переранжирования результатов поиска, разработанная на основе Qwen3-4B-Instruct-2507. Она оценивает релевантность фрагментов текста запросу с помощью выбранных attention-голов Query-focused Retrieval и выдаёт непрерывные оценки, учитывая весь список кандидатов целиком. Это позволяет ранжировать результаты без разметки в виде оценок по шкале Лайкерта. Модель предназначена для уточнения порядка найденных документов, особенно при поиске по длинным материалам, повествованиям и диалогам. Вариант QRRanker сохраняет первые 25 из 36 слоёв базовой модели; выбранные QR-головы находятся в слоях 17–24. Для длинного контекста можно использовать контекстные сводки как дополнительную информацию. Модель плотная, содержит 3,7 млрд параметров, поддерживает контекст до 262 144 токенов и принимает текст, выдавая оценки релевантности. В карточке указаны английский и китайский языки. Лицензия — Apache-2.0.

CultriX/Qwen2.5-14B-Brocav6 — объединённая языковая модель на архитектуре Qwen2 для генерации текста и диалогового общения. По README, CultriX создал её с помощью mergekit, применив метод della_linear и CultriX/Qwen2.5-14B-Wernickev3 как базу; в объединение также вошли несколько моделей семейства Qwen2.5, включая варианты для математики и диалога. Модель содержит 14 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Метаданные указывают поддержку чата и интерфейса вызова инструментов. Репозиторий содержит веса в формате safetensors; библиотека для работы — Transformers. Модель подходит для генерации ответов в диалоге, продолжения текста и других задач, решаемых текстовыми генеративными моделями. Документация не приводит специальных результатов оценки или подробных ограничений, поэтому качество на конкретных задачах следует проверять отдельно. Лицензия в предоставленных данных не указана.

Qwen2.5-14B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях с поддержкой llama.cpp и LM Studio. В README указана поддержка английского языка и текстовая модальность. Модель содержит 14 миллиардов параметров в исходной версии; доступно множество вариантов квантизации от F16 до Q2_K_L, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размеры файлов составляют примерно от 6,53 до 29,55 ГБ. Для диалогов используется шаблон с ролями system, user и assistant. Точная длина контекста в README не указана, сообщается лишь об обновлении настроек контекста и токенизатора. Сильная сторона модели — возможность локального запуска при сохранении нескольких вариантов качества, включая рекомендуемые Q4_K_M, Q5_K_M и Q6_K. Более агрессивная квантизация уменьшает требования к памяти, но может заметно снижать качество ответов; варианты Q2 и Q3 описаны как низкокачественные или предназначенные для ограниченного объёма памяти. Модель распространяется по лицензии Apache 2.0.

ehristoforu/qwen2.5-7b-upscaled — языковая модель для генерации текста и диалогов, созданная слиянием весов через mergekit методом passthrough на основе Qwen/Qwen2.5-7B-Instruct. Она предназначена для общения, генерации текста и использования интерфейса вызова инструментов. Модель построена на плотной архитектуре Qwen2 и содержит 11,3 млрд параметров; максимальный контекст — 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. README не сообщает оценок качества или конкретных улучшений относительно базовой модели. Лицензия в доступных данных не указана.

FocusMix 7B — языковая модель на 7,1 млрд параметров, полученная слиянием нескольких дообученных моделей семейства Qwen2. В состав слияния входят Replete-LLM-Qwen2-7b, Calme-2.8-Qwen2-7b, Arcee-Spark и Einstein-v7-Qwen2-7B; в карточке указан базовый Qwen2-7B и метод model_stock. Модель предназначена для генерации текста и диалогового взаимодействия. FocusMix рассчитана на выполнение инструкций, ответы на вопросы, рассуждения и решение задач по широкому кругу тем. Репозиторий использует Transformers и формат safetensors; заявленная длина контекста — 131 072 токена. README не приводит результатов сравнительных испытаний, поэтому заявления об улучшении точности и рассуждений следует считать описанием авторов, а не подтверждённой оценкой качества. Лицензия в предоставленных данных не указана.

Qwen3-235B-A22B-Instruct-2507-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp, а распространение модели представлено в рамках программы LM Studio Community Models. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального запуска через совместимое программное обеспечение, включая LM Studio и llama.cpp. Из доступных данных известно, что исходная модель имеет размер 235B параметров, из которых 22B являются активными, однако сведения о конкретном типе квантизации, поддерживаемых языках, модальностях и размере контекста в README не указаны. К сильным сторонам относятся крупный масштаб исходной модели, инструкционная настройка и возможность использования GGUF-формата в локальной инфраструктуре. Ограничения связаны с отсутствием в предоставленной карточке подробностей о производительности, точности, аппаратных требованиях, вариантах квантизации и лицензии. Модель предоставляется третьими сторонами; LM Studio не является её разработчиком и не гарантирует точность, безопасность или пригодность результатов.

mlx-community/Qwen3-30B-A3B-8bit — версия модели Qwen/Qwen3-30B-A3B, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и может использоваться через библиотеку mlx-lm. Из доступных данных известно, что модель относится к семейству Qwen, имеет обозначение 30B-A3B и 8-bit представление. Она поддерживает текстовый pipeline, токенизатор с chat template при его наличии и диалоговый формат сообщений. Конкретные сведения об архитектуре, языках, размере контекста, модальностях, производительности и ограничениях в README не указаны. Модель распространяется по лицензии Apache-2.0. Для использования требуется установить mlx-lm и загружать модель через API MLX.

Qwen3.5-0.8B-text-only — текстовая версия модели семейства Qwen3.5, опубликованная Principled Intelligence. Из контрольной точки удалены веса визуального энкодера; плотная авторегрессионная языковая модель содержит около 581 млн параметров и рассчитана на генерацию текста и диалоговое взаимодействие. Контекстное окно составляет 262 144 токена. Модель подходит для диалоговых приложений и генерации текста, когда обработка изображений не нужна. По данным карточки, она сохраняет токенизатор, шаблон чата и поведение генерации исходной Qwen3.5, а контрольная точка занимает меньше места и требует меньше видеопамяти. Проверена работа с Transformers версии 5.2.0 и выше; другие движки инференса в карточке не заявлены как поддерживаемые. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая модель на базе Qwen3.6-27B, представленная DavidAU. Она создана в результате многоэтапного дообучения, нескольких слияний моделей и применения методов Unsloth; в разработке также участвовали Nightmedia, TeichAI, armand0e и trohrbaugh. Для обучения и настройки упоминаются наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель предназначена для широкого круга сценариев: следования инструкциям, решения задач, рассуждений, программирования, диалогов, ролевых взаимодействий и работы с художественными текстами. В README заявлена поддержка vision, а в метаданных указаны английский и китайский языки. Доступны обычные GGUF-квантизации и варианты MTP для многотокенного предсказания; все квантизации обозначены как NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности. Размер базовой модели — 27 млрд параметров. Заявленные сильные стороны — улучшенное следование инструкциям, общее решение задач и рассуждение, а также сохранение качества на низких уровнях квантизации. Автор сообщает о превосходстве базовой Qwen3.6-27B по большинству из семи внутренних бенчмарков, однако эти результаты приведены в README и требуют независимой проверки. Для MTP-вариантов рекомендуется температура не выше 1 и отключённая репетиция; при низком уровне принятия токенов следует использовать обычную квантизацию. Модель описана как uncensored, поэтому её ответы могут иметь меньше встроенных ограничений безопасности. Лицензия — Apache-2.0.

Модель stavh2001/qwen3.6-27b-merged_28_05 — дообученная мультимодальная модель семейства Qwen3.5, разработанная stavh2001 на базе unsloth/Qwen3.6-27B с использованием Unsloth и библиотеки TRL. Она предназначена для диалогов с текстом и изображениями; поддерживает интерфейс вызова инструментов. Архитектура — плотная, Qwen3_5ForConditionalGeneration, веса представлены в формате safetensors. Базовая модель насчитывает 27 млрд параметров и рассчитана на анализ изображений, диалоги, программирование и агентные задачи. Модель выпущена под лицензией Apache-2.0. Карточка не описывает отдельную специализацию дообучения или результаты оценки качества, поэтому пригодность для конкретных сценариев следует проверять на собственных данных.

greghavens/Qwen3.8-27B-bnb-4bit — это 4-битная NF4-квантизованная версия мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для обработки текста и изображений, включая задачи visual question answering, генерацию текста по изображениям и работу с агентами и инструментами. Указан английский язык. Размер модели — около 18,60 ГБ в шести сегментах, что позволяет запускать её на одной видеокарте с 24 ГБ памяти при использовании bitsandbytes и совместимого ускорителя. Квантизация применяется к 496 языковым линейным слоям, тогда как vision tower, lm_head, входные эмбеддинги и нормализующие слои сохранены в bfloat16. В комплекте также присутствует MTP head в bfloat16 для speculative decoding в vLLM и SGLang, хотя Transformers его не использует. Модель совместима с Transformers и поддерживает QLoRA-файнтюнинг через PEFT. Контекст модели в README не указан. По заявленным измерениям, квантизация почти не меняет результаты IFEval и NoveltyBench, а ухудшение perplexity на Wikitext-2 составляет около 1,14%. При этом показатель BFCL для вызова инструментов снижается с 0,8218 до 0,8113, а на нерелевантные запросы модель чаще ошибочно генерирует вызов инструмента. Для Blackwell и сценариев, ориентированных только на инференс, README рекомендует более быстрые варианты NVFP4 или FP8. Модель распространяется по лицензии Apache-2.0.

KikoCis/Qwen3.8-27B-GGUF — набор квантованных моделей в формате GGUF на основе Qwen/Qwen3.8-27B, разработанной командой Qwen. Репозиторий предназначен для локального запуска текстовой генерации, включая агентские сценарии с многошаговым использованием инструментов, при ограниченных ресурсах. Доступны варианты квантования от 1,94 до 3,40 бит на вес и размером от 6,46 до 16,81 ГБ. Архитектура модели включает 65 блоков: 48 SSM/linear-attention, 16 полноценных attention-блоков и одну MTP-голову. Благодаря этому KV-кэш заявлен как относительно экономичный — около 64 КБ на токен против примерно 256 КБ у полностью attention-модели сопоставимого размера. Нативное контекстное окно заявлено как 262 144 токена, но в README его практическая работоспособность не подтверждена. Модель рассчитана только на текст: исходная базовая модель мультимодальна, однако в этом репозитории отсутствует mmproj, поэтому обработка изображений невозможна. Наиболее удачным вариантом для агентов авторы считают IQ2_M: в измеренном тесте он выполнил 79 из 80 задач, почти соответствуя Q3_K_M с результатом 40 из 40, при меньшем размере. IQ2_XS экономит немного места, но показал более низкий результат, а варианты IQ1 предназначены скорее для связного текста и не рекомендуются для инструментальных агентов. Сильная сторона архитектуры — экономия памяти на длинном контексте, ограничением является медленный prefill, особенно в многошаговых диалогах. Результаты зависят от backend и runtime: приведённые измерения выполнялись через Ollama и не должны напрямую переноситься на другие реализации. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Quark-AWQ-INT4-W4A16 — квантизированная версия модели Qwen/Qwen3.8-27B, разработанная с использованием AMD Quark компанией Advanced Micro Devices, Inc. Модель предназначена для задач генерации текста и, согласно метаданным карточки, относится к классу image-text-to-text. Подробные сведения о поддерживаемых языках и полном наборе модальностей не указаны. Используется 4-битное квантизирование весов по алгоритму AWQ с группой размера 128 (W4A16): веса представлены в INT4, активации сохраняются в BF16. Калибровка выполнена на 128 образцах с длиной последовательности 512 токенов. Размер базовой модели — 27B параметров. В тестах модель сохранила близкую к исходной BF16-версии производительность на GSM8K, Wikitext и однопоточных сценариях BFCL; однако результаты зависят от режима генерации и настроек оценки. Основное преимущество — снижение требований к памяти за счёт квантизации при сохранении большей части качества базовой модели. Ограничения включают возможные потери точности по сравнению с BF16-версией и необходимость совместимого inference runtime с поддержкой схемы W4A16Int4, например соответствующей конфигурации vLLM и AMD Quark. Базовая модель распространяется по лицензии Apache 2.0; для модификаций указаны авторские права Advanced Micro Devices, Inc. за 2026 год.

Qwen3.8-27B-TURBO-fcf-GGUF — открытая многоэтапная fine-tune-модель на базе Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, опубликованная в формате GGUF. В README указаны разработчик базовой модели и участники обучения DavidAU и его команда; для обучения применялись Unsloth, методы COLD FUSION и Fable Fusion 711, а также наборы данных DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Репозиторий содержит обычные и MTP-квантизации, включая варианты для 4- и 8-битного запуска на потребительском оборудовании. Модель предназначена для широкого спектра задач: рассуждений и решения задач, программирования, творческого письма, художественной прозы, ролевых сценариев и других текстовых применений. Заявленная особенность TURBO-версии — сокращение объёма внутреннего рассуждения по сравнению с обычной Qwen3.8 при сохранении детализации и качества ответов, что должно повышать скорость генерации и снижать расход токенов. В метаданных указаны английский и китайский языки; контекстное окно и точный набор поддерживаемых модальностей в README не описаны, хотя pipeline_tag указывает image-text-to-text. Ключевые характеристики — около 27 млрд параметров, архитектура на базе Qwen3.8, поддержка трёх режимов рассуждения согласно описанию автора, а также обычных и MTP GGUF-квантов. README заявляет высокие результаты на ARC-C и ARC-E и превосходство базовых моделей по нескольким бенчмаркам, однако эти утверждения не подтверждены независимыми данными в предоставленном тексте. Модель обозначена как uncensored, поэтому её ответы могут быть менее ограниченными с точки зрения защитных фильтров; конкретные требования к оборудованию и контексту запуска не приведены. Указанная лицензия — Apache-2.0.

Qwen3.8-Flash-Next-MLX-6bit — это квантованная 6-битная сборка модели Qwen3.8-Flash-Next, преобразованная в формат MLX разработчиком PipeNetwork для запуска на Apple Silicon. Модель предназначена для генерации текста, включая программирование и другие задачи, выполняемые через text-generation pipeline. Для использования требуется runtime MLX с поддержкой удалённого кода; в репозитории поставляется собственная реализация runtime, поскольку необходимая архитектура ещё не включена в выпущенные версии mlx-lm. Исходная модель имеет 125 млрд параметров, из которых около 6 млрд активируются на токен, и использует гибридную архитектуру Gated-DeltaNet и sparse attention с разреженной Mixture-of-Experts. В составе также находится 51,2 млрд параметров хешированных n-граммовых embedding-таблиц. Размер квантованной сборки составляет 148 ГБ против 360 ГБ у исходной версии bfloat16. Основные веса квантованы в 6 бит, отдельные компоненты, включая маршрутизатор MoE и некоторые управляющие параметры, сохранены в bfloat16. Vision tower присутствует в поставке, но данный runtime работает только с текстом; 4-миллиардная multi-token-prediction head не включена. Сильной стороной сборки является существенное сокращение размера при качестве, близком к bfloat16: на тесте wikitext-2 perplexity составила 4,4767 против 4,4708 у bfloat16, причём различие статистически незначимо в указанном эксперименте. Ограничения — очень большие требования к дисковому пространству и памяти, зависимость от Apple Silicon и собственного runtime с параметром trust_remote_code, а также отсутствие поддержки vision-возможностей в текущем режиме. Модель распространяется по Qwen Community License 1.0.

Qwen3-Next-80B-A3B-Instruct-8bit — языковая модель для генерации текста и диалогового взаимодействия, разработанная сообществом mlx-community на основе Qwen/Qwen3-Next-80B-A3B-Instruct от Qwen. Модель преобразована в формат MLX с использованием mlx-lm версии 0.27.1 и предназначена для запуска через библиотеку mlx-lm. Из README известно, что это 8-битная версия модели с архитектурой и характеристиками базовой модели Qwen3-Next-80B-A3B-Instruct, однако подробности об архитектуре, фактическом числе активных параметров, поддерживаемых языках, модальностях и размере контекста не указаны. Модель ориентирована на текстовую генерацию и может использоваться в чат-сценариях через встроенный chat template. Для работы требуется библиотека mlx-lm; пример запуска предполагает загрузку модели и токенизатора средствами Python. Ключевое преимущество модели — адаптация в MLX-формат и 8-битное представление, что делает её подходящей для экосистемы MLX и потенциально снижает требования к памяти по сравнению с полноточной версией. Ограничения, результаты оценивания и особенности качества в README не описаны. Модель распространяется по лицензии Apache-2.0.

tomaarsen/Qwen3-Reranker-8B-seq-cls — версия Qwen3-Reranker-8B, преобразованная в модель классификации последовательностей. Она оценивает релевантность пары «запрос — документ» и подходит для повторного ранжирования найденных текстов, включая многоязычный и кодовый поиск. В каталоге указано 7,6 млрд параметров, архитектура Qwen3ForSequenceClassification и контекст до 40 960 токенов; веса опубликованы в формате safetensors. Модель дообучена на Qwen/Qwen3-8B-Base. README описывает семейство Qwen3 Reranker как мультиязычное, с поддержкой более 100 языков и длинных текстов; в этой копии модель используется через интерфейс классификации последовательностей. Лицензия — Apache-2.0. Для Transformers старше версии 4.51.0 проблем с распознаванием архитектуры Qwen3 не указано; более ранние версии могут выдавать ошибку KeyError: 'qwen3'.

bartowski/Qwen_Qwen3.5-4B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-4B, разработанной Qwen. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в совместимых инструментах, включая llama.cpp, LM Studio, KoboldCpp, Jan AI и Text Generation WebUI. В метаданных указана задача image-text-to-text, однако подробные сведения о поддерживаемых модальностях, языках и максимальном контексте в README не приведены. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 2,4 до 8,67 ГБ. В README варианты Q6 и Q5 описаны как обеспечивающие очень высокое или высокое качество, а Q4_K_M рекомендован как сбалансированный вариант для большинства сценариев. Более компактные варианты экономят оперативную память, но снижают качество; часть форматов предназначена для ARM- и AVX-совместимого CPU-инференса. Поддерживаются MTP-слои при использовании актуальной версии llama.cpp и параметра draft-mtp. Преимущество модели — возможность локального запуска с выбором компромисса между качеством, размером и требованиями к памяти. Ограничения зависят от выбранного уровня квантизации и совместимости используемого инструмента; для недавно поддерживаемых моделей может потребоваться обновление программного обеспечения. Распространение указано по лицензии Apache-2.0.

Qwen-SEA-LION-v4-32B-IT-4BIT — это 4-битная GPTQ-квантизированная версия языковой модели Qwen-SEA-LION-v4-32B-IT, разработанная AI Products Pillar из AI Singapore при финансировании Singapore NRF. Модель относится к декодерным LLM и предназначена для генерации текста и диалоговых сценариев, особенно связанных с языками и задачами Юго-Восточной Азии. Она продолжает предварительное обучение на базе Qwen3-32B и использует его токенизатор. Модель поддерживает контекст длиной до 32 768 токенов и работает с текстовыми данными. Заявлена поддержка бирманского, английского, индонезийского, кхмерского, лаосского, малайского, китайского, тагальского, тамильского, тайского и вьетнамского языков. Обучающие данные включают веб-тексты, код, открытые и синтетически созданные наборы данных; для ряда языков использовано около 100 миллиардов токенов. Квантизация снижает требования к памяти и позволяет запускать модель на потребительских GPU и, согласно README, на ноутбуке, при среднем снижении качества менее чем на 0,3% относительно исходной версии. К ограничениям относятся отсутствие специального safety-выравнивания, непроверенная устойчивость к adversarial prompting, возможные галлюцинации и нерелевантные или фактически неверные ответы. Модель обучалась преимущественно на текстовом бэкенде, поэтому заметных улучшений возможностей работы с изображениями по сравнению с Qwen3-32B не заявлено; фактическую точность следует проверять на целевых задачах. Модель распространяется по лицензии MIT.