I.3Извлечение и структурирование данных

Llama-3.2-3B-Instruct-bf16 — компактная инструкционная языковая модель семейства Llama 3.2, разработанная Meta и представленная в формате mlx-community. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, следование инструкциям, создание и преобразование текста. В идентификаторе указано около 3 млрд параметров и формат чисел bfloat16; README также указывает совместимость с Transformers и использование экосистемы MLX. Модель работает с текстом и не заявлена как мультимодальная. Поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер контекста и точные архитектурные характеристики в README не указаны. К сильным сторонам относятся относительно небольшой размер, инструкционная настройка и многоязычная поддержка, что делает модель подходящей для локального запуска и прикладных текстовых задач при наличии совместимого оборудования. При этом в предоставленных данных нет результатов оценивания, сведений о фактическом качестве по языкам, ограничениях безопасности, производительности или рекомендуемых ресурсах, поэтому их нельзя оценить точнее. Модель распространяется по Llama 3.2 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на установленных условиях, включая соблюдение Acceptable Use Policy, указание «Built with Llama», сохранение лицензионного уведомления и дополнительные требования для продуктов с более чем 700 млн ежемесячных активных пользователей.

Llama3-8B-1.58-100B-tokens — большая языковая модель, разработанная командой HF1BitLLM на базе Meta Llama 3 8B Instruct. Модель дообучена с использованием архитектуры BitNet 1.58b и предназначена для генерации текста и решения стандартных задач, поддерживаемых каузальными языковыми моделями. Для загрузки используется Transformers, а токенизатор — от meta-llama/Meta-Llama-3-8B-Instruct. Модель обучалась на подмножестве FineWeb-edu: сначала был использован чекпойнт после обучения на 10 миллиардах токенов, затем выполнено ещё 45 000 шагов с общим объёмом обучения 100 миллиардов токенов. Размер исходной модели составляет 8 миллиардов параметров; заявленная особенность — экстремальное квантование до 1,58 бита. README не указывает точный список поддерживаемых языков, длину контекста или дополнительные модальности, поэтому модель следует рассматривать как текстовую. По результатам оценки модель близка к Llama 3 8B по некоторым метрикам, включая perplexity и MMLU, но в среднем уступает исходной Llama 3 8B. Главное преимущество — существенно более компактное представление параметров, потенциально снижающее требования к памяти и вычислениям; при этом README не приводит точных показателей экономии ресурсов или производительности. Лицензия в предоставленных данных не указана.

LlongOrca 13B 16K — большая языковая модель Open-Orca, представленная в формате GGUF и квантованная TheBloke. Она основана на архитектуре Llama и предназначена для генерации текста, диалоговых сценариев и локального запуска через совместимые приложения и библиотеки. В описании указана поддержка английского языка, а исходный набор данных — OpenOrca. Модель имеет 13 млрд параметров и контекстное окно до 16K токенов. GGUF поддерживает метаданные, специальные токены и расширяемость; доступны варианты квантования от 2 до 8 бит, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти. Модель совместима с llama.cpp, text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другими инструментами для CPU+GPU-инференса. Для диалогов указан шаблон ChatML. К сильным сторонам относятся увеличенный контекст и возможность локального запуска на широком спектре аппаратных конфигураций благодаря квантованным версиям. Ограничения включают зависимость качества и требований к памяти от выбранного уровня квантования, а также отсутствие в README подробных результатов тестирования и характеристик мультиязычности. Для использования заявлена лицензия llama2; поскольку модель основана на Llama 2, также применяются условия лицензии Meta Llama 2. Вопросы о взаимодействии этих лицензий рекомендуется уточнять в репозитории исходной модели.

GPT4All-Community/Meta-Llama-3.1-8B-Instruct-128k-GGUF — это конвертированная и квантизированная GGUF-версия Meta-Llama-3.1-8B-Instruct. Модель подготовлена пользователем 3Simplex для использования в GPT4All; для работы требуется GPT4All версии 3.1.1 или новее. Базовая модель разработана Meta, однако в README не указаны дополнительные сведения о разработчике исходной модели. Модель предназначена для генерации текста и диалоговых сценариев с системными и пользовательскими сообщениями. Заявлена длина контекста до 131 072 токенов, что позволяет обрабатывать длинные документы и продолжительные диалоги. Известно, что модель содержит 8 миллиардов параметров и использует инструкционную настройку, но сведения о поддерживаемых языках и модальностях отсутствуют. К преимуществам относятся большой контекст и возможность локального использования через GPT4All. Модель не является официально курируемой и поддерживаемой Nomic: в README указано, что требуется дополнительное тестирование и обратная связь, поэтому качество и стабильность следует оценивать в конкретных задачах. Лицензия обозначена как llama3.1; перед использованием необходимо ознакомиться с её условиями.

MaziyarPanahi/Mistral-11B-Instruct-v0.2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 от Mistral AI и Mistral-11B-Instruct-v0.2 от perlthoughts. Для объединения использован метод SLERP с настройками для слоёв self-attention и MLP. Модель построена на архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и работает с контекстом до 32 768 токенов. Модель предназначена для генерации текста в диалоге и ответов на инструкции. Она принимает текст и выдаёт текст; доступные сведения не указывают на специализацию по отдельным языкам или предметным областям. Репозиторий содержит веса Safetensors. Лицензия — Apache-2.0.

Mixtral-8x22B-v0.1 — базовая генеративная языковая модель семейства Mixtral, разработанная Mistral AI. В этом репозитории размещена конвертированная в формат Transformers версия весов, загруженная сообществом; автор README рекомендует использовать актуальные веса в организации Mistral AI. Модель построена на разреженной архитектуре смеси экспертов (MoE) и предназначена для генерации текста и использования как основа для прикладных решений. Контекст составляет до 65 536 токенов. Карточка указывает поддержку английского, французского, итальянского, немецкого и испанского языков. Для запуска предусмотрены Transformers, а также варианты вычислений в пониженной точности. Это базовая предварительно обученная модель, а не версия Instruct; для диалоговых приложений может потребоваться дополнительная настройка. В README отмечено отсутствие встроенных механизмов модерации. Лицензия — Apache 2.0.

MixtureofMerges-MoE-2x7b-v7 — языковая модель с архитектурой Mixture of Experts (MoE), созданная автором jsfs11 с помощью LazyMergekit путём объединения Gille/StrangeMerges_32-7B-slerp и mlabonne/AlphaMonarch-7B. Модель предназначена для генерации текста и может применяться для диалогов, ответов на вопросы, следования инструкциям и рассуждений. Модель содержит 7,1 млрд параметров, использует архитектуру Mixtral и поддерживает контекст до 32 768 токенов. В README приведены результаты оценивания на бенчмарках рассуждений и здравого смысла. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

facebook/mms-lid-1024 — модель Meta, разработанная Vineel Pratap и соавторами в рамках проекта Massively Multilingual Speech (MMS). Это аудиоклассификатор на архитектуре Wav2Vec2 с примерно 1,3 млрд параметров, предназначенный для определения языка по речи: модель относит входной аудиосигнал к одному из 1024 поддерживаемых языков. Принимает аудио с частотой дискретизации 16 кГц и возвращает метку языка; среди поддерживаемых языков есть русский, английский, арабский и многие другие. Модель подходит для предварительной маршрутизации аудиозаписей по языкам, сортировки многоязычных речевых коллекций и выбора языка для последующей транскрибации. Это не модель распознавания речи и сама по себе она не создаёт текстовую расшифровку. Для использования необходимы совместимое аудиопредставление и обработка результата как классификационной метки. Лицензия CC-BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Xenova/multi-qa-mpnet-base-dot-v1 — версия модели sentence-transformers/multi-qa-mpnet-base-dot-v1 с весами в формате ONNX, адаптированная для работы через библиотеку Transformers.js. Исходная модель разработана командой Sentence Transformers; в README не указано отдельное имя автора ONNX-версии. Модель предназначена для извлечения признаков из текста и может применяться в сценариях семантического поиска, сопоставления вопросов и ответов, поиска похожих документов и построения векторных представлений. Используемый pipeline — feature-extraction; запуск возможен в JavaScript через @huggingface/transformers, в том числе в средах, совместимых с Transformers.js. README не содержит сведений о точном размере модели, архитектурных параметрах MPNet, поддерживаемых языках, модальностях, длине контекста, показателях качества или ограничениях. Лицензия также не указана. Ключевое преимущество этой версии — совместимость с ONNX и веб-ориентированным JavaScript-инструментарием; при этом возможности и характеристики исходной модели следует уточнять в её базовом репозитории.

sbastola/muril-base-cased-sentence-transformer-snli-nepali — модель эмбеддингов предложений и абзацев на базе MuRIL, подготовленная разработчиком sbastola с использованием Sentence-Transformers. Она преобразует текст в плотные векторы размерности 768 для семантического поиска, сравнения предложений и кластеризации. Модель построена на архитектуре BERT, содержит 264,8 млн параметров и принимает последовательности длиной до 512 токенов. Обучение проводилось с функцией потерь SoftmaxLoss на данных SNLI. Модель предназначена для получения векторных представлений текста; заявленное применение включает поиск по смыслу и группировку похожих фрагментов. Репозиторий содержит веса в формате safetensors и использует библиотеку sentence-transformers. Лицензия и конкретные ограничения качества в предоставленных данных не описаны.

manasp2025/my-embedding-gemma — дообученная модель Sentence Transformers на базе google/embeddinggemma-300m, разработанной Google. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения текстов по косинусному сходству; архитектура — Gemma3TextModel, размер — 302,8 млн параметров. Модель принимает текст длиной до 2048 токенов и предназначена для семантического поиска, оценки сходства, поиска перефразировок, классификации и кластеризации текстов. Дообучение описано на наборе из трёх парных примеров с anchor, positive и negative, с функцией потерь MultipleNegativesRankingLoss. Такой малый объём данных ограничивает основания для ожидания надёжного улучшения качества в широком круге задач. Репозиторий содержит веса safetensors; лицензия в предоставленных данных не указана.

Nano-Em1-0.6B-v2.1 — модель текстовых эмбеддингов от KiteFish AI на базе Qwen3-0.6B. Она предназначена для поиска и сопоставления текстов, классификации, кластеризации и ранжирования по релевантности; для задач можно задавать инструкцию-префикс. Модель использует двунаправленное внимание вместо стандартной причинной маски, усреднение токенных представлений и выдаёт векторы размерности 1024. В README указана максимальная длина последовательности 512 токенов; метаданные указывают родной контекст базовой модели в 40960 токенов. Модель работает с текстом и ориентирована прежде всего на английский язык. Для загрузки требуется включить trust_remote_code=True из-за собственной реализации архитектуры. По оценке автора, модель не проверялась на задачах для других языков. Распространяется по лицензии Apache-2.0.

NB-Whisper Large — модель распознавания речи и перевода аудио, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper. Вариант Large содержит 905,2 млн параметров и предназначен прежде всего для транскрибации норвежской речи, включая букмол и нюнорск, а также английской речи. Для обучения серии использовались 8 млн выровненных аудиофрагментов общей длительностью около 66 тысяч часов; карточка указывает базовую модель openai/whisper-large-v3. Модель принимает аудио и выдаёт текстовую транскрипцию; поддерживает распознавание речи и перевод речи. Для длинных записей README рекомендует обработку фрагментами примерно по 28 секунд; увеличение beam size может повысить точность ценой скорости и памяти. Для эффективной работы версии Large рекомендуется GPU. Модель распространяется по лицензии Apache 2.0. Результаты могут содержать ошибки, повторы и искажения, а качество зависит от записи и языка. Разработчики отмечают возможные смещения и возлагают на пользователей ответственность за оценку рисков и корректное применение модели.

Norocetacean-20b-10k — плотная языковая модель семейства Llama, опубликованная ddh0. Она создана слиянием Psyonic-Cetacean-20B и LoRA-адаптера no_robots-alpaca; контекст расширен до 10 240 токенов с помощью YaRN. Модель рассчитана на генерацию ответов по инструкциям в формате Alpaca и может применяться в диалоговых и текстовых сценариях с длинным контекстом. В модели около 19,8 млрд параметров. README указывает Llama 2 как базовую модель и сообщает о включении Orca-2-13B; для использования действуют условия Microsoft Research License. Карточка не описывает языковую специализацию или дополнительные модальности, поэтому модель следует рассматривать как текстовую.

OmniCorso-7B — объединённая языковая модель, опубликованная macadeliccc на Hugging Face. Она предназначена для генерации текста и диалогов в формате ChatML. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель можно применять для ведения диалогов, ответов на вопросы и рассуждений на основе текста. В README приведены результаты тестов AGIEval, GPT4All, TruthfulQA и Bigbench. Доступны варианты квантования ExLlamaV2; их таблица содержит сведения о компромиссе между качеством, размером и потреблением видеопамяти. OmniCorso-7B объединяет macadeliccc/MBX-7B-v3-DPO и mlabonne/OmniBeagle-7B. В метаданных указана лицензия CC; конкретный вариант лицензии не уточнён.

OpenLumen 2 Pulsar — текстовая модель с открытыми весами, выпущенная Aeonthic как вариант семейства Lumen 2 Pulsar. Она дообучена на архитектуре Gemma 4 26B-A4B от Google DeepMind и распространяется в формате FP16 для инференса, исследований, экспериментов и дальнейшей настройки. В репозитории указаны архитектура MoE, около 2 млрд параметров и контекст до 262 144 токенов; поддерживается диалоговое использование. Модель принимает и выдаёт текст, функции обработки изображений в этой версии нет. Обычный формат Transformers рассчитан на совместимый запуск без стека QAT Lumen. Чекпойнт занимает около 48 ГБ, поэтому для инференса могут потребоваться несколько GPU или выгрузка части вычислений на CPU. Разработчик предупреждает, что низкобитное квантование после обучения может заметно ухудшить работу: в частности, Q4_0 способен серьёзно нарушить поведение модели; для сохранения ожидаемого качества рекомендуется FP16. Данные обучения публично не выпущены. Лицензия репозитория — Apache-2.0; разработчик также указывает, что пользователи сами отвечают за оценку результатов и соблюдение условий лицензии и законодательства.

PandafishHeatherReReloaded — объединённая модель для генерации текста, созданная MysticFoxMagic методом slerp с помощью LazyMergekit на основе MysticFoxMagic/HeatherSpell-7b и ichigoberry/pandafish-2-7b-32k. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и принимает текстовый контекст длиной до 32 768 токенов. Модель предназначена для генерации текста и ответов на запросы. Веса опубликованы в формате Safetensors; при объединении использована точность bfloat16. В метаданных указана лицензия, но её условия здесь не раскрыты.

duyntnet/Phi-3.5-mini-instruct-imatrix-GGUF — набор квантованных версий модели Phi-3.5-mini-instruct, разработанной Microsoft и опубликованной пользователем duyntnet в формате GGUF с использованием imatrix. Модель относится к семейству Phi-3 и предназначена для генерации текста и выполнения инструкций в диалоговом формате; для работы подходят llama.cpp, JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на качественные данные для рассуждений. Она поддерживает контекст до 128 000 токенов, словарь размером до 32 064 токенов и, согласно карточке, ориентирована на английский язык. Обучение включало supervised fine-tuning, proximal policy optimization и direct preference optimization, что направлено на соблюдение инструкций и повышение безопасности ответов. К преимуществам относятся компактность исходной модели, длинный контекст, поддержка локального запуска и наличие нескольких уровней квантования, потенциально снижающих требования к ресурсам. Ограничения связаны с тем, что квантование может влиять на качество по сравнению с исходной моделью, а сведения о конкретных размерах файлов, параметрах и характеристиках отдельных вариантов в карточке не приведены. Лицензия указана как other, без подробного описания условий использования.

PolDense-32M — польская модель эмбеддингов для плотного поиска, разработанная в рамках семейства PolDense на основе энкодеров ettin с архитектурой ModernBERT. Она содержит 31,9 млн параметров и предназначена для поиска по текстам, семантического сопоставления и систем RAG на польском языке. Модель обучалась в три этапа: адаптация английских энкодеров к польскому с помощью дистилляции, дополнительная дистилляция на польских текстах и настройка для поиска контрастивным обучением. В README сообщается, что семейство PolDense показало высокие результаты на польском бенчмарке PIRB, а варианты 32M и 68M сопоставимы с более крупными многоязычными моделями. Для поиска к запросу добавляют префикс «[query]: », а для семантического сходства — «[sts]: ». Модель принимает текст и выдаёт векторные представления, пригодные для оценки сходства и поиска. Контекст составляет до 7 999 токенов. Указанная лицензия — Gemma; применяйте модель в соответствии с её условиями.

perplexity-ai/pplx-computer-qwen-3-6-35b-a3b-mlx-20260709 — локальная языковая модель, опубликованная Perplexity и предназначенная для Perplexity Computer. Она используется в сценариях Hybrid Compute на Mac: локально обрабатывает файлы, конфиденциальные сведения и действия на устройстве, тогда как облачная часть системы выполняет поиск, планирование и более сложное рассуждение. Модель доступна в формате MLX для запуска на Apple silicon. Модель относится к семейству Qwen3.6 и имеет 35 млрд параметров при конфигурации с 3 млрд активных параметров (35B-A3B). Для семейства Qwen3.6 указана разреженная hybrid-архитектура с маршрутизацией Mixture-of-Experts, сочетающая рекуррентные состояния фиксированного размера с full attention. Опубликованный checkpoint использует groupwise affine 4-bit quantization и занимает около 19,4–19,5 ГБ. Подтверждённые модальности и языки, размер контекстного окна, результаты оценки и подробности дообучения для данной версии не указаны. Сильные стороны модели — возможность локального выполнения задач с чувствительными данными, уменьшенный объём весов и оптимизация для Apple silicon. Ограничения связаны с необходимостью совместимого Mac на Apple silicon и достаточного объёма unified memory; в Hybrid Compute требуется не менее 24 ГБ, а 32 ГБ рекомендуются для лучших результатов. Лицензионные условия для этого репозитория в доступных первоисточниках явно не указаны, поэтому свободное коммерческое использование и условия перераспределения подтверждать нельзя.

PPLX Embed v1 0.6B ONNX INT8 — артефакт серверного инференса эмбеддингов, используемый Deposium в deposium-turbov3. Модель с двунаправленной архитектурой PPLXQwen3Model содержит около 507,9 млн параметров и распространяется в формате ONNX с INT8-квантизированными весами. Модель принимает текст и выдаёт векторное представление размерностью 1024; серверный сценарий использует первые 256 измерений благодаря усечению Matryoshka. Она рассчитана на контекст до 32 768 токенов и подходит для получения текстовых эмбеддингов в серверных приложениях, например для поиска и сопоставления текстов. Лицензия — MIT. Репозиторий содержит ONNX-модель с внешним файлом данных и файлы конфигурации и токенизатора. Это серверный артефакт, поэтому он отличается от однофайловой браузерной версии для Transformers.js; совместимость с другими рантаймами и качество на конкретных задачах в карточке не описаны.

RedHatAI/Qwen3-14B-NVFP4 — квантизированная версия языковой модели Qwen3-14B, разработанная RedHatAI на базе Qwen/Qwen3-14B. Модель принимает текст и генерирует текст, предназначена для задач text generation и развёртывания в среде vLLM версии 0.9.1 и выше. В модели применена FP4-квантизация весов и активаций линейных операторов в блоках Transformer. По сравнению с представлением FP16 это сокращает число битов на параметр с 16 до 4, а размер на диске и требования к памяти GPU примерно на 75%. Квантизация выполнена с использованием LLM Compressor, с калибровкой на данных UltraChat; параметры включают групповой размер 16. Модель имеет размерность 14B, работает с текстовой модальностью, однако размер контекста в представленном README не указан. В метаданных заявлены языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, при этом отдельно указано ограничение на использование в языках, отличных от английского. Основное преимущество модели — снижение требований к дисковой и GPU-памяти при сохранении совместимости с эффективным инференсом через vLLM и OpenAI-compatible serving. Ограничения включают возможное снижение качества из-за квантизации, зависимость от подходящей аппаратной и программной поддержки FP4, а также языковое ограничение на использование только английского языка согласно README. Модель распространяется по лицензии Apache-2.0; также указано ограничение на использование с нарушением применимых законов и нормативных требований.

DavidAU/Qwen3-30B-A6B-16-Extreme — дообученная версия многоэкспертной языковой модели Qwen3, в которой для обработки каждого запроса активируются 16 экспертов вместо стандартных 8. По описанию автора, модель использует около 6 млрд активных параметров из 30 млрд и рассчитана на более сложные запросы, где могут быть полезны дополнительные нюансы и глубина ответа. Модель предназначена для генерации текста и диалогов, включая сценарии с интерфейсом вызова инструментов. Она принимает текстовые запросы и выдаёт текст; автор указывает контекст около 32 тыс. токенов плюс до 8 тыс. токенов на ответ. Репозиторий содержит полноточные веса в safetensors и может использоваться через Transformers или служить источником для создания квантованных вариантов. Увеличенное число активных экспертов снижает скорость генерации примерно вдвое относительно версии с 8 экспертами; фактическая скорость зависит от оборудования и настроек. Модель создана DavidAU на базе Qwen/Qwen3-30B-A3B-Base. В карточке указана лицензия Apache-2.0 для базовой модели; отдельные условия лицензирования этой производной в предоставленных данных не приведены.

DazzlingShadow/Qwen3.5-122B-A10B-heretic-ARA — постобученная мультимодальная модель диалога на архитектуре Qwen3.5 MoE, опубликованная в формате Transformers. Abliteration изменяет поведение отказов: в приведённом сравнении модель отказала в 0 из 100 запросов против 88 из 100 у исходной Qwen/Qwen3.5-122B-A10B. Модель принимает текст и изображения и генерирует текст; она подходит для диалога, визуального понимания и ответов на вопросы по изображениям. Модель содержит 122 млрд параметров, из которых активируется около 10 млрд; архитектура включает 48 слоёв и разреженный Mixture of Experts. Контекстное окно — 262 144 токена, с заявленным расширением до 1 010 000. В карточке исходного семейства заявлена поддержка 201 языка и диалекта, однако языковая таблица в README опущена. Весы доступны в safetensors и совместимы с Transformers и рядом движков инференса. Лицензия — Apache-2.0.

Qwen3.5-27B-FlashHead — оптимизированная Embedl версия мультимодальной модели Qwen/Qwen3.5-27B. Она заменяет стандартную плотную языковую голову на облегчённую FlashHead, сохраняя точность и возможности базовой модели и повышая пропускную способность при инференсе. Веса представлены в FP16. Модель принимает текст и изображения или видео и генерирует текст. Она подходит для диалогов, рассуждений и анализа визуального содержимого. Для работы через vLLM требуется плагин FlashHead. Репозиторий указывает лицензию «other», но конкретные условия лицензии в предоставленных данных не раскрыты.

amd/Qwen3.5-35B-A3B-MXFP4 — квантизированная версия модели Qwen3.5-35B-A3B-FP8, разработанная Advanced Micro Devices, Inc. с использованием AMD-Quark. Модель построена на архитектуре Qwen3_5MoeForConditionalGeneration, принимает текст и генерирует текст. В README указано обозначение 35B-A3B, однако точные параметры архитектуры, число активируемых параметров, размер контекста и перечень поддерживаемых языков не приведены. Модель предназначена для задач генерации текста и инференса в средах SGLang или vLLM на Linux с оборудованием AMD MI300 и MI350/MI355, ROCm 7.0.0, PyTorch 2.9.1 и Transformers 5.3.0. Веса статически квантизированы в формат OCP MXFP4, а активации динамически квантизированы в OCP MXFP4, что ориентировано на эффективное выполнение на совместимых ускорителях. В тесте GSM8K модель получила результат 93,25 против 89,39 у исходной FP8-версии, но приведённая оценка охватывает только один бенчмарк и не характеризует все сценарии применения. Лицензия — Apache-2.0; изменения защищены авторским правом Advanced Micro Devices, Inc.

Frozenlock/Qwen3.8-27B-int4-AutoRound — это мультимодальная квантованная версия базовой модели Qwen/Qwen3.8-27B, подготовленная пользователем или организацией Frozenlock. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска и обслуживания через vLLM, включая сценарии генерации текста, работы с изображениями и инструментами. Модель использует квантование INT4 по схеме W4A16 с размером группы 128 и симметричным представлением, выполненное с помощью AutoRound 0.14.2 и упаковки auto_gptq. Квантованы основные языковые блоки и слои MTP, тогда как 96 тензоров GDN-линейного внимания in_proj_a и in_proj_b, а также vision tower и эмбеддинги сохранены в bf16. Размер весов составляет около 18 ГБ. Поддерживаются мультимодальные входные данные, вызов инструментов и спекулятивное декодирование MTP; заявленный нативный контекст — 262 144 токена, а базовая модель поддерживает расширение YaRN до 1 миллиона токенов. Ключевое преимущество сборки — совместимость квантованной MTP-головы со спекулятивным декодированием в vLLM, что в измерениях README почти удваивало скорость декодирования, хотя коэффициент принятия черновых токенов зависит от типа текста и составлял примерно 41–67%. Компактные веса также позволяют оставить больше памяти под KV-кэш, однако для эффективной работы требуются совместимые версии vLLM и Marlin W4A16, а мультимодальность, поддерживаемые языки и точные показатели качества отдельно не описаны. Производительность зависит от GPU, настроек KV-кэша, длины контекста и режима tensor parallelism.

Israeli-AI/Qwen3.8-27B-MTP-W4A16-VOLTA-Ampere — квантованная версия Qwen/Qwen3.8-27B, подготовленная командой Israeli-AI. Это текстогенерационная thinking-модель с поддержкой native MTP speculative decoding. Основной сценарий — запуск и обслуживание на GPU, включая Volta V100, где официальная FP8-версия не работает, а также на Ampere и более новых архитектурах. Заявлена поддержка английского языка; мультимодальные возможности сохранены, но на Volta проверялся только текстовый режим. Модель использует квантование INT4 W4A16 с симметричной схемой и group size 128 для значительной части self-attention и MLP-проекций. Размер BF16-варианта 51,7 ГБ сокращён до 25,8 ГБ, благодаря чему модель может работать на двух V100 по 32 ГБ с tensor parallelism и контекстом до 256K; в измерениях обслуживался контекст 131 072 токена. MTP-head, vision tower, embeddings, lm_head, нормы и компоненты Gated-DeltaNet сохранены в полной точности. На двух V100 заявлена скорость декодирования 43–68 токенов в секунду, обычно около 53,5, при трёх speculative-токенах. Сильные стороны модели — совместимость с устаревшими Volta GPU, уменьшенный объём памяти и сохранённая эффективность MTP-декодирования за счёт нетронутой MTP-head. Ограничения включают необходимость специальной Volta-совместимой сборки vLLM и настройки окружения, отсутствие проверки мультимодальной работы на Volta, а также неподтверждённую в README работу на Ampere и новее. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NInfer — мультимодальная модель для генерации текста и работы с изображениями, основанная на Qwen3.8-27B от команды Qwen. Версия подготовлена разработчиком Neroued и преобразована в нативный формат артефактов NInfer с расширениями для Vision, MTP и спекулятивного декодирования DFlash2. Модель предназначена для диалогов, текстовой генерации, рассуждений, решения математических и научных задач, а также анализа изображений и визуальных вопросов. В карточке заявлены высокие результаты на IFBench, AIME 2025 и 2026, GPQA-Diamond, ERQA и RealWorldQA. Артефакт содержит квантизированные Q4/Q5-проекции, а эмбеддинги токенов и выходная голова используют q8_g32_fp16; размер файла составляет около 19,03 ГиБ. Поддерживаются текстовые и визуальные входы, а также видео согласно руководству NInfer. В примерах запуска указан контекст до 240 000 токенов, однако конкретные возможности зависят от конфигурации среды. Модель рассчитана на локальный запуск через NInfer и требует 64-разрядный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a, CUDA Toolkit 13.1 или новее и сборку NInfer не ниже указанной в карточке. Файл не является совместимым с Transformers, Safetensors или GGUF. Использование ограничено форматом NInfer и специализированным оборудованием, поэтому переносимость ниже, чем у универсальных моделей. Лицензия — Apache-2.0.

Qwen3.8-27B-Opus-Distill-v2 — плотная мультимодальная модель семейства Qwen, созданная barozp дообучением Qwen/Qwen3.8-27B методом LoRA с последующим объединением адаптера с базовыми весами. Дообучение выполнено на 11 716 примерах с проверенными трассами рассуждений Claude Opus; по данным карточки, набор очищен от строк с проблемным шаблоном и непроверенных источников. Модель предназначена для диалогов, анализа изображений и решения многошаговых задач с рассуждением. В README приведены результаты тестирования на логических и научных заданиях, а также проверка исправления ошибки зацикливания при совместном задании ограничений формата. Возможности зрения и MTP унаследованы от базовой модели и в этом дообучении не менялись. Модель принимает текст и изображения и генерирует текст; контекстная длина и поддерживаемые естественные языки в предоставленных данных не описаны. Модель распространяется под лицензией Apache-2.0. Карточка сообщает об исправлении конкретного случая зацикливания, но это не гарантирует его отсутствия во всех сценариях; приведённые бенчмарки ограничены режимом 0-shot, loglikelihood и QUICK с лимитом 500 примеров.