I.3Извлечение и структурирование данных

Qwen3.8-27B-Uncensored-GGUF — квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная в формате GGUF для использования с llama.cpp. Модель предназначена для генерации текста, локального запуска и сценариев, где важны различные уровни квантизации, включая работу со speculative decoding благодаря сохранённой голове multi-token prediction (MTP). Доступен вариант с поддержкой изображений, если это предусмотрено базовой моделью. Модель имеет архитектуру Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248 320 токенов, один MTP-слой и контекст до 262 144 токенов. Заявлены английский и китайский языки. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также варианты с объединённой MTP-головой и отдельными целевой и draft-моделями. По сравнению с исходной моделью существенно снижено поведение отказа от ответа, но оно не устранено полностью; при этом возможности, обучающие данные и архитектура базовой модели не изменялись. Сильными сторонами являются большой контекст, поддержка MTP для ускорения инференса, несколько вариантов размера файлов и сохранение качества при большинстве квантизаций. Ограничения включают возможное небольшое снижение доли принятых токенов при speculative decoding, зависимость от совместимости используемого runtime и отсутствие в README подробных сведений о фактических показателях рассуждения, программирования и мультиязычных возможностей. Распространение указано по лицензии Apache-2.0.

hanhainebula/qwen3-8b-ft-msmarco — текстовая модель эмбеддингов, созданная дообучением Qwen/Qwen3-8B на английских обучающих данных MSMARCO в течение одной эпохи с помощью FlagEmbedding. Она выпущена в рамках ресурсов ReasonEmbed, посвящённых улучшению эмбеддингов для поиска документов со сложными рассуждениями. Модель предназначена для преобразования текста в векторные представления и задач извлечения документов; в метаданных для неё указан pipeline feature-extraction. Модель имеет плотную архитектуру Qwen3, содержит 7,6 млрд параметров и поддерживает контекст до 40 960 токенов. Весовые файлы представлены в формате safetensors; токенизатор изменён для автоматического добавления EOS-токена. Лицензия — Apache-2.0. Обучение описано для английских данных MSMARCO; многоязычность базовой Qwen3 сама по себе не подтверждает, что этот чекпойнт одинаково хорошо работает на других языках.

Vontra/Qwen3.8-Flash-Next-MLX-oQ8-MTP — общественная MLX-конверсия мультимодальной vision-language модели Qwen3.8-Flash-Next, разработанной Qwen, с сохранённым нативным блоком MTP для speculative decoding. Конверсия выполнена Vontra напрямую из официальных BF16-весов; это не официальный релиз Qwen. Модель предназначена для генерации текста и обработки изображений в совместимых MLX-VLM или oMLX-средах, прежде всего на устройствах Apple Silicon. Модель использует архитектуру sparse MoE с обозначением qwen4_exp, включает Gated DeltaNet, Qwen Sparse Attention, разреженные mixture-of-experts-слои, расширенные gated residual-потоки и хешированные биграммные и триграммные embedding-таблицы. Всего заявлено 125 млрд параметров, из которых активно около 6 млрд, 48 слоёв, 512 маршрутизируемых экспертов с выбором 10 экспертов и одного общего, 24 attention heads и 2 KV heads, размер скрытого состояния 2560 и контекст до 262 144 токенов. Формат — MLX safetensors, квантизация oQ8, близкая к равномерной 8-битной аффинной, с group size 32; размер весов составляет около 202,75 ГБ. Сильная сторона конверсии — встроенный совместимый MTP-блок, который может существенно повысить скорость генерации: в измерении на Apple M3 Studio производительность выросла с 19,5 до 35,7 токена в секунду. Однако модель требует runtime с явной поддержкой qwen4_exp и native MTP; стандартные среды без такой поддержки могут отклонить веса. Указанные результаты зависят от длины запроса, настроек генерации, версии runtime и доступной памяти. Модель распространяется по Qwen Community License 1.0; текст лицензии включён в репозиторий.

mlx-community/Qwen3-Reranker-0.6B-mxfp8 — преобразованная в формат MLX модель-реранкер сообщества mlx-community, полученная из Qwen/Qwen3-Reranker-0.6B с помощью mlx-embeddings 0.0.3. Она оценивает релевантность пары запроса и документа, чтобы ранжировать результаты поиска или выбрать наиболее подходящие фрагменты для системы RAG. Модель основана на плотной архитектуре Qwen3 с примерно 508 млн параметров и поддерживает контекст до 40 960 токенов. Репозиторий предназначен для запуска через mlx-embeddings. В метаданных указаны Apache-2.0 и формат safetensors. Исходная модель-реранкер Qwen3 преобразована в MLX; заявлено назначение для ранжирования текста.

Qwythos-9B-Claude-Mythos-5-1M-uncensored-heretic-GGUF — GGUF-квантизации модели Qwythos-9B-Claude-Mythos-5-1M, разработанные независимым автором LLMfan46 на базе модели llmfan46/Qwythos-9B-Claude-Mythos-5-1M-uncensored-heretic. Модель предназначена для генерации текста, задач рассуждения, работы с длинным контекстом, function calling и tool use, а также агентских, кибербезопасностных и биомедицинских сценариев. Заявлена поддержка английского языка и контекста до 1M токенов; библиотека — Transformers. Архитектура и точные параметры квантизации в README не указаны, однако размер базовой модели составляет 9B параметров. Это декензурированная версия, полученная с помощью Heretic v1.2.0 и варианта метода Magnitude-Preserving Orthogonal Ablation (MPOA), применённого к компонентам attn.o_proj, attn.out_proj и mlp.down_proj. По приведённым данным, частота отказов снизилась до 11 из 100 против 73 из 100 у исходной модели, при KL divergence 0,0123; при этом заявлено сохранение качества. В тесте MMLU исходная модель показала точность 77,03%, но отдельные результаты именно этой версии не приведены. Сниженная склонность к отказам может быть полезна для исследовательских и специализированных сценариев, но также повышает риски небезопасной генерации, поэтому необходимы контроль применения и проверка результатов. Модель распространяется по лицензии Apache-2.0.

paraphrase-multilingual-MiniLM-L12-v2 — многоязычная модель семейства Sentence Transformers, экспортированная в формат ExecuTorch для библиотеки React Native ExecuTorch. В README разработчик экспортированного репозитория прямо не указан; исходная модель связана с организацией sentence-transformers, а базовый энкодер инициализирован из xlm-roberta-base. Модель предназначена для оценки семантического сходства предложений, поиска парафраз, кросс-языкового поиска и извлечения средних по длине текстовых запросов. Она принимает токены и формирует L2-нормированный вектор размерности 384. Архитектура включает 12-слойный 12-головый BERT-энкодер со скрытым размером 384, mean pooling по последнему скрытому состоянию и без дополнительной проекционной головы. Максимальная длина входа — 126 токенов, словарь содержит 250 037 SentencePiece-элементов, поддерживается более 50 языков. Модель ориентирована на работу на устройстве и доступна в вариантах для Core ML, Vulkan и XNNPACK с точностью fp16, fp32 и 8da4w. Сильная сторона модели — кросс-языковое сравнение предложений и ранжирование более длинных текстов; результаты обычно лучше для предложений и англоязычных входов. Слабее она работает с короткими однословными запросами на неанглийских языках. Файлы опубликованы для ExecuTorch v1.4.1, прямой совместимости с более старыми или будущими версиями не гарантируется. Репозиторий распространяется по лицензии Apache-2.0.

RetriBERT — модель извлечения признаков для поиска текстов, опубликованная пользователем yjernite на Hugging Face. Она использует архитектуру RetriBERT и предназначена для получения векторных представлений текста, которые можно применять в задачах поиска и сопоставления текстовых запросов с документами. Модель содержит 98,9 млн параметров и принимает последовательности длиной до 512 токенов. Карточка не описывает отдельно обучающие данные или конкретные языковые ограничения. В репозитории доступны веса PyTorch; для запуска показано использование Transformers с задачей feature-extraction. Лицензия в предоставленных данных не подтверждена.

sentence-transformers/roberta-large-nli-mean-tokens — модель sentence-transformers, обученная командой Sentence Transformers на основе RoBERTa Large. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, сравнения текстов и кластеризации. Модель принимает текст и выдаёт векторные представления; архитектура использует RoBERTa и mean pooling. Контекст модели — до 514 токенов. Доступны веса в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель помечена авторами как устаревшая: README предупреждает о низком качестве sentence embeddings и рекомендует выбрать более новые модели. Лицензия — Apache-2.0.

RU-ELECTRA medium — предварительно обученная трансформерная модель семейства ELECTRA, разработанная командой SaluteDevices RnD Team для получения эмбеддингов русскоязычного текста. Архитектура плотная, размер — 100,6 млн параметров, контекст — до 512 токенов; модель доступна в формате PyTorch. Модель подходит для вычисления векторных представлений предложений и токенов на русском языке. Для получения эмбеддинга предложения авторы рекомендуют усреднять представления токенов. Её можно применять как основу для семантического поиска, сравнения текстов и других задач, где нужны текстовые эмбеддинги. Модель распространяется по лицензии MIT. Карточка описывает её как предварительно обученную языковую модель, но не приводит отдельных результатов оценки или гарантий качества для конкретных прикладных задач.

Ruri-Large — японская Sentence Transformer модель, разработанная cl-nagoya для получения векторных представлений предложений и оценки их семантического сходства. Она подходит для поиска по смыслу, сравнения предложений, ранжирования результатов и других задач, использующих embeddings. README сообщает о длине последовательности до 512 токенов, размерности векторов 1024 и косинусной функции сходства; модель оценивалась на JMTEB. Архитектура — BERT; размер по метаданным — 436,2 млн параметров. Модель дообучена на базе tohoku-nlp/bert-base-japanese-v3 и предназначена для японского языка. Распространяется по лицензии Apache 2.0.

Seed-OSS-36B-Instruct-MLX-6bit — это 6-битная MLX-квантизованная версия инструкционной языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантизация предоставлена командой LM Studio с использованием mlx_lm; сама модель предназначена для генерации текста и работы по инструкциям. Модель подходит для локального запуска в сценариях, требующих ответов на естественном языке и выполнения текстовых задач. Она оптимизирована для устройств Apple Silicon благодаря формату MLX. Известно, что модель содержит около 36 миллиардов параметров и использует 6-битное представление, однако сведения о поддерживаемых языках, длине контекста, конкретной архитектуре и доступных модальностях в README не указаны. К сильным сторонам относятся крупный размер базовой модели, инструкционная настройка, снижение требований к памяти за счёт 6-битной квантизации и оптимизация для экосистемы Apple Silicon. Ограничениями являются зависимость от совместимого MLX-окружения и возможная потеря точности по сравнению с полной версией из-за квантизации; количественные характеристики качества и рекомендации по аппаратным требованиям не приведены. В карточке указана лицензия Apache-2.0.

Semantic-Ar-Qwen-Embed-0.6B — арабоязычная модель эмбеддингов, разработанная Omartificial-Intelligence-Space и дообученная на базе Qwen/Qwen3-Embedding-0.6B для задач семантического сходства. Она преобразует предложения и абзацы в плотные векторы размерностью 1024; сходство оценивается косинусной мерой. Архитектура Sentence Transformers использует Qwen3Model и усреднение токенных представлений. Максимальная длина последовательности — 32 768 токенов, число параметров — около 507,6 млн. Модель предназначена для сравнения арабских текстов и может применяться в семантическом поиске, поиске перефразировок, кластеризации и классификации текста. Она дообучена на задачах STS и оценивалась на арабских наборах STS17 и STS22.v2; README отмечает специализацию на понимании арабской семантики. Метаданные также содержат английский среди языков карточки, но заявленный в README основной язык — арабский. Модель распространяется по лицензии Apache-2.0. Результаты оценки приведены для ограниченного набора тестов на семантическое сходство и не гарантируют качество на других задачах или доменах.

Карточка модели marma/sentence-bert-swedish-cased на Hugging Face совпадает с карточкой KBLab/sentence-bert-swedish-cased, поэтому описание составлено по ней. KBLab, лаборатория данных Национальной библиотеки Швеции, разработала эту модель на базе BERT для получения плотных векторных представлений шведских и английских предложений и абзацев. Это sentence-transformers bi-encoder размером 151,9 млн параметров; он отображает текст в векторы размерности 768 и поддерживает входную последовательность до 512 токенов. Модель предназначена для оценки семантического сходства, семантического поиска и кластеризации текстов. Шведская KB-BERT обучалась как student-модель с помощью дистилляции знаний от английской all-mpnet-base-v2. В README приведены результаты оценки на шведских наборах SweParaphrase и SweFAQ; версия v2.0 показала лучшие результаты на задаче поиска ответов в SweFAQ v2.0 среди перечисленных версий. Модель принимает текст и выдаёт векторы, пригодные для сравнения и поиска. Распространяется по лицензии Apache-2.0. Результаты оценки относятся к указанным шведским бенчмаркам; качество на других языках и типах текстов может отличаться.

Карточка модели PapaMoth/sentence-bert-swedish-cased на Hugging Face совпадает с карточкой KBLab/sentence-bert-swedish-cased, поэтому описание составлено по ней. KBLab, лаборатория данных Национальной библиотеки Швеции, разработала эту модель на базе BERT для получения плотных векторных представлений шведских и английских предложений и абзацев. Это sentence-transformers bi-encoder размером 151,9 млн параметров; он отображает текст в векторы размерности 768 и поддерживает входную последовательность до 512 токенов. Модель предназначена для оценки семантического сходства, семантического поиска и кластеризации текстов. Шведская KB-BERT обучалась как student-модель с помощью дистилляции знаний от английской all-mpnet-base-v2. В README приведены результаты оценки на шведских наборах SweParaphrase и SweFAQ; версия v2.0 показала лучшие результаты на задаче поиска ответов в SweFAQ v2.0 среди перечисленных версий. Модель принимает текст и выдаёт векторы, пригодные для сравнения и поиска. Распространяется по лицензии Apache-2.0. Результаты оценки относятся к указанным шведским бенчмаркам; качество на других языках и типах текстов может отличаться.

Socrates-Qwen2.5-14B-SFT — дообученная SocratesFT модель на базе Qwen2.5-14B-Instruct, представленная в формате safetensors для библиотеки Transformers. Она предназначена для генерации текста и диалогов; карточка связывает её с набором данных SocSci210. Модель имеет плотную архитектуру Qwen2 и 14 млрд параметров, поддерживает контекст до 32 768 токенов и рассчитана на английский язык. Метаданные указывают на поддержку следования инструкциям и интерфейс вызова инструментов. Модель распространяется по лицензии Apache-2.0.

sentence-transformers/stsb-roberta-large — модель для получения эмбеддингов предложений и абзацев, обученная командой Sentence Transformers. Она основана на архитектуре RoBERTa с 454,1 млн параметров и отображает текст в плотные векторы размерности 1024; доступна через библиотеку Sentence Transformers и в форматах PyTorch, TensorFlow, Flax, ONNX и OpenVINO. Модель подходит для семантического поиска, сравнения текстов и кластеризации; заявленная длина контекста — 514 токенов. В карточке модель помечена как устаревшая: авторы предупреждают о низком качестве эмбеддингов и рекомендуют выбрать другую модель для новых проектов. Лицензия — Apache-2.0.

Dragoy/Swift-Qwen3.8-27B-abliterated-NVFP4-NInfer — мультимодальная производная модель на 27,78 млрд параметров, разработанная Dragoy на основе ukisai/Swift-Qwen3.8-27b. Модель поддерживает обработку текста и изображений с генерацией текста; в артефакт включены vision tower, MTP-head и DFlash2-drafter. Из модели удалено направление отказов в стиле huihui-ai, поэтому она ориентирована на более свободное выполнение запросов, включая сценарии, в которых исходная модель могла отказывать. Поддерживаются ускоренное speculative decoding через MTP и DFlash2, а также серверный режим NInfer. README не указывает поддерживаемые языки и максимальную архитектурную длину контекста; в примерах используется контекст до 16 384 токенов. Веса квантованы в формате NVFP4 для MLP-компонентов и FP8 для attention, GDN и lm_head. Артефакт предназначен для запуска через NInfer на видеокартах NVIDIA Blackwell с архитектурой sm_120a; требуется CUDA версии не ниже 13.1 и совместимый runtime NInfer, для актуальной сборки — ревизия не ниже 98dada0e. Заявлен запуск примерно в пределах 20 ГБ видеопамяти на одной карте. К сильным сторонам относятся мультимодальность, низкая разрядность, поддержка спекулятивного декодирования и отсутствие отказов в заявленном тесте AdvBench, однако удаление отказов снижает встроенные защитные ограничения и может повышать риски небезопасного использования. Модель распространяется по лицензии Swift Open License 1.0.

Это instruction-tuned вариант T5Gemma от Google с энкодером и декодером размера B, адаптированный с использованием UL2. Семейство T5Gemma состоит из компактных моделей типа энкодер-декодер, созданных на основе предварительно обученных моделей decoder-only; такая архитектура рассчитана на эффективную генерацию и понимание текста. Модель работает в формате text-to-text и предназначена прежде всего для английского языка. Модель подходит для генерации текста по инструкциям, ответов на вопросы, суммаризации и рассуждений; энкодер также может применяться для классификации и задач понимания текста. Её можно использовать для подготовки черновиков писем и маркетинговых текстов, а также для экспериментов и NLP-разработки. В метаданных указаны библиотека Transformers и формат весов safetensors; длина контекста и число параметров для этой конкретной версии не приведены. Качество зависит от обучающих данных и формулировки задания. Модель может ошибаться в фактах, упускать языковые нюансы и хуже справляться со сложными или неоднозначными запросами; возможны предвзятые или вредоносные генерации. Лицензия Gemma; применение должно соответствовать политике допустимого использования Gemma.

Tulu V2 70B — языковая модель-помощник, разработанная AI2 и дообученная на базе meta-llama/Llama-2-70b-hf на смеси общедоступных, синтетических и созданных людьми данных. Это плотная авторегрессионная модель семейства Llama с 68,7 млрд параметров и контекстом до 8192 токенов. Модель предназначена для диалогов и выполнения инструкций на английском языке: она может отвечать на вопросы, помогать с текстовыми задачами и поддерживать беседу. Для работы следует использовать обученный формат сообщений с нужными разделителями и переводами строк. Модель не проходила выравнивание на безопасные ответы в рамках RLHF и не оснащена фильтрацией ответов, поэтому может выдавать проблемный контент, в том числе по соответствующему запросу. Распространяется по лицензии AI2 ImpACT Low-risk.

Tulu 1 Llama 2 70B — языковая модель-ассистент, разработанная Allen Institute for AI (AI2). Это дообученная на смеси публичных, синтетических и созданных людьми инструкций и диалогов версия Meta Llama 2 70B с плотной архитектурой Llama и 68,7 млрд параметров. Модель предназначена для генерации текста и ответов на инструкции; основной язык — английский, длина контекста — 2048 токенов. Модель подходит для диалоговых помощников, ответов на вопросы и выполнения разнообразных текстовых инструкций. Для форматирования запросов используется шаблон с маркерами ролей, описанный в карточке модели. Модель не проходила выравнивание безопасности на этапе RLHF и не снабжена фильтрацией ответов, поэтому может выдавать проблемный контент. Лицензия — AI2 ImpACT Low-risk.

Ultravox v0.6 Llama 3.3 70B — мультимодальная речевая языковая модель от Fixie.ai. Она принимает текст и речь: аудио кодируется речевым энкодером Whisper large-v3-turbo и объединяется с текстовым запросом, после чего модель формирует текстовый ответ. В основе этой версии — Llama 3.3 70B. Модель предназначена для распознавания и анализа речи, речевого перевода и создания голосовых агентов. Версия v0.6 получила расширенные данные обучения на хинди, что улучшило понимание хинди, а также обучение на зашумлённых аудиоданных. При слишком шумном аудио или отсутствии разборчивой речи модель может выдать маркер ((noise)). Поддерживаются разные языки; в карточке перечислены, в частности, английский, хинди, японский, русский и китайский. Генерация аудио не поддерживается: ответ формируется текстом. Модель распространяется по лицензии MIT.

Wav2Vec2-Base-100h — модель распознавания речи, разработанная Facebook. Она основана на архитектуре wav2vec 2.0 и дообучена на 100 часах размеченной речи из LibriSpeech после предварительного обучения на аудиоданных. Модель принимает речь с частотой дискретизации 16 кГц и преобразует её в текст; в метаданных указано около 113,3 млн параметров. Модель предназначена для автоматической транскрибации англоязычной речи, в том числе записей, похожих на аудиокниги и подкасты. Её можно использовать как акустическую модель в системах распознавания речи. Репозиторий содержит веса PyTorch, лицензия — Apache 2.0.

jonatasgrosman/wav2vec2-large-xlsr-53-english — англоязычная модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной выборках Common Voice 6.1. Это архитектура Wav2Vec2 с CTC-выходом, содержащая 402,7 млн параметров; модель принимает аудио и выдаёт распознанный текст. Для работы входную речь нужно подавать с частотой дискретизации 16 кГц. Модель предназначена для транскрибации английской речи, в том числе записей, подобных материалам Common Voice. В README описана оценка на тестовой выборке Common Voice 6.0 и на speech-recognition-community-v2/dev_data. Указанная лицензия — Apache-2.0.

Это дообученная модель OpenAI Whisper Base для классификации аудио по языку. Она обучена на наборе данных Common Language и предназначена для определения языка по аудиозаписи. Архитектура — WhisperForAudioClassification, размер — 51,7 млн параметров; модель принимает аудио и выдаёт метку класса. В оценке на тестовой выборке указаны loss 1,0725 и accuracy 0,7525. Модель распространяется по лицензии Apache-2.0.

Карточка модели mitchelldehaven/whisper-large-v2-ru на Hugging Face совпадает с карточкой mitchelldehaven/whisper-medium-ru, поэтому описание составлено по ней. mitchelldehaven/whisper-medium-ru — модель распознавания речи на базе Whisper, дообученная на аудиоданных из набора Open STT Russian Dataset. Она предназначена для преобразования русской речи в текст и может применяться для транскрибации записей и аудио с речью. Модель имеет архитектуру Whisper и содержит около 455,8 млн параметров; репозиторий распространяет веса в формате PyTorch. При нормализации обучающих данных пунктуацию удаляли, тогда как исходная токенизация Whisper заменяет её пробелом. По данным карточки, это расхождение немного ухудшает результаты на Common Voice. Лицензия в предоставленных сведениях не указана.

Карточка модели 2fed/whisper-large-v3-turbo на Hugging Face совпадает с карточкой openai/whisper-large-v3-turbo, поэтому описание составлено по ней. Whisper large-v3-turbo — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder. Это дообученная и ускоренная версия Whisper large-v3: число слоёв декодера сокращено с 32 до 4, что ускоряет вывод с небольшим снижением качества. Модель содержит 905,2 млн параметров и работает с аудио; она поддерживается библиотекой Transformers. Модель предназначена для преобразования речи в текст на языке оригинала и перевода речи между языками, включая перевод на английский. Она обучалась на более чем 5 млн часов размеченных данных и демонстрирует обобщение на новые наборы данных и предметные области. Для длинных записей требуется обработка последовательными окнами или разбиение аудио на сегменты; воспринимаемое окно составляет 30 секунд. Модель может ошибаться, добавлять слова, которых нет в аудио, и повторять фрагменты. Точность различается между языками, акцентами и диалектами и может быть ниже для языков с ограниченными обучающими данными. Лицензия — MIT.

Winnow-12B — дообученная EldanRing мультимодальная модель на базе Gemma 4 12B IT для локального диалога и принятия решений по заданным вариантам ответа. Она оценивает варианты для вопросов формата «да/нет», выбора из списка и упорядоченной шкалы через интерфейс `/v1/systemone`; обычный чат доступен через `/v1/chat/completions`. При наличии соответствующего projector модель принимает изображения. Модель построена на плотной унифицированной архитектуре Gemma 4 и распространяется в формате GGUF, включая варианты BF16, Q8_0 и NVFP4. Для профиля Q8_0 с изображениями проверена емкость контекста 65 536 позиций. В описанных тестах Q8_0 показала точность 85,71% на открытой выборке JevBench из 231 вопроса и 81,55% на Kev-v9 clean из 1 046 вопросов; это результаты отдельных оценочных панелей, а не гарантия качества в других задачах. Дообучение выполнено методом LoRA ранга 32, затем объединено с базовой моделью. Лицензия — Apache-2.0. Модель подходит для локального применения, когда нужно оценивать заданные варианты ответа, применять правила, выбирать свидетельства или определять ответимость вопроса. Данные и конвейер обучения закрыты. Уверенность отражает распределение вероятностей только между предложенными вариантами и не гарантирует правильность; варианты с меньшей разрядностью могут снижать точность. BF16 требует больше памяти, а для обработки изображений нужен подходящий projector.

Moritz Laurer разработал эту компактную модель для классификации текста без заранее заданного набора классов: пользователь передаёт текст и варианты меток, а модель оценивает их соответствие. Это дообученная на задачах естественного языкового вывода (NLI) модель на базе Microsoft XTREME-Distil, с архитектурой BERT и 14,1 млн параметров по метаданным. Модель принимает текст и выдаёт оценки классов; максимальная длина контекста — 512 токенов. Модель рассчитана на быстрый запуск на устройствах с ограниченными ресурсами и в браузере, в том числе через Transformers.js. Карточка приводит точность на наборах данных, использованных при обучении, но не содержит отдельной оценки zero-shot качества; автор отмечает, что модель работает менее точно, чем более крупные варианты. Лицензия — MIT.

Aitana-7B-S-Instruct-i1-GGUF — квантизированная версия инструкционной языковой модели Aitana-7B-S-Instruct, разработанной gplsi и распространяемой в формате GGUF пользователем mradermacher. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, подготовку и преобразование текстов, мультиязычные задачи и работу с информацией на испанском, каталанском и английском языках. В обучении использовались наборы данных OpenAssistant, Aya, FLORES, GSM8K, Alpaca, Dolly и другие специализированные мультиязычные и испаноязычные коллекции. Модель имеет размер 7B параметров; точная архитектура и размер контекстного окна в README не указаны. Представленная версия содержит набор вариантов квантизации, включая IQ- и Q-форматы, с размером файлов примерно от 2,4 до 6,5 ГБ. Более компактные варианты требуют меньше памяти, но могут заметно уступать в качестве; README рекомендует i1-Q4_K_M как быстрый вариант и i1-Q4_K_S как оптимальный компромисс между размером, скоростью и качеством. Модель предназначена только для работы с текстом, сведения о поддержке изображений или других модальностей отсутствуют. К сильным сторонам относятся специализация на каталанском, испанском и английском языках, инструкционный формат и возможность локального запуска через совместимые с GGUF инструменты. Ограничения связаны с отсутствием данных о бенчмарках, контекстном окне и точных характеристиках исходной архитектуры, а также с тем, что качество зависит от выбранного уровня квантизации. Указанная лицензия — Apache-2.0.

ALLaM-7B-Instruct-preview-GGUF — это набор GGUF-квантизаций инструкционной языковой модели ALLaM-7B-Instruct-preview, разработанной ALLaM-AI и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций, включая арабские и англоязычные сценарии. Доступен запуск через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Модель содержит около 7 миллиардов параметров; README не уточняет её архитектуру, максимальную длину контекста, формат промптов и дополнительные модальности, поэтому она описывается как текстовая. Набор включает варианты от BF16 до Q3 и IQ3-квантизаций с размерами примерно от 3,11 до 14 ГБ. Варианты Q6 и Q5 отмечены как обеспечивающие очень высокое или высокое качество, а Q4 — как оптимальные для большинства сценариев по соотношению качества и размера. Основные преимущества — поддержка локального запуска, широкий выбор квантизаций и возможность подобрать вариант под доступную оперативную память. Более агрессивные квантизации уменьшают требования к памяти, но могут снижать качество генерации; некоторые форматы имеют статус legacy или не рекомендуются. Модель распространяется по лицензии Apache-2.0.