I.3Извлечение и структурирование данных

Hermes-4-405B-GGUF — это крупная языковая модель в формате GGUF, разработанная Unsloth на основе Hermes 4 405B от Nous Research, который, в свою очередь, базируется на Llama 3.1 405B. Модель предназначена для диалоговых ассистентов, генерации и анализа текста, программирования, математики, STEM-задач, логики, творческого письма, ролевого взаимодействия, вызова функций и работы с инструментами. Модель поддерживает гибридный режим рассуждений: при необходимости она может формировать отдельные сегменты <think>...</think>, а также работать в более быстром режиме без длительного рассуждения. Она обучена следовать схемам и создавать структурированные ответы, включая валидный JSON и исправление некорректных объектов. Заявлена поддержка длинного контекста, формата чата Llama 3 и шаблонов ChatML; основной заявленный язык — английский. Для llama.cpp рекомендуется использовать режим шаблонов Jinja. К сильным сторонам относятся улучшенные рассуждения, математика, код, логика, соблюдение форматов, управляемость, вызов инструментов и сниженный уровень необязательных отказов. Из ограничений следует учитывать очень большой размер модели 405B, который предполагает значительные требования к памяти и вычислительным ресурсам; конкретные параметры контекстного окна, сведения о квантизации и детальные характеристики модальностей в README не указаны. Лицензия обозначена как llama3.

MuXodious выпустил дообученную версию Ministral-3-8B-Reasoning-2512, созданную с помощью движка Heretic и метода abliteration. Это плотная мультимодальная модель семейства Mistral 3: языковая часть содержит 8,4 млрд параметров, а зрительный энкодер — 0,4 млрд. Репозиторий содержит веса Safetensors; для запуска указана библиотека vLLM, а README также сообщает о необходимости Transformers v5 для работы через Transformers. Модель предназначена для диалогов и многошаговых рассуждений, включая математические и научные вопросы, программирование, анализ изображений и документов, перевод и агентные сценарии с вызовом функций и JSON-выводом. Она принимает текст и изображения, отвечает текстом и поддерживает контекст до 256 тыс. токенов. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Автор описывает модель как сильно менее склонную к отказам после abliteration; это может привести к выдаче небезопасных ответов, поэтому её следует применять с осторожностью. Для работы с изображениями рекомендуется сохранять близкое к квадратному соотношение сторон. Лицензия Apache 2.0 разрешает использование и модификацию, в том числе в коммерческих целях.

Occamy-1.0 APEX-I-MiniPlus-V2-GGUF — это квантованная мультимодальная версия модели Occamy-1.0, разработанной Accio-Lab и подготовленной в формате GGUF пользователем IsValorum. Модель предназначена для генерации текста, рассуждений, математических и логических задач, а также анализа изображений и оптического распознавания документов. В основе используется архитектура Qwen3_5MoeForConditionalGeneration с гибридным механизмом внимания, включающим рекуррентные слои DeltaNet и 256 микроэкспертов. На каждый токен активируется примерно 3,2 млрд параметров. Основной файл занимает 14,62 GB, или 13,62 GiB, и использует схему квантования с показателем 3,38 BPW. В комплект входит отдельный vision projector mmproj в формате Q8_0 размером 614 MB. Заявлена поддержка контекста до 256K токенов и работы в пределах 24 GB VRAM. Модель ориентирована на английский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. К сильным сторонам относятся сохранение F32 router gates, повышенная точность token output head за счёт Q6_K, защита attention gates в Q8_0 и использование не менее 3-битного квантования для ключевых экспертных блоков. Такая настройка должна обеспечивать лучшее качество и устойчивость по сравнению с плоскими 3-битными квантованиями и общими сборками APEX-I-Mini, особенно в задачах рассуждения и при работе с длинным контекстом. Ограничения связаны с потерями качества, присущими квантованной версии, значительными требованиями к памяти и необходимостью совместимого ПО, например llama.cpp. В README указана лицензия Apache-2.0.

Qwen2.5-1.5B-Instruct-AWQ — квантизированная 4-битная AWQ-версия инструкционно дообученной языковой модели Qwen2.5, разработанной командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, написания кода, решения математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель относится к каузальным языковым моделям и использует архитектуру на базе transformers с RoPE, SwiGLU, RMSNorm, смещениями в attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, 28 слоёв и механизм GQA с 12 головами для Q и 2 для KV. Поддерживаются контекст до 32 768 токенов и генерация до 8192 токенов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битной квантизации, улучшенные возможности следования инструкциям, работы с длинными текстами, кодом, математикой и JSON. Ограничения включают возможную потерю качества относительно исходной версии в формате bfloat16 из-за квантизации; конкретные результаты тестов в README не приведены. Модель распространяется по лицензии Apache-2.0.

Это инструкционная чат-модель Qwen2.5-3B, размещённая Unsloth и основанная на Qwen/Qwen2.5-3B-Instruct. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, помощь с кодом и математикой, работу со структурированными данными и формирование JSON. Модель имеет плотную архитектуру Qwen2 с 3,1 млрд параметров; в README указаны 36 слоёв, поддержка контекста до 32 768 токенов и генерация до 8 192 токенов. Модель работает с текстом и рассчитана на многоязычное использование: README заявляет поддержку более 29 языков, включая английский, русский, китайский, французский, немецкий и японский. Среди отмеченных сильных сторон семейства — следование инструкциям, генерация длинных текстов и структурированные ответы. Метаданные указывают библиотеку Transformers, формат Safetensors и интерфейс чата с поддержкой вызова инструментов. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с карточкой репозитория. Приведённый README в основном описывает семейство Qwen2.5 и материалы Unsloth; он не содержит отдельной оценки качества именно этой публикации модели.

unsloth/Qwen2.5-3B-unsloth-bnb-4bit — 4-битная квантизированная версия языковой модели Qwen2.5-3B, подготовленная Unsloth на базе Qwen/Qwen2.5-3B. Модель предназначена для генерации и обработки текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Это текстовая causal language model без заявленной поддержки изображений или других модальностей. Модель ориентирована на многоязычное использование и заявляет поддержку китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского, арабского и других языков. Для семейства Qwen2.5 указана поддержка контекста до 128K токенов и генерации до 8K токенов, однако README не приводит отдельные параметры контекста именно для версии 3B. Ключевое преимущество этой сборки — снижение требований к памяти благодаря 4-битному формату Unsloth Dynamic 4-bit, который, по заявлению разработчика, лучше сохраняет точность по сравнению со стандартной 4-битной квантизацией. Ограничения включают возможную потерю точности из-за квантизации и отсутствие в README результатов независимого бенчмаркинга именно этой сборки. README также предупреждает, что базовые языковые модели не рекомендуются для диалогового использования без дополнительной настройки. Модель распространяется по лицензии Apache-2.0.

Qwythos-9B-Claude-Mythos-5-1M-GGUF — это набор GGUF-квантизаций модели Qwythos-9B, разработанной Empero. Модель создана на базе Qwen3.5-9B и дообучена на более чем 500 млн токенов высококачественных трасс Claude Mythos и Claude Fable с использованием внутреннего инструмента Empero AI rethink. Доступны варианты от Q4_K_M до BF16, включая версии с MTP для ускорения генерации в совместимых сборках llama.cpp. Модель предназначена для локального запуска в llama.cpp, Ollama, LM Studio, jan, KoboldCpp и других GGUF-совместимых средах. Она ориентирована на рассуждения, генерацию текста, решение математических задач, function calling и агентские сценарии, а также на задачи в области кибербезопасности и биомедицины. Заявлена поддержка английского языка, нативного function calling по спецификации Qwen3.5 и контекстного окна до 1 048 576 токенов с масштабированием RoPE YaRN. Модель мультимодальна и поддерживает изображения при подключении отдельного vision projector в формате GGUF. Визуальная часть унаследована от Qwen3.5-9B и во время дообучения не изменялась, поэтому заявлены описание изображений, OCR печатного и рукописного текста, анализ графиков и таблиц, понимание интерфейсов и документов и базовое пространственное рассуждение. Сильными сторонами являются большой контекст, reasoning-возможности, function calling и широкий выбор уровней квантизации; при этом качество, скорость и требования к памяти зависят от выбранного варианта, а для изображений требуется дополнительный файл mmproj. Модель распространяется по лицензии Apache-2.0.

T5Gemma 2 1B-1B — мультимодальная модель Google с открытыми весами, построенная на основе Gemma 3. Это предварительно обученная модель типа encoder-decoder: в репозитории представлены энкодер и декодер примерно по 1 млрд параметров, адаптированные с использованием UL2. Модель принимает текст и изображения и генерирует текст; заявлено окно контекста до 128 тысяч токенов и поддержка более 140 языков. Модель предназначена для генерации текста и понимания изображений, включая ответы на вопросы, суммаризацию, рассуждения и анализ документов. Её сравнительно небольшой размер позволяет запускать её на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. В архитектуре используются общие эмбеддинги слов для энкодера и декодера, а также объединённые self-attention и cross-attention декодера. Модель может ошибаться в фактах, испытывать трудности со сложными или неоднозначными запросами и отражать предвзятость обучающих данных. Лицензия — Gemma; разработчики приложений отвечают за безопасность модели и её результатов.

YOYO-AI разработала ZYH-LLM-Qwen2.5-14B-V4 — объединённую плотную авторегрессионную языковую модель семейства Qwen2.5 с 14 млрд параметров. По README, при слиянии увеличили долю моделей, дистиллированных из R1, сохранив ориентацию на следование инструкциям и общие языковые способности. В состав слияния входят несколько моделей на базе Qwen2.5, включая DeepSeek-R1-Distill-Qwen-14B и варианты SuperNova-Medius, Virtuoso-Small-v2 и Blossom-V6-14B. Модель предназначена для диалогов, генерации текста и структурированных ответов; метаданные также отмечают интерфейс вызова инструментов. Заявленный контекст составляет 1 010 000 токенов. В карточке указаны английский и китайский языки. README приводит результаты Open LLM Leaderboard, включая IFEval и BBH. Модель распространяется под лицензией Apache-2.0.

airoboros-l2-13b-2.2 — экспериментальная текстовая модель jondurbin, основанная на архитектуре Llama и дообученная на версии 2.2 набора airoboros, состоящей преимущественно из синтетических данных. Модель содержит около 12,9 млрд параметров, принимает текст и рассчитана на контекст до 4096 токенов. Для диалога используется формат с отдельными строками system, USER и ASSISTANT; в большинстве примеров применялся системный промпт «A chat.». Модель ориентирована прежде всего на выполнение инструкций, а не на непринуждённый чат или ролевую игру. Она подходит для ответов на вопросы по предоставленному контексту, генерации текста и кода, задач с вариантами ответа, структурированного вывода в JSON или YAML и составления планов выполнения задач с инструментами. Вариант «clean» не включает данные для снятия выравнивания; при этом автор отмечает, что поведение можно переопределять системным промптом. Для остановки генерации рекомендуется настроить критерии завершения на маркер USER:. Модель распространяется по лицензии Llama 2.

Mashiat/ats-mpnet-model — текстовая модель Sentence Transformer, дообученная на базе sentence-transformers/all-mpnet-base-v2. Она преобразует предложения и абзацы в плотные эмбеддинги размерностью 768 для семантического поиска, извлечения релевантных текстов и сравнения сходства по косинусной мере. Архитектура включает MPNet, mean pooling и нормализацию векторов; модель рассчитана на последовательности до 384 токенов по README, тогда как метаданные каталога указывают нативный контекст 514 токенов. Обучение выполнено на наборе из 2 953 пар предложений с оценками сходства. Модель подходит для retrieval-сценариев и ранжирования текстов по семантической близости. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным описать нельзя.

Diba-Embed — модель для получения плотных векторных представлений текста, разработанная Dibachain. Она предназначена прежде всего для поиска и извлечения информации на персидском языке, поддерживает также английский и сопоставление текстов между этими языками. Модель содержит около 507,6 млн параметров, выдаёт эмбеддинги размерностью 1024 с возможностью сокращения до 32 по принципу Matryoshka и принимает последовательности длиной до 32 768 токенов. Для загрузки через sentence-transformers требуется trust_remote_code=True; также доступны файлы GGUF для запуска через llama.cpp. Модель подходит для семантического поиска, извлечения фрагментов для RAG, сопоставления FAQ, кластеризации, дедупликации и ранжирования найденных текстов. В описанном автором тесте на 400 персидских парах вопросов и ответов указаны Recall@1 82%, Recall@3 95% и MRR 0,89; тест охватывал историю Ирана, современные темы и вопросы о компании Dibachain. Качество лучше на обычном и формальном персидском; для узкоспециализированных или зашумлённых текстов может потребоваться адаптация. Модель выдаёт векторы, а не готовые ответы или сгенерированный текст, и может отражать смещения обучающих данных. Лицензия — Apache-2.0.

Карточка модели RedHatAI/gemma-3-12b-it на Hugging Face совпадает с карточкой google/gemma-3-12b-it, поэтому описание составлено по ней. Gemma 3 12B IT — мультимодальная модель с открытыми весами от Google, дообученная для следования инструкциям на основе google/gemma-3-12b-pt. Она принимает текст и изображения и генерирует текст; относится к семейству Gemma 3 и доступна в формате safetensors для Transformers. Модель предназначена для диалоговых приложений, ответов на вопросы и задач понимания изображений, а также для создания и обобщения текста. Контекстное окно — до 128 тысяч токенов, поддерживается более 140 языков. Размер модели — 12 млрд параметров. Модель подходит для извлечения сведений из изображений, составления черновиков, суммаризации и исследовательских задач. Google отмечает, что ответы могут содержать фактические ошибки, отражать предвзятость обучающих данных и хуже справляться со сложными открытыми запросами, языковыми нюансами и задачами, требующими здравого смысла. Лицензия — Gemma; при использовании следует соблюдать условия лицензии и политику запрещённого использования Gemma.

Ling-3.0-flash-VL-fp4 — нативная мультимодальная модель, разработанная командой InclusionAI. Она предназначена для анализа изображений и видео, визуального понимания документов, схем, графиков и интерфейсов, многошагового рассуждения с опорой на визуальные данные, проверки информации, планирования и выполнения действий в реальных и агентных сценариях. Модель поддерживает режим рассуждения, включённый по умолчанию, а также задачи взаимодействия с веб- и программными интерфейсами. Модель имеет 124 млрд общих параметров, из которых 5,5 млрд активируются для каждого токена, что повышает эффективность инференса. Архитектура включает визуальный ViT-энкодер, двухслойный MLP-проектор, VideoRoPE для учёта пространственных и временных позиций, 42-слойный гибридный языковой backbone с чередованием слоёв KDA и Gated MLA в соотношении 5:1, а также разреженную MoE-архитектуру. Поддерживаются текст, изображения и видео; заявленное контекстное окно достигает 256K токенов. Для видео предусмотрены сценарии локализации событий, ответов на вопросы по длинным роликам и редактирования видеоклипов. К сильным сторонам относятся объединение восприятия, рассуждения, планирования, действий и проверки, работа со сложными визуальными структурами и высокая эффективность за счёт MoE. В Artificial Analysis Intelligence Index v4.1.1 модель получила 42 балла, что на 4 балла выше базовой Ling-3.0-flash. README не содержит подробных сведений о языках, конкретных ограничениях качества или системных требованиях вне отдельных конфигураций запуска. Модель распространяется по лицензии MIT.

Llama 3.2-11B-Vision — мультимодальная модель Meta для анализа изображений и генерации текстовых ответов. Она построена на авторегрессионной архитектуре Transformer семейства Llama 3.1 и использует отдельно обученный визуальный адаптер с cross-attention, который передаёт представления изображений в языковую модель. Размер модели — 11 млрд параметров; она принимает изображения и текст, выдаёт текст и поддерживает контекст до 128 тыс. токенов. Модель предназначена для распознавания изображений, визуальных рассуждений, создания подписей и диалога по изображениям. Она подходит для визуальных вопросов и ответов, извлечения сведений из изображений документов, поиска соответствий между изображениями и текстом, а также привязки текстовых описаний к областям изображения. Для задач с изображениями официально поддерживается английский язык; в текстовых задачах также поддерживаются немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель основана на Llama 3.1 и включает визуальный адаптер; для настроенных версий семейства применяются supervised fine-tuning и обучение с обратной связью от людей. Это статический чекпойнт, обученный на офлайн-данных с отсечкой знаний в декабре 2023 года. Использование регулируется Llama 3.2 Community License — специальной лицензией с коммерческими условиями и Acceptable Use Policy.

Карточка модели zsjTiger/Llama-3.2-1B на Hugging Face совпадает с карточкой unsloth/Llama-3.2-1B, поэтому описание составлено по ней. unsloth/Llama-3.2-1B — текстовая модель генерации на базе Meta Llama 3.2, представленная Unsloth. Это плотная авторегрессионная трансформерная архитектура Llama с 1,2 млрд параметров; репозиторий содержит веса в формате safetensors и предназначен для использования через Transformers. В README Unsloth также предлагает ноутбуки для дообучения модели и экспорта полученных моделей. Модель принимает текст и генерирует текст. Семейство Llama 3.2 предназначено для генерации и диалога; в карточке указаны сценарии суммаризации и агентного поиска, а также поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Контекстное окно составляет 131072 токена. Модель опубликована 25 сентября 2024 года и распространяется по лицензии Llama 3.2 Community License, условия которой следует соблюдать при использовании и распространении.

Ministral 3 14B Instruct 2512 — мультимодальная модель Mistral AI для диалогов и выполнения инструкций, дообученная на базе Ministral 3 14B Base 2512 и представленная в формате FP8. Архитектура Mistral3 включает языковую модель на 13,5 млрд параметров и визуальный энкодер на 0,4 млрд; веса хранятся в safetensors, для запуска рекомендуется vLLM. Модель рассчитана на локальное и периферийное развертывание, в частности для приватных ассистентов и агентных сценариев. Она принимает текст и изображения, умеет анализировать визуальное содержимое, следовать системным инструкциям, вызывать функции и формировать JSON. Поддерживает контекст до 256 тысяч токенов и многоязычное взаимодействие, включая английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. В README заявлены результаты, сопоставимые с более крупной Mistral Small 3.2 24B; для запуска в FP8 указано требование около 24 ГБ VRAM, а дополнительная квантизация может снизить его. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию. Качество может зависеть от аппаратуры и настроек; для изображений рекомендуется близкое к квадратному соотношение сторон, а для повседневного использования — температура ниже 0,1.

Multilingual MiniLM-L12-v2 (Harrier-Distilled) — компактный многоязычный кодировщик предложений, дообученный командой agentlans методом дистилляции эмбеддингов на основе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 с учителем microsoft/harrier-oss-v1-270m. Модель содержит 124,3 млн параметров, использует архитектуру BERT и принимает текстовые последовательности длиной до 512 токенов. Для работы требуется вспомогательный пакет, поскольку модель использует обученный проекционный слой. Модель предназначена для межъязыкового семантического поиска, сравнения сходства текстов, кластеризации и фильтрации корпусов, включая параллельные и переводные данные. Она рассчитана на высокую пропускную способность при умеренных вычислительных затратах и ориентирована на многоязычные сценарии. Лицензия — Apache-2.0. Качество может снижаться для малоресурсных языковых вариантов и узкоспециализированной терминологии. Размерности и архитектура отличаются от учительской модели, поэтому её представления не взаимозаменяемы с представлениями учителя.

Muse-Glimmer-30B-OptiQ-4bit — мультимодальная модель для работы с текстом и изображениями, разработанная сообществом mlx-community на базе meta-models/Muse-Glimmer-30B. Она предназначена для локального запуска на компьютерах Apple Silicon через MLX и подходит для анализа изображений, генерации текста, рассуждений, решения математических задач, извлечения информации из длинного контекста, следования инструкциям, вызова инструментов и генерации кода. Модель содержит около 30 млрд параметров и 52 decoder-слоя. Языковая часть использует чувствительно-ориентированное смешанное квантование 4/8-bit: 169 слоёв работают в 4-bit, 248 — в 8-bit. Vision tower сохраняется в формате bf16 в отдельном sidecar-файле. Объём на диске составляет около 18,6 ГБ для языковой части и 3,8 ГБ для визуальной. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. Архитектура использует gated attention, sliding window размером 2048 в трёх слоях и NoPE в 13 глобальных слоях. К сильным сторонам относятся локальная работа без PyTorch и облачных сервисов, сохранение визуальной части в bf16, высокая оценка OptiQ Capability Score — 87,36, а также идеальный результат на тесте извлечения из длинного контекста HashHop. Ограничения включают требовательность к объёму памяти и необходимость специального стека mlx-optiq, поскольку стандартный mlx-lm не знает архитектуру модели. Для корректного использования также требуется учитывать раздельные каналы рассуждений и финального ответа. Модель распространяется по лицензии Apache-2.0.

Карточка модели ajmcclary/nomic-embed-text-v2-moe на Hugging Face совпадает с карточкой nomic-ai/nomic-embed-text-v2-moe, поэтому описание составлено по ней. nomic-embed-text-v2-moe — многоязычная модель текстовых эмбеддингов от Nomic AI для поиска и сопоставления текстов. Она предназначена для семантического поиска, в том числе в системах RAG, где векторные представления документов и запросов используются для извлечения релевантных материалов. Модель основана на архитектуре NomicBert с разреженной смесью экспертов: 475 млн параметров всего, около 305 млн активны при инференсе, восемь экспертов с маршрутизацией top-2. Она формирует эмбеддинги размерностью от 256 до 768 благодаря Matryoshka-представлениям; README указывает максимальную длину входа 512 токенов, а метаданные — контекст 2048 токенов. Поддерживает множество языков, включая русский, и обучалась на более чем 1,6 млрд пар текстов. Модель заявлена как конкурентоспособная на многоязычных задачах поиска, а сокращение размерности позволяет уменьшить хранение эмбеддингов с небольшим снижением качества. Для запросов и документов следует использовать префиксы search_query: и search_document:. Ограничения: качество может различаться между языками, а MoE-архитектура может требовать больше ресурсов, чем плотные модели; для пользовательской реализации архитектуры при загрузке через Transformers требуется trust_remote_code=True. Лицензия — Apache-2.0.

Ovis-VL-Embedding-9B — мультимодальная модель эмбеддингов для поиска, разработанная командой Ovis и основанная на Qwen3.5-9B. Она независимо кодирует запросы и кандидаты в общее пространство векторов, поддерживая текст, изображения, визуальные документы, видео и их чередующиеся мультимодальные сочетания. Модель предназначена для семантического и межмодального поиска, индексации и извлечения данных для RAG, поиска по видео с локализацией фрагментов, рекомендаций и сопоставления ближайших соседей. Архитектура сохраняет текстовый и визуальный кодировщики и мультимодальную языковую основу Qwen3.5-9B, но удаляет голову языкового моделирования. Вектор размерности 4096 извлекается из скрытого состояния последнего непустого токена; отдельная проекционная голова не используется. Для ранжирования запросы и кандидаты кодируются отдельно, нормализуются по L2 и сравниваются по косинусному сходству. Модель не принимает аудио и не предназначена для генерации текста или изображений. Качество зависит от инструкций к запросам и соблюдения исходного шаблона и предобработки; результаты различаются по задачам, а крупная модель требует больше памяти и вычислений, чем вариант 2B. Лицензия — Apache-2.0.

CalamitousFelicitousness/Qwen2.5-3B-Instruct-fp8-dynamic — инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это каузальная Transformer-модель для генерации текста и диалоговых сценариев, включая следование инструкциям, ответы на вопросы, работу со структурированными данными и создание структурированных ответов, в том числе JSON. Указанная версия основана на Qwen/Qwen2.5-3B и использует динамическое 8-битное представление FP8, однако подробности реализации квантования в README не приведены. Модель содержит 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и имеет 36 слоёв. Архитектура включает RoPE, SwiGLU, RMSNorm, смещения в QKV внимания, связанные эмбеддинги слов и GQA с 16 головами для Q и 2 для KV. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Сильными сторонами являются улучшенные возможности в программировании и математике, следование инструкциям, генерация длинных текстов, обработка структурированных данных и устойчивость к разнообразным системным промптам. Ограничения включают меньший размер по сравнению с крупными моделями семейства и отсутствие в README подробных результатов оценки, требований к аппаратным ресурсам, характеристик производительности и описания модальностей, отличных от текста. Лицензия указана как qwen-research; применимые условия следует уточнять в тексте лицензии Qwen/Qwen2.5-3B.

lmstudio-community/Qwen2.5-7B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp release b3772; модель представлена в рамках программы Community Models LM Studio, но LM Studio не является её разработчиком или владельцем. Модель предназначена для генерации текста, диалоговых сценариев, ответов на инструкции и работы со структурированными данными. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский, что делает её пригодной для многоязычных приложений. Ключевые характеристики включают размер 7 млрд параметров, контекст до 128 тысяч токенов с настройками YaRN RoPE и генерацию до 8 тысяч токенов. К сильным сторонам относятся широкий языковой охват, поддержка длинного контекста и улучшенное понимание и создание структурированных данных. При этом модель может генерировать неточную, вредную или вводящую в заблуждение информацию, а README не содержит подробностей о конкретной схеме квантизации, требованиях к ресурсам и результатах бенчмарков. Распространение указано под лицензией Apache 2.0.

Qwen3.8-27B-GGUF — это квантизированная мультимодальная vision-language модель на базе Qwen/Qwen3.8-27B, подготовленная разработчиком 6block с использованием llama.cpp. Она предназначена для обработки текста, изображений и видео с генерацией текстовых ответов, поэтому подходит для визуального анализа, работы с документами и общих текстовых задач. Заявлены английский и китайский языки. Модель имеет плотную архитектуру с 27,8 млрд параметров, включая vision tower, и 64 decoder-слоя. В гибридной схеме 16 слоёв используют grouped-query full attention, а 48 — Gated DeltaNet linear attention. Нативная длина контекста составляет 262 144 токена, с возможностью дальнейшего расширения через YaRN; словарь содержит 248 320 токенов, embeddings не связаны. Доступны варианты квантизации от Q8_0 до IQ2_XXS, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. Для мультимодального ввода требуется отдельный файл vision projector mmproj; без него модель работает только с текстом. Благодаря гибридной архитектуре KV-кэш растёт только для 16 полно-внимательных слоёв, что снижает затраты памяти на длинном контексте. К сильным сторонам относятся поддержка текста, изображений и видео, очень длинный контекст, широкий набор вариантов квантизации и imatrix-калибровка для сохранения качества при сжатии. Ограничениями являются значительные требования к памяти: размер текстового backbone составляет примерно от 9,3 до 26,1 GiB в зависимости от варианта, а для мультимодальной работы дополнительно нужен vision projector размером около 0,9 GiB и память под KV-кэш. Модель распространяется по лицензии Apache-2.0.

Bernhard Brieger подготовил эту модель как посттренировочную NVFP4-квантизацию базовой Qwen/Qwen3.8-27B. Это мультимодальная модель для обработки текста и изображений, сохранившая языковую часть, vision tower и слой Multi-Token-Prediction (MTP). Квантизация не меняет логическое число параметров: оно составляет около 27,78 млрд, а размер весов на диске уменьшен до 20,59 ГБ по сравнению с 55,56 ГБ в формате bf16. Модель предназначена для следования инструкциям, программирования, диалогов, вызова инструментов и функций, работы с изображениями, а также задач с длинным контекстом, включая обработку документов объёмом свыше 100 тысяч токенов. Архитектура Qwen3_5ForConditionalGeneration включает 64 слоя: 48 слоёв с линейным вниманием Gated-DeltaNet и 16 слоёв с полным вниманием. Нативный контекст составляет 262 144 токена; работа проверена на контексте до 163 840 токенов с FP8 KV-кэшем. Поддерживается схема NVFP4 W4A4 с 4-битными весами и активациями, а критически важные компоненты, включая embeddings, lm_head, vision tower, нормализации и MTP-слой, сохранены в bf16. Главное преимущество модели — значительное снижение требований к памяти при сохранении мультимодальности и длинного контекста: объём весов уменьшен на 62,9%. Проверенным вариантом запуска является vLLM с backend modelopt_fp4. Формат NVFP4 требует аппаратной поддержки FP4-тензорных ядер и рассчитан на GPU поколения Blackwell с архитектурами sm_100 или sm_120; на более старых GPU модель работать не может. Это только квантизация исходной модели без дополнительного дообучения, дистилляции или усиленного обучения безопасности, поэтому заявленные данные не показывают разницу качества с полной версией. Лицензия — Apache-2.0.

RexBERT-large — разработанная Rahul Bajaj encoder-only модель семейства ModernBERT, обученная предсказывать скрытые токены и адаптированная к текстам электронной торговли. Она предназначена для поиска и извлечения товаров, классификации, понимания запросов и построения эмбеддингов; для этих сценариев её можно дообучать или использовать как основу для специализированных компонентов. Модель содержит около 394,7 млн параметров, принимает текст, поддерживает контекст до 7 999 токенов и рассчитана на английский язык. Обучение включало общее предобучение, расширение контекста и специализацию на более чем 350 млрд токенов электронной торговли. Модель подходит для поиска по названиям и описаниям товаров, извлечения бренда и характеристик, категоризации и ранжирования. Она не предназначена для генерации длинных текстов; решения о ценах, соблюдении требований и безопасности товаров требуют проверки человеком. Лицензия — Apache-2.0.

jeonsworld/sentence-embedding-base — модель на базе RoBERTa, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 137,8 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 514 токенов. Модель подходит для построения векторного поиска и группировки текстов по смыслу. Метаданные указывают на поддержку извлечения признаков и сравнения предложений. В репозитории указаны веса PyTorch. Лицензия в доступных данных не приведена.

onnx-community/all-MiniLM-L6-v2-ONNX — модель для получения векторных представлений предложений и оценки их семантического сходства. Она основана на sentence-transformers/all-MiniLM-L6-v2, а ONNX-веса подготовлены сообществом onnx-community для совместимости с Transformers.js. Модель предназначена для задач feature extraction, включая семантический поиск, сравнение текстов, кластеризацию и построение систем извлечения информации. Модель работает с английским языком и преобразует предложения в эмбеддинги размерностью 384. В README указано использование mean pooling и нормализации векторов; поддерживается обработка нескольких предложений. Архитектурные детали ограничены принадлежностью к семейству MiniLM с шестью слоями, при этом точный размер модели и максимальная длина контекста не указаны. Модель не является генеративной и не предназначена для создания текста. Сильными сторонами являются компактное представление, удобство локального использования в JavaScript-приложениях через Transformers.js и ориентация на широкий набор задач семантического сопоставления. Ограничения включают поддержку только английского языка и отсутствие сведений о точной производительности в конкретных сценариях. Модель распространяется по лицензии Apache-2.0.

DeepHermes 3 Mistral 24B Preview — языковая модель Nous Research, дообученная на базе Mistral-Small-24B-Base-2501. Это предварительная версия гибридной модели, объединяющей обычный режим ответов и режим рассуждений, который включается системным сообщением. Модель предназначена для диалогов, следования инструкциям, решения задач с рассуждениями и вызова функций; также поддерживает структурированные ответы в формате JSON. Модель имеет плотную архитектуру MistralForCausalLM и 23,4 млрд параметров. Она принимает текст и генерирует текст, поддерживает контекст длиной до 32 768 токенов. В карточке указан английский язык. Модель доступна под лицензией Apache-2.0. Это preview-релиз с ранними возможностями рассуждения, дистиллированными из R1; авторы предупреждают о возможных особенностях и ошибках. Для сложных задач модель может генерировать длинные цепочки рассуждений, поэтому может потребоваться увеличить лимит выходных токенов.

ERNIE-4.5-300B-A47B-W4A8C8-TP4-Paddle — текстовая MoE-модель семейства ERNIE 4.5, разработанная Baidu и распространяемая с весами для PaddlePaddle. Репозиторий содержит вариант W4A8C8 с 4-битными и 8-битными весами; в карточке указаны 47,1 млрд параметров, а README описывает семейство как модель с 300 млрд параметров всего и 47 млрд активируемых на токен. Архитектура включает 54 слоя и 64 текстовых эксперта, из которых активируются 8. Модель предназначена для диалогов, генерации текста и общего языкового понимания. Семейство ERNIE 4.5 обучалось на текстовых и визуальных данных, однако именно этот вариант обозначен как текстовая модель. Поддерживает английский и китайский языки; контекстное окно — 131072 токена. Для запуска предназначены PaddlePaddle и FastDeploy. Модель выпущена под лицензией Apache-2.0. Возможности и качество зависят от аппаратных ресурсов и настроек развёртывания; README приводит пример конфигурации FastDeploy с ограничением длины ввода 32768 токенов.