I.14Автоматизация процессов и AI-агенты

DeepSeek-V2 — языковая модель компании DeepSeek для генерации текста и диалогов. Она основана на архитектуре Mixture-of-Experts (MoE): в README указаны 236 млрд параметров всего и 21 млрд активных на каждом токене; архитектура включает DeepSeekMoE и механизм внимания MLA, который сжимает данные для KV-кэша. В метаданных репозитория указано 18,1 млрд параметров, поэтому сведения о размере в источниках расходятся. Модель обучена на корпусе объёмом 8,1 трлн токенов с последующими этапами supervised fine-tuning и reinforcement learning. Она предназначена для продолжения текста, диалогов, ответов на вопросы, рассуждений и задач программирования. README сообщает о контексте до 128 тысяч токенов, а метаданные указывают нативный контекст 163 840 токенов. Результаты приведены, в частности, для англоязычных и китайских тестов; сведений о поддержке конкретного набора языков нет. DeepSeek-V2 заявлена как более эффективная в обучении и инференсе благодаря MoE и MLA. Для локального запуска в BF16 README указывает требование к оборудованию 8 GPU по 80 ГБ; для инференса также предлагается vLLM. Лицензия в метаданных обозначена как other, поэтому конкретные права использования по этим данным определить нельзя.

Gemini 2.5 Pro — модель Google для сложных задач рассуждения, программирования, математики и науки. В карточке модели указана возможность «thinking», предназначенная для более точной проработки ответов. Модель подходит для решения сложных вопросов, помощи с кодом и математическими задачами, а также научной работы. Метаданные каталога классифицируют её как image-text-to-text, однако предоставленные материалы не описывают поддержку изображений, архитектуру, размер, контекст, языки или условия использования, поэтому эти характеристики здесь не уточняются.

JJaguar/gemma-4-12B-it-qat-q4_0-unquantized-heretic-nx — производная мультимодальная модель на основе Google Gemma 4 12B Instruct, размещённая пользователем JJaguar. Карточка описывает семейство Gemma 4: плотную архитектуру Gemma4Unified с чередованием локального скользящего и глобального внимания; для версии 12B заявлен контекст до 256K токенов. Метаданные указывают формат safetensors и библиотеку Transformers. Модель предназначена для диалога, рассуждений, генерации и исправления кода, анализа текста и мультимодальных входов. Семейство поддерживает понимание изображений и видео, включая OCR, разбор документов, графиков и интерфейсов; для версии 12B также заявлены распознавание речи и перевод речи в текст. Gemma 4 поддерживает более 35 языков; конкретный перечень для этой версии в данных не приведён. Модификация помечена как uncensored, decensored и abliterated, поэтому стандартные защитные ограничения исходной модели могли быть изменены. Среди общих ограничений Gemma 4 — возможные фактические ошибки, влияние пробелов и смещений обучающих данных, а также трудности с неоднозначными и сложными запросами. Лицензия — Apache-2.0.

darkc0de/gemma-4-31B-it-Claude-Opus-Distill-v2-heretic — производная модель на основе unsloth/gemma-4-31B-it, дообученная с помощью Unsloth на наборах рассуждений, дистиллированных из взаимодействий Claude Opus 4.5 и 4.6 с высоким уровнем рассуждений. Затем модель была декензурирована методом abliteration с помощью Heretic v1.3.0; в описанных измерениях частота отказов снизилась с 89 до 28 из 100, а KL-дивергенция относительно исходной версии составила 0,0063. Модель предназначена для диалогов и решения многошаговых задач: генерации и отладки кода, научного анализа, исследовательских запросов и повседневных инструкций. Архитектура Gemma 4 — плотная мультимодальная модель на 31 млрд параметров с поддержкой изображений; заявлены режим рассуждений и обработка изображений с настраиваемым бюджетом визуальных токенов. В метаданных указан pipeline image-text-to-text и библиотека Transformers. Модель распространяется по лицензии Apache-2.0. В README отмечены сниженная склонность к отказам и способность к сложным рассуждениям, однако бенчмарки ещё не опубликованы; измерение отказов приведено только для конкретной внутренней проверки и не гарантирует поведения во всех сценариях.

Карточка модели unsloth/gemma-4-31B-it-qat-q4_0-unquantized на Hugging Face совпадает с карточкой unsloth/gemma-4-12B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. Gemma 4 12B IT QAT Q4_0 Unquantized — мультимодальная инструкционная модель семейства Gemma, разработанного Google DeepMind. Это чекпойнт на 12 млрд параметров, полученный из google/gemma-4-12B-it с применением Quantization-Aware Training; в данном репозитории опубликованы веса safetensors, извлечённые из QAT-конвейера в формате половинной точности, а не готовая к запуску квантизованная сборка. Модель предназначена для диалога, генерации и анализа текста, рассуждений, программирования, работы с изображениями, видео и аудио. Модель принимает текст и изображения, может анализировать видео по последовательности кадров; для варианта 12B также заявлена поддержка аудио, включая распознавание речи и перевод речи в текст. Она генерирует текст, поддерживает вызов функций и контекст до 256 тысяч токенов. Семейство рассчитано на многоязычные сценарии: карточка сообщает о поддержке более 35 языков и обучении на более чем 140 языках, но не перечисляет языки отдельно для этого чекпойнта. QAT-обучение призвано сохранить качество, близкое к bfloat16, при снижении требований к памяти в соответствующих квантованных вариантах. Этот репозиторий содержит именно неупакованные QAT-веса, поэтому для непосредственного запуска может потребоваться собственная компиляция или подходящая среда. Лицензия — Apache 2.0.

Карточка модели OsGo/gemma-4-E4B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-E4B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. Gemma 4 E4B IT QAT Unquantized — мультимодальная модель Google DeepMind с открытыми весами, полученная дообучением Gemma 4 E4B Instruct с применением обучения с учётом квантования (QAT). Репозиторий содержит веса safetensors в половинной точности, извлечённые из QAT-конвейера; эта версия предназначена для собственной компиляции и исследований. Лицензия — Apache 2.0. Модель принимает текст и изображения и генерирует текст. Семейство поддерживает контекст до 128 тысяч токенов для E4B и более 140 языков в обучающих данных; в README заявлена поддержка более 35 языков. Возможности включают диалог, рассуждения, программирование, распознавание речи, перевод речи в текст, понимание изображений и видео, OCR, разбор документов и вызов инструментов. Архитектура — плотная Gemma 4 для условной генерации. QAT ориентирован на снижение требований к памяти при сохранении качества, близкого к bfloat16, однако конкретный репозиторий содержит не готовую к обычному запуску квантованную сборку, а веса половинной точности для последующей компиляции. Аудио указано для E4B, но конкретный формат входов зависит от используемого конвейера.

GPT-3.5 Turbo — модель OpenAI для генерации текста, оптимизированная для диалогов и задач продолжения текста. Она понимает и генерирует естественный язык и код. В карточке указано, что обучающие данные охватывают период до сентября 2021 года. Модель подходит для чат-ботов, ответов на вопросы, написания и преобразования текста, а также помощи с кодом. Сведения о размере, архитектуре, длине контекста и лицензии в предоставленных источниках отсутствуют.

Mistral-Small-3.1-24B-Instruct-2503-GGUF — текстовая инструкционная модель, разработанная Mistral AI и распространяемая в формате GGUF. Квантование подготовлено bartowski на основе llama.cpp. Модель предназначена для генерации текста, диалоговых приложений, агентских сценариев и задач, требующих продвинутого рассуждения. Модель поддерживает контекст длиной до 128 тысяч токенов и множество языков, включая английский, французский, немецкий, греческий, хинди, индонезийский, итальянский, японский, корейский, малайский, непальский, польский, португальский, румынский, русский, сербский, испанский, шведский, турецкий, украинский, вьетнамский, арабский, бенгальский, китайский и фарси. Указанная версия является текстовой и не поддерживает другие модальности. Размер базовой модели — 24B параметров. К сильным сторонам относятся широкий языковой охват, длинный контекст и ориентация на агентские и сложные задачи рассуждения. Ограничения включают текстовую специализацию, возможные ошибки, неточности и нежелательные ответы, типичные для генеративных моделей, а также зависимость производительности и качества от выбранного варианта квантования и аппаратного обеспечения. Модель распространяется по лицензии Apache-2.0.

Sakalti/oxyge1-33B — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES. В качестве базовой модели использована Qwen/QwQ-32B-Preview, в слияние также включена Qwen/Qwen2.5-32B-Instruct. Модель содержит 32 млрд параметров и принимает текст для генерации текста и диалоговых ответов; метаданные также указывают интерфейс вызова инструментов. Модель подходит для диалоговых сценариев, генерации текста, программирования, математических задач и структурированных ответов — эти возможности описаны для базовой Qwen2.5-32B-Instruct. Максимальная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

Phi-4-multimodal-instruct — мультимодальная модель Microsoft на 3,8 млрд параметров с плотной авторегрессионной архитектурой Phi4MM. Она принимает текст, изображения и аудио, а отвечает текстом; в метаданных указано контекстное окно 4096 токенов. В карточке README заявлено 128K токенов, поэтому длина контекста в источниках расходится. Модель предназначена для диалоговых и генеративных систем, которым нужны распознавание и перевод речи, ответы на вопросы по аудио и изображениям, понимание диаграмм и таблиц, OCR, суммаризация и вызов инструментов. Она поддерживает текст на арабском, китайском, чешском, датском, нидерландском, английском, финском, французском, немецком, иврите, венгерском, итальянском, японском, корейском, норвежском, польском, португальском, русском, испанском, шведском, тайском, турецком и украинском; аудио — на английском, китайском, немецком, французском, итальянском, японском, испанском и португальском; изображения — на английском. Microsoft сообщает о supervised fine-tuning, direct preference optimization и RLHF для следования инструкциям и повышения безопасности. Модель распространяется по лицензии MIT. Разработчики предупреждают, что качество может различаться между языками, а применимость к конкретным сценариям следует оценивать отдельно, особенно в высокорисковых областях.

ThomasBaruzier/Qwen2.5-7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-7B-Instruct. Квантизации подготовлены ThomasBaruzier с использованием llama.cpp и метода imatrix; исходная модель разработана командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, работы с кодом и математическими задачами, структурированными данными и JSON. Модель является авторегрессионной causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV attention. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами для Q и 4 для KV. Поддерживаются контексты до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Основное преимущество репозитория — выбор вариантов квантизации с разным компромиссом между размером файла, качеством и требованиями к ресурсам: от IQ1_S размером около 1,8 ГБ до F16 размером около 14,5 ГБ. Более лёгкие варианты удобны для локального запуска, но могут сильнее терять качество; по приведённой таблице, F16 сохраняет базовый уровень качества, а Q6_K, Q8_0 и варианты Q5 обеспечивают близкие показатели при меньшем размере. Для использования необходима совместимая среда, например llama.cpp. Модель и производные квантизации распространяются по лицензии Apache-2.0.

RedHatAI/Qwen3-4B-Instruct-2507-quantized.w8a8 — это квантизированная версия языковой модели Qwen/Qwen3-4B-Instruct-2507, разработанная Red Hat совместно с Neural Magic. Модель построена на архитектуре Qwen3ForCausalLM, работает с текстом на входе и генерирует текст на выходе. Размер базовой модели — 4 млрд параметров; поддерживается контекст до 262 144 токенов в конфигурации развертывания, указанной в README. Модель предназначена для рассуждений, следования многоязычным инструкциям, перевода и function calling. Её также можно адаптировать под предметные области с помощью дообучения. Языки перечислены обобщённо как многоязычные, без указания конкретного набора языков. Поддерживается эффективное развертывание через vLLM, включая OpenAI-совместимый API. Веса и активации линейных операторов в блоках Transformer квантизированы в INT8; применяются SmoothQuant и GPTQ. Это примерно вдвое снижает требования к памяти и размер модели на диске, а также может увеличить пропускную способность матричных умножений примерно в 2 раза. Ограничение модели — использование квантованного представления и текстовая модальность; сведения о конкретном влиянии квантования на качество и подробные результаты оценки в README не приведены. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-27B-FP8 — мультимодальная причинная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия постобученной модели Qwen3.5-27B с весами и конфигурацией для Hugging Face Transformers; также заявлена совместимость с vLLM, SGLang и KTransformers. Модель предназначена для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель использует языковую часть на 27 млрд параметров и vision encoder. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; предусмотрено многократное обучение предсказанию следующих токенов. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. FP8-квантизация выполнена с блочным размером 128, при этом, согласно README, показатели производительности близки к исходной модели. Сильными сторонами являются мультимодальность, большой контекст, широкая языковая поддержка и потенциально более эффективный инференс благодаря гибридной архитектуре и FP8-представлению. Ограничения конкретной версии, включая фактическое качество на отдельных задачах, требования к аппаратному обеспечению и особенности работы с изображениями, в README подробно не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-int4-AutoRound — мультимодальная версия базовой модели Qwen/Qwen3.8-27B, подготовленная пользователем devan-carlin с использованием Intel AutoRound. Модель предназначена для генерации текста, решения математических и логических задач, программирования, работы с алгоритмами, а также анализа изображений и текстовых запросов. Модель содержит 27 млрд параметров и использует архитектуру qwen3_5 с 64 слоями и чередованием линейного и полноформатного внимания в соотношении 3:1. Поддерживается контекст длиной до 256K токенов. В репозитории присутствует vision tower Qwen3-VL, поэтому модель работает как в текстовом, так и в мультимодальном режиме. Квантизация выполнена в INT4 с помощью AutoRound, с размером группы 128 и симметричным представлением; отдельные компоненты сохранены в 16-битной точности. Основное преимущество — существенное снижение объёма памяти: около 18 ГБ против примерно 52 ГБ для BF16, а также более высокая скорость генерации на конфигурации из четырёх Intel Arc Pro B70. В заявленном тесте скорость составила 47,8 токена в секунду против 30,2 у BF16, при сопоставимом качестве на математических, логических, алгоритмических и программных запросах. Ограничением является более многословная генерация INT4-версии, из-за чего при длинных ответах может потребоваться увеличить параметр max_tokens. Для запуска рекомендуется vLLM с tensor parallelism; на XPU/ARK может потребоваться исправление qzeros guard для загрузки симметричных INT4-весов. Модель распространяется по лицензии Apache-2.0, как и базовая модель.

Qwen3-Embedding-8B — модель текстовых эмбеддингов семейства Qwen3, разработанная командой Qwen и опубликованная в формате safetensors. Она основана на Qwen/Qwen3-8B-Base и дообучена для преобразования текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Модель содержит 7,6 млрд параметров и поддерживает контекст до 40 960 токенов по метаданным; в README указана длина 32K токенов. Модель предназначена для семантического поиска по текстам и коду, извлечения информации, классификации и кластеризации текстов, поиска параллельных текстов и других задач, основанных на сходстве. Она поддерживает более 100 языков, настраиваемую размерность выходного вектора от 32 до 4096 и инструкции, задающие контекст задачи. В README для multilingual MTEB приведён результат 70,58 по состоянию на 5 июня 2025 года. Для работы с Transformers требуется версия 4.51.0 или новее: более ранние версии могут выдавать ошибку при загрузке архитектуры Qwen3. Модель распространяется по лицензии Apache-2.0; крупный размер может требовать значительных вычислительных ресурсов.

QuantFactory/dolphin-2.9.2-qwen2-7b-GGUF — это квантизированная версия языковой модели Dolphin 2.9.2 Qwen2 7B, созданная с использованием llama.cpp. Модель разработана и обучена Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе Qwen2-7B. В обучении использовались наборы данных для инструкций, диалогов, программирования, математических задач, function calling и агентных сценариев, включая Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction и другие источники. Модель предназначена для генерации текста, выполнения инструкций, ведения диалогов, помощи в программировании, решения математических задач, начальных агентных сценариев и function calling. Она поддерживает контекст до 128k токенов, при этом полновесное дообучение выполнялось с длиной последовательности 16k. Модель является текстовой и рассчитана на использование в формате ChatML; другие модальности в README не заявлены. Языки явно не указаны. К сильным сторонам относятся широкий набор инструкционных, разговорных и кодинговых навыков, поддержка длинного контекста, локальный запуск в формате GGUF и возможность коммерческого использования в рамках условий лицензии Qwen. Модель описана как uncensored: из обучающих данных удалялись alignment и bias, поэтому она может быть более податливой, включая потенциально небезопасные запросы. Разработчики рекомендуют самостоятельно добавить слой выравнивания и фильтрации перед предоставлением модели пользователям; ответственность за создаваемый контент несёт применяющая сторона. Лицензия указана как tongyi-qianwen license, с разрешением на использование, включая коммерческое, при соблюдении её условий.

Карточка модели omegaT4224/Emulator.exe на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

google/gemma-4-31B-it-qat-q4_0-unquantized — мультимодальная инструкционно-настроенная модель семейства Gemma 4, разработанная Google DeepMind. Это dense-модель с архитектурой Gemma4ForConditionalGeneration, принимающая текст и изображения и генерирующая текст. Вариант QAT Q4_0 содержит веса половинной точности, извлечённые из процесса обучения с учётом квантования; он предназначен для дальнейшей компиляции и исследовательской работы с меньшими требованиями к памяти по сравнению с обычной версией bfloat16. Модель подходит для диалогов, генерации и анализа текста, программирования, рассуждений, понимания изображений, распознавания текста на изображениях и разбора документов. Семейство Gemma 4 поддерживает контекст до 256 тысяч токенов и многоязычную работу; описание карточки заявляет поддержку более 140 языков при предварительном обучении. Для этого варианта доступен формат safetensors и библиотека Transformers. Лицензия — Apache 2.0. Возможности обработки аудио и видео перечислены для отдельных моделей семейства, но не подтверждены для данного чекпойнта. Качество и скорость зависят от аппаратного обеспечения и последующей компиляции; QAT-веса этого варианта не являются готовым GGUF-пакетом для непосредственного развёртывания.

K2-Horizon-7B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-7B, разработанной IFM. Это плотная decoder-only модель примерно на 7 млрд параметров, предназначенная для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Модель поддерживает английский язык и относится к текстовым моделям без мультимодального или визуального входа. Исходная модель имеет нативное контекстное окно до 524 288 токенов (512K), что делает её подходящей для анализа больших документов и других задач с длинным контекстом. Доступны варианты квантизации Q4_0, Q4_K_M, Q4_K_M Selective, Q5_K_M, Q6_K и Q8_0 размером примерно от 5,34 до 9,57 ГБ. Вариант Selective сохраняет тензоры проекций внимания Q/K/V/O в формате Q6_K поверх базовой Q4_K_M. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, в частности форк MBZUAI-IFM до появления поддержки в upstream. Файлы содержат совместимый с llama.cpp шаблон чата; доступны форматы вызова инструментов xml, json и xml_typed. Ограничения включают зависимость от специализированного runtime, потребность в значительном объёме памяти при использовании контекста 512K и возможные потери качества из-за квантизации. Модель распространяется по лицензии Apache-2.0.

Lion-Lamarck-v.1.0.8 — объединённая с помощью mergekit методом SCE языковая модель на архитектуре Qwen2, опубликованная пользователем nlpguy. В качестве основы использована sometimesanotion/Lamarck-14B-v0.7; в объединение также вошли SuperNova-Medius, Virtuoso-Small, Qwen2.5-14B-Vimarckoso-v3 и DeepSeek-R1-Distill-Qwen-14B. Размер модели — 14 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для диалогов и генерации текста. Она может использоваться для ответов на вопросы, помощи с математическими задачами и программированием, а также для текстовых задач, требующих рассуждений. Доступны веса в формате safetensors и интерфейс для вызова инструментов. В метаданных не указана лицензия, поэтому условия использования следует проверить на странице репозитория Hugging Face.

unsloth/Llama-3.1-8B-unsloth-bnb-4bit — это 4-битная версия языковой модели Llama 3.1 с 8 млрд параметров, подготовленная Unsloth на основе базовой модели Meta Llama 3.1 8B. Модель работает с текстом на входе и генерирует многоязычный текст и программный код. Архитектура — авторегрессионный Transformer с поддержкой Grouped-Query Attention (GQA), контекстное окно — до 128 тысяч токенов. Модель обучена на смеси общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. В README явно указан английский язык, при этом семейство Llama 3.1 описано как многоязычное. Модель предназначена для генерации текста и кода, диалоговых сценариев, дообучения под прикладные задачи и запуска в условиях ограниченных вычислительных ресурсов. 4-битное представление снижает требования к памяти по сравнению с полноразмерной версией и подходит для локального инференса и последующего fine-tuning, однако может сопровождаться компромиссами по точности и качеству генерации. README не содержит детальных результатов бенчмарков или характеристик аппаратных требований. Использование регулируется лицензией Llama 3.1; дополнительных условий для версии Unsloth в README не указано.

Карточка модели Darth-Coder/my-model2.5-14b-it на Hugging Face совпадает с карточкой Qwen/Qwen2.5-14B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-14B-Instruct — инструкционно дообученная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель с архитектурой Qwen2ForCausalLM, 14,7 млрд параметров, RoPE, SwiGLU, RMSNorm и групповой обработкой запросов внимания. Репозиторий содержит веса в формате Safetensors и предназначен для генерации текста в диалоговом формате. Модель подходит для чат-ботов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. В README заявлена поддержка более 29 языков, в том числе русского и английского. Метаданные указывают контекст в 32 768 токенов; README сообщает о возможности расширения контекста до 131 072 токенов с YaRN и генерации до 8 192 токенов. Модель также заявлена как улучшенная для программирования и математики, но результаты зависят от запроса и не гарантируют точности. Для контекстов длиннее 32 768 токенов требуется настройка YaRN; её статический коэффициент масштабирования в vLLM может снижать качество на коротких входах. Лицензия Apache-2.0 допускает использование на её условиях.

paraphrase-distilroberta-base-v2 — модель sentence-transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения смысловой близости, семантического поиска и кластеризации. Архитектура основана на RoBERTa; модель содержит 95,2 млн параметров и рассчитана на контекст до 514 токенов. Для получения эмбеддингов используется библиотека Sentence-Transformers; веса доступны в форматах PyTorch, TensorFlow, Flax, ONNX и OpenVINO. Модель подходит для поиска похожих текстов, группировки предложений по смыслу и построения семантического поиска по коллекциям документов. В карточке не заявлена специализация на конкретном языке или предметной области. Лицензия Apache-2.0 разрешает свободное использование с соблюдением её условий.

paraphrase-MiniLM-L12-v2 — модель sentence-transformers, обученная командой Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для поиска семантически близких текстов, кластеризации и сравнения сходства. Модель основана на архитектуре BERT и содержит около 40 млн параметров; максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, группировки похожих текстов и поиска парафразов. Она принимает текст и выдаёт векторные представления, которые можно сравнивать по близости. Доступны варианты форматов PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO; для работы используются библиотека sentence-transformers или Transformers с подходящей операцией pooling. Модель опубликована под лицензией Apache-2.0. README не приводит отдельной оценки качества или специальных ограничений; при использовании для семантического поиска точность зависит от данных и выбранного способа сравнения векторов.

Phi-3-Medium-128K-Instruct — языковая модель Microsoft из семейства Phi-3 с плотной архитектурой Phi3ForCausalLM и 13,8 млрд параметров. Это версия с настройкой для следования инструкциям и диалогового формата; постобучение включало supervised fine-tuning и direct preference optimization. Модель предназначена для генерации текста, ответов на вопросы и задач, требующих рассуждений, в частности программирования, математики и логики. Вариант рассчитан на контекст до 128 тысяч токенов согласно карточке модели. Он ориентирован прежде всего на английский язык; карточка также отмечает многоязычность, но качество на языках помимо английского может быть ниже. Модель поддерживает сценарии генерации кода, однако её обучающие данные для кода в основном охватывают Python и распространённые библиотеки. Модель может генерировать недостоверные ответы, воспроизводить стереотипы и выдавать оскорбительный или неподходящий контент даже после настройки безопасности. Результаты, особенно код и ответы для чувствительных областей, следует проверять. Лицензия — MIT.

sentence-transformers/quora-distilbert-multilingual — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости, семантического поиска и кластеризации. Модель построена на DistilBERT и предназначена для работы с текстом; максимальная длина контекста составляет 512 токенов. Модель подходит для поиска похожих вопросов и текстов, группировки предложений по смыслу и получения эмбеддингов для поисковых систем. Доступны варианты весов PyTorch, TensorFlow, ONNX и OpenVINO; для удобной работы можно использовать библиотеку Sentence-Transformers. Модель распространяется по лицензии Apache-2.0.

Qwen/Qwen1.5-32B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2: плотная авторегрессионная языковая модель на архитектуре Transformer, предназначенная для диалогов и генерации текста. В этой версии 31,7 млрд параметров; контекст — до 32 768 токенов. Модель обучена на больших массивах данных и адаптирована для общения. Семейство поддерживает несколько естественных языков, а токенизатор рассчитан на работу с разными языками и кодом; в карточке модели отдельно отмечен английский. Для варианта 32B применяются Group Query Attention, а также SwiGLU и смещение в проекциях QKV. Модель работает через Transformers и формат safetensors; для загрузки README рекомендует transformers версии 4.37.0 или новее. Модель подходит для чат-ботов, ответов на вопросы и свободной генерации текста. При переключении между языками или нестабильном качестве генерации README советует использовать параметры из generation_config.json. Лицензия в метаданных указана как other, поэтому конкретные условия использования следует сверить с файлами репозитория.

cyankiwi/Qwen3.5-27B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen. Модель представляет собой каузальную языковую модель с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит 27 млрд параметров и использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; в языковой части заявлены 64 слоя и скрытая размерность 5120. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Квантизация AWQ до 4 бит снижает требования к памяти и может повысить практическую эффективность инференса, но потенциально сопровождается некоторой потерей качества по сравнению с полной точностью. Модель совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers. README указывает лицензию Apache 2.0. Конкретные требования к аппаратному обеспечению, ограничения безопасности и подробные результаты для данной AWQ-версии не приведены.

local-inference-lab/Qwen3.8-Flash-Next-NVFP4 — мультимодальная conversational-модель, дистиллированная из Qwen/Qwen3.8-Flash-Next с применением quantization-aware distillation. Она предназначена для диалогов, общего следования инструкциям, reasoning, программирования, multilingual-сценариев и обработки изображений с текстом. В качестве учителя использовалась исходная BF16-модель Qwen, а обучение проводилось на корпусе из 200 004 844 prompt-and-response токенов и 53 573 документов с последовательностями до 8 192 токенов. Архитектура сохранена без сокращения числа слоёв и экспертов: 48 decoder layers, 512 routed experts на слой, из которых для каждого токена активны 10, гибрид Gated DeltaNet/Qwen Sparse Attention и n-gram embedding tables. Сжатие достигается пониженной точностью весов: routed experts и часть компонентов используют NVFP4, другие проекции — MXFP8, а отдельные параметры остаются в BF16. Также сохранены vision encoder, MTP-модуль, tokenizer, chat template и vision assets. Размер checkpoint составляет около 98 GiB; заявлены оценки AA-LCR 79.4, GPQA Diamond 89.9 и Tool Eval Bench 91. Сильные стороны модели — сохранение исходной архитектуры, обучение с компенсацией ошибок квантования и более высокая эффективность по сравнению с NVFP4 PTQ на GPQA Diamond: при сопоставимом качестве модель использовала меньше токенов. Ограничения включают значительный объём checkpoint, дополнительные требования к памяти для KV cache и runtime buffers, а также необходимость runtime с поддержкой Qwen3.8-Flash-Next и смешанного ModelOpt-формата NVFP4/MXFP8, включая NVFP4 PLE tables. Модель распространяется по лицензии qwen-community-1.0; точные условия следует проверять по указанной license-ссылке.

Smaug-Llama-3-70B-Instruct-32K — большая языковая модель Abacus.AI для диалогов и генерации текста, основанная на Meta Llama 3 70B Instruct. Это плотная авторегрессионная архитектура Llama с 69,5 млрд параметров и контекстом до 32 768 токенов. Версия 32K использует PoSE и перенос LoRA-адаптера; формат репозитория — safetensors, модель предназначена для работы с Transformers и сохраняет формат промптов Llama 3 70B Instruct. Модель подходит для диалоговых ассистентов, ответов на вопросы, решения математических задач и помощи с кодом. В README приведены результаты отдельных тестов, однако авторы отмечают, что на оценку Arena-Hard влияет многословность ответов; часть результатов бенчмарков отсутствует или помечена как предварительная. Модель распространяется по лицензии Llama 3 (llama3), условия которой следует учитывать при использовании и распространении.