I.14Автоматизация процессов и AI-агенты

Olmo-3-7B-Think-DPO — авторегрессионная языковая модель семейства OLMo 3, разработанная Allen Institute for AI (Ai2). Это плотный Transformer с 6,9 млрд параметров, дообученный методом DPO на наборе Dolci-Think-DPO-7B поверх allenai/Olmo-3-7B-Think-SFT. Модель поддерживает диалоговый режим и генерирует текст; контекстное окно составляет 65 536 токенов. Основной язык — английский. Модель предназначена для рассуждений с длинной цепочкой шагов, особенно при решении математических задач и написании кода, а также для диалогов, ответов на общие вопросы и следования инструкциям. В обучающих данных DPO были математические, программные, диалоговые и общеобразовательные запросы. Модель распространяется в форматах PyTorch и Safetensors и поддерживается Transformers версии 4.57.0 и выше. Лицензия — Apache 2.0; карточка также отсылает к рекомендациям Ai2 по ответственному использованию. Модель может выдавать неверные факты и без фильтрации генерировать вредный или предвзятый контент, поэтому ответы следует проверять.

sentence-transformers/paraphrase-mpnet-base-v2 — модель для преобразования предложений и абзацев в плотные векторы размерности 768. Она обучена командой Sentence Transformers на архитектуре MPNet и подходит для семантического поиска, кластеризации и сравнения сходства текстов. Модель принимает текст и выдаёт эмбеддинги; для использования через Transformers поверх контекстных представлений токенов требуется корректная операция pooling. Число параметров — 136,7 млн, длина контекста — 514 токенов. Доступны варианты в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. В карточке не заявлена специализация на конкретном языке.

paraphrase-TinyBERT-L6-v2 — модель sentence-transformers, обученная командой sentence-transformers для преобразования предложений и абзацев в плотные векторы размерности 768. Она основана на архитектуре BERT и предназначена для получения эмбеддингов, которые можно сравнивать по смыслу. Модель подходит для семантического поиска, кластеризации текстов и оценки сходства предложений. Для работы с ней можно использовать библиотеку Sentence-Transformers; при использовании Transformers необходимо применить подходящую операцию pooling к контекстным представлениям токенов. Репозиторий содержит варианты в форматах PyTorch, safetensors, TensorFlow, ONNX и OpenVINO. Максимальная длина контекста — 512 токенов. Модель распространяется по лицензии Apache-2.0.

unsloth/Phi-3.5-mini-instruct — инструктивная языковая модель, представленная Unsloth как вариант Microsoft Phi-3.5-mini-instruct. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и 3,7 млрд параметров; репозиторий содержит веса Safetensors и поддерживает Transformers. Модель рассчитана на диалоги, генерацию текста и использование в приложениях с ограничениями по памяти или задержке. Модель подходит для ответов на вопросы, многоязычных диалогов, суммаризации длинных документов, извлечения сведений из текста, а также задач на код, математику и логику. В карточке базовой модели заявлена поддержка контекста до 128 тысяч токенов, однако метаданные этого репозитория указывают нативный контекст 4096 токенов, поэтому для данного варианта следует ориентироваться на значение из метаданных. README описывает семейство как многоязычное, но не перечисляет конкретные языки. Модель дообучена на основе microsoft/Phi-3.5-mini-instruct; README отмечает улучшения многоязычных диалогов, следования инструкциям и рассуждений, но предупреждает о возможных ошибках и уязвимости к многошаговым обходам защит. Лицензия репозитория — MIT; перед применением в критичных сценариях необходимо оценить точность и безопасность ответов.

Qwen2.5 — семейство текстовых генеративных моделей, разработанное командой Qwen. Репозиторий cortexso/qwen2.5 предоставляет варианты моделей общего назначения, а также специализированные версии для программирования и математики. Модели предназначены для генерации и обработки текста, включая разработку программного кода и решение математических задач, с выбором размера под доступные вычислительные ресурсы и требования к качеству. Доступны варианты общего назначения размером от 0,5 до 72 млрд параметров, а также Qwen2.5 Coder объёмом 1,5 и 7 млрд параметров и Qwen2.5 Math объёмом 1,5 и 7 млрд параметров. В README не указаны архитектура, поддерживаемые языки, контекстное окно, модальности и конкретные показатели качества, поэтому эти характеристики нельзя надёжно определить по представленным данным. Модели распространяются для работы через Jan и Cortex; конвертером указан Homebrew. Лицензия — Apache 2.0. Сильной стороной семейства является широкий диапазон размеров и наличие специализированных вариантов для кода и математики, что позволяет выбирать модель под конкретный сценарий. Ограничения и требования к аппаратным ресурсам зависят от выбранного варианта и в README подробно не описаны.

Interlinkarts/Qwen3.5-9B-GGUF — версия модели Qwen3.5-9B, разработанной командой Qwen. Репозиторий предназначен для локального запуска модели в формате GGUF; при этом README также указывает совместимость исходных артефактов с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель распространяется по лицензии Apache-2.0. Это мультимодальная causal language model с vision encoder, предназначенная для генерации и понимания текста, анализа изображений, рассуждений, программирования, агентских сценариев и других задач vision-language. Заявлена поддержка 201 языка и диалекта. Контекстное окно составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Модель содержит 9 млрд параметров и использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; также применяются Gated Attention, 32 слоя, скрытая размерность 4096 и multi-step training. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, высокая заявленная эффективность инференса и поддержка длинного контекста. README не содержит точных сведений о варианте GGUF-квантизации, требованиях к аппаратному обеспечению и ограничениях качества, поэтому эти характеристики требуют отдельной проверки.

Qwen3.5-9B-NVFP4 — квантизированная версия модели Qwen3.5-9B, подготовленная IG1. Модель предназначена для задач генерации текста и мультимодального взаимодействия в формате image-text-to-text, включая диалоги, рассуждения, программирование, работу с мультиязычными запросами и, при соответствующей поддержке сервера, вызов инструментов. Базовая модель разработана командой Qwen; в карточке также указаны наборы данных UltraChat, GSM8K, CodeAlpaca и Aya, использованные для калибровки квантизации. Модель использует гибридную архитектуру Mamba с компонентами attention и поставляется в формате NVFP4. При квантизации длина последовательности была увеличена до 8192 токенов, а калибровочная выборка — до 1024 примеров из разговорных, математических, программных и мультиязычных данных. Для запуска рекомендуется vLLM на GPU NVIDIA; в примере конфигурации для RTX 5090 заявлена максимальная длина контекста около 110 880 токенов, однако фактический размер зависит от настроек и доступной видеопамяти. К сильным сторонам относятся сниженное потребление памяти благодаря NVFP4, поддержка режимов с рассуждением и без него, а также профили для общих, программных и творческих сценариев. Ограничением является несовместимость или нестабильная работа FP8 KV cache: по данным автора, его использование может приводить к быстрой деградации качества или повреждению результатов квантизации. Карточка рекомендует развертывание через vLLM и содержит настройки для оптимизации работы на RTX 5090. Модель распространяется по лицензии Apache 2.0.

EschaLabs/Qwen3.8-27B-Escha-W2 — это 2-битная квантованная сборка модели Qwen3.8-27B, разработанная Escha Labs Inc. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и программирования. Она поддерживает режим thinking, в котором может формировать расширенное рассуждение перед ответом, а также совместима с OpenAI-совместимым HTTP-интерфейсом через специализированный runtime на базе SGLang. Модель сохраняет полный объём в 27 млрд параметров. Используется смешанная квантование 2/3 бита для проекций с эффективной точностью 2,469 бита на вес, а embedding и head имеют формат int8. Размер весов составляет около 10,15 ГБ, общий размер загрузки — около 10,18 ГБ. На одной видеокарте с 24 ГБ памяти заявлена работа с контекстом до 64K токенов, а при специальной настройке — до 128K; проверены RTX 5090, RTX 4090 и RTX 3090. Указан английский язык, однако README не содержит полного перечня языков или точного максимального размера контекста базовой модели. К сильным сторонам относятся существенная экономия памяти, возможность локального запуска и высокие заявленные результаты на тестах: 79,25% на Commonsense-6, 88,38% на GPQA-Diamond и pass@1 86,81% на LiveCodeBench v6. Ограничения включают зависимость от Linux x86-64, NVIDIA GPU с архитектурой sm_80 или новее, CUDA 12.8, Python 3.12 и специального runtime; видеокарты на 16 ГБ не проверялись и требуют уменьшенного контекста. Для корректной работы также важны совместимые версии PyTorch, SGLang и Transformers. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-4B-Thinking-GGUF — это мультимодальная vision-language модель из серии Qwen, разработанная командой Qwen. Репозиторий содержит веса базовой модели Qwen3-VL-4B-Thinking в формате GGUF, разделённые на языковую модель и vision encoder. Модель предназначена для понимания и генерации текста по текстовым и визуальным данным, включая изображения и видео, а также для локального запуска на пользовательских устройствах. Модель поддерживает сценарии визуального анализа, OCR, пространственного рассуждения, STEM- и математические задачи, понимание документов и видео, генерацию кода и разметки по изображениям, а также взаимодействие с графическими интерфейсами и инструментами. Заявлены улучшенные визуальное восприятие и рассуждение, распознавание текста на 32 языках, работа с объектами, позициями, перекрытиями и временными событиями в видео. Для семейства Qwen3-VL указано нативное контекстное окно 256K токенов с возможностью расширения до 1M. Веса доступны для языковой модели в вариантах FP16, Q8_0 и Q4_K_M, а для vision encoder — в FP16 и Q8_0, что позволяет выбирать баланс качества, скорости и требований к памяти. Формат совместим с llama.cpp, Ollama и другими инструментами GGUF; заявлена поддержка CPU, NVIDIA GPU через CUDA, Apple Silicon через Metal и Intel GPU через SYCL. Для работы требуются совместимые инструменты и отдельный файл vision encoder, а выбор квантования может влиять на качество и производительность. Модель распространяется по лицензии Apache-2.0.

semantic-lite — компактная многоязычная модель эмбеддингов, созданная разработчиком репозитория ukung на основе Qwen3-0.6B. Это плотная модель семейства Qwen3 с 6 слоями после сокращения исходных 28; метаданные указывают 231,1 млн параметров, а README — около 250 млн. Она преобразует текст в векторы размерности 1024 для семантического поиска, сравнения сходства, межъязыкового поиска, кластеризации, поиска дубликатов и парафраз, а также подготовки контекста для RAG и рекомендаций. Модель рассчитана на работу через sentence-transformers; в метаданных указан контекст до 40 960 токенов, тогда как README приводит максимум 8 192 токена. По карточке, модель наследует широкое языковое покрытие Qwen3; метаданные явно перечисляют английский, индонезийский, французский, испанский, немецкий, португальский, итальянский, нидерландский, японский, китайский, корейский, арабский, русский, вьетнамский, тайский, турецкий, польский, украинский, шведский, персидский, иврит и хинди. README сообщает о хорошем сходстве представлений в тесте на 22 языках и результатах выше all-MiniLM-L6-v2 на небольшом внутреннем индонезийском наборе. Лицензия — Apache-2.0. Нулевая классификация не поддерживается; короткие абстрактные запросы могут требовать асимметричных префиксов query:/passage:, а опубликованная оценка ограничена небольшим внутренним корпусом.

Sinythos 5.5 — это готовый к запуску вариант Qwen3-30B-A3B-Thinking-2507, подготовленный HTPQoo и распространяемый в формате GGUF для LM Studio, Jan, Atomic Chat и llama.cpp. Это модель MoE с 30 млрд параметров, из которых активны 3,3 млрд на токен; README сообщает, что все 579 тензоров побайтно совпадают с квантованной сборкой UD-Q4_K_XL базовой модели. Изменены встроенный шаблон чата и системная директива с шестью правилами поведения, поэтому модель не является обученной с нуля или дообученной версией. Модель предназначена для диалогов и генерации текста, включая рассуждения, помощь с программированием и агентские сценарии с внешними инструментами, выполнением кода и повторной проверкой ответа. Встроенная директива ориентирует ответы на язык пользователя; в метаданных отмечены итальянский, английский и многоязычность. Для применения в llama.cpp требуется включить обработку шаблона через `--jinja`; без неё пользовательские инструкции из шаблона не применяются. README указывает файл размером 17,7 ГБ и возможность запуска на CPU при достаточном объёме RAM. Веса распространяются по лицензии Apache 2.0, унаследованной от Qwen; для кода runtime указана MIT. Для полной реализации агентского сценария требуются runtime и инструменты, которые предоставляет приложение, а не только файл модели.

all-MiniLM-L12-v2 — модель Sentence Transformers на архитектуре BERT, размещённая пользователем sheldonrobinson. Она кодирует предложения и короткие абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации. Модель дообучена контрастивным обучением на более чем миллиарде пар предложений, используя microsoft/MiniLM-L12-H384-uncased; поддерживает текстовый ввод и выдаёт векторные представления. По README, вход длиннее 256 word pieces обрезается; метаданные указывают контекст до 512 токенов. Лицензия — Apache-2.0.

Arcee-Blitz — плотная языковая модель семейства Mistral с 23,4 млрд параметров, разработанная Arcee AI на базе Mistral-Small-24B-Instruct-2501. Модель дистиллировали на логитах DeepSeek-V3, затем дополнительно дообучили; она предназначена для диалогов и широкого круга задач генерации текста как практичная и эффективная рабочая модель. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. В карточке приведены результаты сравнительных тестов на MixEval, GPQADiamond и BigCodeBench Complete, где Arcee-Blitz превосходит указанную версию Mistral-Small-3; эти результаты не гарантируют качество на других задачах. Репозиторий распространяется по лицензии Apache-2.0.

Ductratra/BGE_M3_v2 — модель Sentence Transformer на архитектуре XLM-RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024; сходство между текстами можно оценивать косинусной мерой. Модель рассчитана на последовательности длиной до 8192 токенов. Её можно применять для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. В репозитории указаны веса safetensors и библиотека sentence-transformers. Лицензия и конкретные обучающие данные в предоставленных сведениях не описаны.

BidirLM-1.7B-Embedding — многоязычная модель для получения текстовых эмбеддингов, разработанная авторами семейства BidirLM. Это плотный двунаправленный энкодер BidirLMModel на 1,7 млрд параметров, дообученный на основе BidirLM/BidirLM-1.7B-Base контрастивным обучением. Модель использует mean pooling, поддерживает контекст до 32 768 токенов и предназначена для семантического поиска и других задач сопоставления текстов. Модель подходит для поиска и извлечения документов, оценки семантического сходства, кластеризации, классификации текстов, парной классификации, переранжирования и поиска параллельных текстов. Также её можно дообучать для классификации последовательностей и токенов, включая NER и POS-разметку. В карточке заявлена поддержка более 119 языков; метаданные подтверждают многоязычность и перечисляют языковые коды, включая английский, арабский, китайский и хинди. В карточке отмечены результаты на бенчмарках MTEB и LongEmbed, а также возможность применять одну модель и для эмбеддингов, и для последующего дообучения под прикладные задачи. Для загрузки требуется trust_remote_code=True и совместимые версии Transformers и Sentence Transformers. Модель распространяется по лицензии Apache-2.0.

koreallmdev/deepseek70b-7816-merged-bf16 — самостоятельная версия DeepSeek-R1-Distill-Llama-70B, выпущенная koreallmdev. Модель получена слиянием LoRA-адаптера, обученного на 7 816 строках, с базовой моделью; после загрузки адаптер отдельно не требуется. Это плотная авторегрессионная архитектура Llama с 69,5 млрд параметров и контекстом до 131 072 токенов, работающая через Transformers и сохранённая в safetensors в формате BF16. Модель предназначена для диалоговой генерации текста, математических рассуждений, программирования и ответов на сложные вопросы — эти возможности указаны для базовой DeepSeek-R1-Distill-Llama-70B. Выпуск обозначен как Conditional Stable; README также сообщает о 200 отложенных оценочных примерах и наличии smoke-тестовых материалов, но не заявляет бездефектное качество. Модель распространяется по лицензии MIT.

DeepSeek-R1-Distill-Qwen-14B — плотная языковая модель на архитектуре Qwen2, выпущенная DeepSeek. Это 14-миллиардная версия серии дистиллированных моделей DeepSeek-R1: её дообучили на примерах рассуждений, созданных DeepSeek-R1, а в качестве основы использовали модель семейства Qwen2.5. Модель предназначена для генерации текста и диалогов с пошаговыми рассуждениями, особенно при решении математических задач, программировании и ответах на сложные вопросы. Модель принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. В карточке не указана специализация на конкретных естественных языках. Репозиторий содержит веса safetensors и рассчитан на использование через Transformers. Лицензия MIT разрешает использование и распространение на её условиях. Как и другие языковые модели, она может ошибаться, выдавать неверные рассуждения или некорректный код; качество не гарантируется для каждой задачи.

blackbook-lm/DeepSeek-R1-Distill-Qwen-7B-heretic — разговорная языковая модель на архитектуре Qwen2, основанная на DeepSeek-R1-Distill-Qwen-7B. По метаданным, она содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации ответов и рассуждений, в том числе для задач по математике и программированию. Это вариант с abliteration: в карточке приведено сравнение с исходной моделью, где число отказов на тесте из 100 запросов снизилось с 49 до 5, а KL-дивергенция составила 0,0071. Тегами также отмечено снижение ограничений на ответы. Эти результаты относятся к приведённой в карточке оценке и не гарантируют такого поведения на других запросах. Веса опубликованы в формате safetensors, библиотека для работы — Transformers, лицензия — MIT. Карточка не указывает отдельные языковые характеристики этого варианта; базовая модель семейства DeepSeek-R1 предназначена для рассуждений, математики и кода.

Dolphin 2.6 Mistral 7B DPO LASER — разговорная языковая модель, созданная Eric Hartford и Fernando Fernandes на основе Mistral-7B. Это специальный выпуск Dolphin-DPO: авторы применили к весам метод LASER со снижением ранга отдельных слоёв и дополнительным шумоподавлением на основе SVD. Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов по метаданным. Она принимает текст в формате ChatML и генерирует текст. Модель предназначена для диалогов, ответов на вопросы, помощи с кодом и выполнения инструкций. В обучении использовались наборы Dolphin, Airoboros, OpenHermes, Magicoder и Capybara. Карточка заявляет улучшение оценок относительно Dolphin 2.6 и 2.6-DPO и более устойчивые ответы, но пример вывода не приведён. Авторы характеризуют модель как uncensored и предупреждают о высокой готовности отвечать на любые запросы; перед использованием в сервисе рекомендуют добавить собственный слой выравнивания. Лицензия — Apache-2.0.

Карточка модели ef-zulla/e5-multi-sml-torch на Hugging Face совпадает с карточкой maiyad/multilingual-e5-small, поэтому описание составлено по ней. Multilingual-E5-small — модель текстовых эмбеддингов, основанная на архитектуре BERT и обученная авторами работы Liang Wang и соавторов методом контрастивного предобучения на слабой разметке. В репозитории maiyad/multilingual-e5-small представлены веса модели размером 124,3 млн параметров; модель имеет 12 слоёв и выдаёт векторы размерности 384. Она основана на microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных датасетов. Модель предназначена для поиска и сравнения текстов: семантического сходства, поиска пассажей по запросу, поиска перефразировок и межъязыкового поиска. Для асимметричного поиска рекомендуется добавлять к запросу префикс «query: », а к тексту для поиска — «passage: »; для ряда симметричных задач и извлечения признаков рекомендуется префикс «query: ». Модель поддерживает 100 языков, но для языков с малым объёмом обучающих данных качество может быть ниже. Контекст ограничен 512 токенами, длинные тексты усекаются. Лицензия — MIT.

EmbeddingGemma — мультиязычная модель эмбеддингов Google DeepMind на 302,8 млн параметров, основанная на текстовой архитектуре Gemma 3 с инициализацией T5Gemma. Она преобразует текст в векторы для поиска, извлечения информации, оценки семантического сходства, классификации и кластеризации. Модель обучена на данных более чем на 100 языках и рассчитана на запуск в условиях ограниченных ресурсов, включая мобильные устройства и настольные компьютеры. Модель принимает текст длиной до 2048 токенов и выдаёт вектор размерности 768; с помощью Matryoshka Representation Learning его можно сократить до 512, 256 или 128 измерений с последующей нормализацией. Веса предназначены для использования с Sentence Transformers и реализацией Gemma 3 в Transformers. Модель подходит для поиска документов и кода по запросам, а также для подбора текстов по смыслу. Качество может снижаться при неоднозначных формулировках, сарказме и тонких языковых нюансах; результаты также зависят от охвата и возможных смещений обучающих данных. Лицензия — Gemma; применяются условия использования и политика запрещённого использования Gemma.

Карточка модели unsloth/embeddinggemma-300m-qat-q8_0-unquantized на Hugging Face совпадает с карточкой h2oai/embeddinggemma-300m-qat-q8_0-unquantized, поэтому описание составлено по ней. EmbeddingGemma — мультиязычная модель эмбеддингов Google DeepMind на 302,8 млн параметров, основанная на текстовой архитектуре Gemma 3 с инициализацией T5Gemma. Она преобразует текст в векторы для поиска, извлечения информации, оценки семантического сходства, классификации и кластеризации. Модель обучена на данных более чем на 100 языках и рассчитана на запуск в условиях ограниченных ресурсов, включая мобильные устройства и настольные компьютеры. Модель принимает текст длиной до 2048 токенов и выдаёт вектор размерности 768; с помощью Matryoshka Representation Learning его можно сократить до 512, 256 или 128 измерений с последующей нормализацией. Веса предназначены для использования с Sentence Transformers и реализацией Gemma 3 в Transformers. Модель подходит для поиска документов и кода по запросам, а также для подбора текстов по смыслу. Качество может снижаться при неоднозначных формулировках, сарказме и тонких языковых нюансах; результаты также зависят от охвата и возможных смещений обучающих данных. Лицензия — Gemma; применяются условия использования и политика запрещённого использования Gemma.

BinxNet/gemma-4-26B-A4B-it-heretic — мультимодальная разговорная модель BinxNet на базе Google Gemma 4 26B A4B. Это дообученная версия с изменениями, обозначенными автором как heretic, uncensored и decensored; подробности этих изменений в карточке не описаны. Модель принимает текст и изображения и предназначена для диалогов, рассуждений, генерации и исправления кода, а также визуального анализа. Архитектура Gemma 4 использует чередование локального скользящего и глобального внимания. Для исходной Gemma 4 26B A4B заявлен контекст до 256K токенов; отдельное значение для этой версии в карточке не приведено. Семейство Gemma 4 поддерживает более 35 языков, но карточка этой производной версии не уточняет языковое покрытие отдельно. Визуальные сценарии включают распознавание текста, разбор документов, понимание диаграмм и интерфейсов, а также анализ последовательностей видеокадров. Карточка указывает формат safetensors и библиотеку Transformers. Возможны фактические ошибки, предвзятость, трудности с языковыми нюансами и сложными открытыми задачами. Лицензия — Apache-2.0.

Arabic250/gemma-4-E4B-it-GGUF — это 4-битная GGUF-версия instruction-tuned модели Gemma 4 E4B, разработанной Google DeepMind и подготовленной в формате GGUF командой Unsloth. Модель предназначена для локального запуска и дообучения, включая работу на ноутбуках и мобильных устройствах, а также для использования в Unsloth Studio и средах на базе llama.cpp. Модель принимает текст и изображения, поддерживает аудио на нативном уровне и генерирует текст. Вариант E4B имеет около 4,5 млрд эффективных параметров, 42 слоя, контекстное окно до 128K токенов и словарь размером 262K токенов. Архитектура использует гибридное внимание: локальные скользящие окна чередуются с глобальным вниманием. Gemma 4 поддерживает более 140 языков, режимы рассуждения, генерацию текста, программирование, мультимодальное понимание, tool calling и агентские сценарии. К сильным сторонам относятся компактный размер, возможность эффективного локального развертывания, длинный контекст, мультимодальность и поддержка структурированных диалогов с системными инструкциями. Ограничением являются возможные потери точности из-за 4-битной квантизации, а также требования к совместимому программному обеспечению и оборудованию; конкретные показатели производительности для данной сборки в README не приведены. Модель распространяется по лицензии Apache 2.0.

Giga-Embeddings-instruct-3B-0826 — двуязычная модель текстовых эмбеддингов из серии Giga-Embeddings. Она основана на предобученной модели разработчика с архитектурой Qwen3, адаптированной для двунаправленного encoder-style внимания, и дообучена контрастивной функцией потерь InfoNCE. Модель содержит около 3,2 млрд параметров, формирует плотные векторы размерностью 2048 и поддерживает контекст до 8192 токенов. Модель предназначена для поиска по смыслу, сравнения предложений и абзацев, классификации и кластеризации на русском и английском языках. В асимметричном поиске к запросу следует добавлять инструкцию задачи, оставляя документы без инструкции; для симметричного сравнения инструкцию можно опустить. Для корректной работы нужны усреднение непустых токенов и L2-нормализация, после чего векторы сравнивают по косинусной близости. Репозиторий предоставляет веса в формате safetensors; лицензия — MIT.

GLM-4-9B-Chat imatrix GGUF — это квантизированные версии диалоговой языковой модели GLM-4-9B-Chat, разработанной Zhipu AI. Данный репозиторий содержит сборки в формате GGUF с использованием imatrix, предназначенные для локального запуска через llama.cpp и совместимые с рядом клиентских приложений, включая JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. Модель предназначена для многораундовых диалогов, генерации и понимания текста, рассуждений, работы с математическими и программными задачами, а также вызова пользовательских инструментов и выполнения кода в поддерживаемых средах. GLM-4-9B-Chat имеет около 9 миллиардов параметров, поддерживает контекст до 128K токенов и многоязычность, включая английский, китайский, японский, корейский и немецкий языки; всего заявлена поддержка 26 языков. Это текстовая модель, соответствующая задаче text-generation. К сильным сторонам относятся заявленная производительность, превосходящая Llama-3-8B на ряде оценок, поддержка длинного контекста и диалоговых функций. Ограничения связаны с необходимостью использовать совместимое программное обеспечение и включить Flash Attention при запуске через llama.cpp, иначе возможен сбой. В карточке указана лицензия other; подробные условия лицензии не приведены.

InternLM2.5-20B-Chat — диалоговая языковая модель, разработанная командой InternLM и распространяемая в формате GGUF сообществом LM Studio. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, ведения диалогов, следования инструкциям, решения математических задач и задач, требующих рассуждений. Она также поддерживает использование инструментов и может применяться совместно с инструментом MindSearch. Модель содержит около 20 миллиардов параметров и рассчитана на контекст длиной до 32 000 токенов. В README не указаны поддерживаемые языки и мультимодальные возможности, поэтому модель следует считать текстовой. Для работы в LM Studio рекомендуется шаблон ChatML. По заявлению авторов, модель обеспечивает высокие результаты в задачах рассуждений и сопоставима с Gemma 2 27B при меньшем размере. Ограничения включают возможность генерации неточного, вредного или неподходящего содержимого, а также зависимость характеристик от выбранной GGUF-квантизации и аппаратного обеспечения. Модель помечена лицензией other; конкретные условия лицензии в README не раскрыты, поэтому перед использованием необходимо ознакомиться с условиями исходной модели InternLM2.5-20B-Chat и данной сборки.

NVIDIA разработала Nemotron-UltraLong-8B как серию языковых моделей на базе Llama 3.1; этот вариант рассчитан на контекст до 2 млн токенов. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и предназначена для генерации текста в диалоговом формате, следования инструкциям и работы с очень длинными последовательностями. Модель прошла продолженное предварительное обучение на длинных последовательностях и дообучение на инструкциях по общим задачам, математике и программированию. В README заявлена работа с длинным контекстом и конкурентные результаты на стандартных тестах. Метаданные указывают английский язык; карточка также описывает интерфейс вызова инструментов. Для запуска README рекомендует Transformers версии 4.43.0 или выше. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

cortecs/Llama-3.3-70B-Instruct-FP8-Dynamic — динамически квантованная версия Meta Llama 3.3 70B Instruct, разработанная на базе модели meta-llama/Llama-3.3-70B-Instruct. Это большая языковая модель с 70 миллиардами параметров, предварительно обученная и дообученная по инструкциям для генерации текста и многоязычного диалога. Модель предназначена для чат-ботов, ассистентов и других приложений, связанных с обработкой и генерацией текста. Она поддерживает английский, французский, немецкий, хинди, итальянский, португальский, испанский и тайский языки. Указанный показатель восстановления точности составляет 99,67%; приведённые оценки показывают небольшое снижение результатов относительно исходной Llama-3.3-70B-Instruct, при этом в отдельных тестах показатели практически совпадают. Ключевая особенность модели — формат FP8 Dynamic, который предназначен для более эффективного размещения и выполнения крупной модели при сохранении близкого к исходному качества. Данные о размере контекста, поддерживаемых модальностях помимо текста и конкретных аппаратных требованиях в README не указаны. Модель распространяется по лицензии Meta Llama 3, ссылка на условия приведена в карточке.

QuantFactory/Llama3-8B-Instruct-Replete-Adapted-GGUF — квантизированная версия модели Replete-AI/Llama3-8B-Instruct-Replete-Adapted, созданная с использованием llama.cpp. В её основе лежит Meta-Llama-3-8B-Instruct с адаптером Replete-AI/Replete-Coder-Llama3-8B. Модель дообучена Rombodawg и распространяется в формате GGUF для запуска средствами, совместимыми с llama.cpp. Модель предназначена прежде всего для генерации и анализа кода, перевода между языками программирования, задач, связанных с безопасностью и поиском уязвимостей, математических рассуждений и function calling. Согласно README, она также рассчитана на общее текстовое использование и поддерживает более 100 языков программирования. Обучающие данные включали примерно 25% общих инструкций и 75% инструкций по программированию; общий объём заявлен как около 3,9 млн строк, 1 млрд токенов или 7,27 ГБ данных. К сильным сторонам относятся специализация на программировании, широкий охват языков, возможности перевода кода, математические и общие инструкционные сценарии, а также возможность запуска на относительно ограниченных аппаратных ресурсах благодаря размеру базовой модели и квантизации. При этом README не указывает точный вариант квантизации, размер контекста, поддерживаемые естественные языки, конкретные требования к памяти и результаты большинства заявленных тестов; известный показатель HumanEval pass@1 составляет 0,6468. Модель описана как uncensored. Указана лицензия llama-3 с дополнительным типом license: other; применимые условия следует уточнять по лицензии Meta Llama 3.