II.10Разработка и эксплуатация AI/ML-систем

ARK-ASR-3B — мультиязычная модель распознавания речи, представленная разработчиками проекта AutoArk. Она предназначена для преобразования речи в текст и может использоваться для транскрибации аудио и развёртывания сервиса распознавания через Transformers или vLLM. По карточке модели, в тестах Open ASR Leaderboard она показала средний WER 5,04% на англоязычном коротком аудио и CER 1,80% на AISHELL-1 для китайского языка. Модель содержит около 3,1 млрд параметров и использует авторегрессионную архитектуру Transformers: аудиоэнкодер в стиле Whisper, MLP-адаптер и декодер Qwen. Она принимает аудио с частотой дискретизации 16 кГц и генерирует текст; нативный контекст составляет 32 768 токенов. Заявлена поддержка китайского, английского, немецкого, японского, французского, корейского, испанского, польского, итальянского, румынского, венгерского, чешского, нидерландского, финского, хорватского, словацкого, словенского, эстонского и литовского языков. Веса представлены в формате safetensors, для загрузки используются Transformers и пользовательский код архитектуры arkasr; лицензия — Apache-2.0. Для запуска по инструкции карточки требуется включить trust_remote_code=True. Приведённые показатели относятся к указанным тестовым наборам и сами по себе не гарантируют аналогичное качество на других аудио, акцентах и условиях записи.

Code Llama 34B — базовая авторегрессионная языковая модель Meta на архитектуре Transformer, представленная в формате для Hugging Face Transformers. Она содержит 33,5 млрд параметров и предназначена для генерации и понимания кода; эта версия не является вариантом Python или Instruct и не ориентирована на диалоговые инструкции. Модель принимает текст и генерирует текст. Её можно применять для автодополнения кода и адаптировать к другим задачам синтеза и понимания программ. Для работы с длинными запросами поддерживается контекст до 16 384 токенов. Основной язык карточки — английский; модель также работает с релевантными языками программирования. Модель обучена на статическом наборе данных, поэтому её ответы могут быть неточными или нежелательными; перед внедрением требуется проверка и настройка под конкретное применение. Использование регулируется лицензией Meta Llama 2, включая её условия и ограничения.

CodeLlama 7B-Python fp16 — преобразованная в формат Transformers/Hugging Face версия модели Meta Code Llama 7B-Python, подготовленная TheBloke. Это авторегрессионная плотная трансформерная языковая модель на 6,6 млрд параметров, специализирующаяся на Python; веса опубликованы в fp16 и safetensors. Репозиторий содержит конверсию исходных весов Meta, а не отдельное дообучение TheBloke. Модель предназначена для генерации и понимания кода на Python: она может дополнять код, помогать с его написанием и разбором. Принимает и выдаёт текст. По метаданным нативная длина контекста составляет 16 384 токена; карточка модели также описывает обучение до 16K токенов и поддержку более длинного контекста при инференсе. Семейство Code Llama рассчитано на английский язык и языки программирования; вариант Python ориентирован прежде всего на код на Python. Для корректной загрузки этой fp16-конверсии README требует включить trust_remote_code=True из-за изменения значения RoPE Theta. Модель может выдавать неточный или нежелательный код и требует проверки результата и тестирования безопасности перед внедрением. Указана лицензия llama2; README ссылается на лицензию Code Llama с коммерческими условиями.

CompassJudger-2-32B-Instruct — языковая модель для оценки и ранжирования текстовых ответов, связанная с проектом OpenCompass. Базовая модель opencompass/CompassJudger-2-32B-Instruct имеет размер 32 млрд параметров и предназначена для задач judge-модели, оценки качества, reward modeling и text ranking. В данном репозитории опубликованы её квантизированные версии в формате GGUF, подготовленные mradermacher с использованием weighted/imatrix quantization. Модель ориентирована на автоматизированную оценку результатов генерации и сравнительный анализ текстовых ответов. Указан английский язык; сведения о поддерживаемых дополнительных языках, максимальном контексте и точной архитектуре отсутствуют. Доступны варианты квантизации размером примерно от 7,4 до 27 ГБ: более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству, тогда как Q4_K_M рекомендован как быстрый вариант с хорошим балансом размера, скорости и качества. Модель распространяется по лицензии Apache-2.0.

mlx-community/conikeec-deepseek-coder-6.7b-instruct — конвертированная в формат MLX версия модели DeepSeek Coder 6.7B Instruct, созданная сообществом mlx-community на основе deepseek-ai/deepseek-coder-6.7b-instruct. Это плотная авторегрессионная языковая модель семейства Llama с 6,6 млрд параметров и контекстом до 16 384 токенов, предназначенная для генерации текста в диалоговом формате и задач программирования. Репозиторий содержит веса safetensors; для запуска через MLX README указывает библиотеку mlx-lm. Лицензия в метаданных обозначена как other; конкретные условия следует сверять с карточкой исходной модели.

csr-mxbai-embed-large-v1-nq-original — англоязычный разреженный энкодер CSR, дообученный на Natural Questions командой или автором репозитория tomaarsen на базе mixedbread-ai/mxbai-embed-large-v1 с помощью Sentence Transformers. Модель преобразует запросы, предложения и абзацы в разреженные векторы размерностью 4096; близость оценивается скалярным произведением. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и разреженного извлечения документов, в том числе для поиска ответов в коллекциях вопросов и ответов. В карточке приведены оценки поиска на Natural Questions и наборах Nano BEIR, включая MS MARCO, NFCorpus и Quora Retrieval. Для некоторых оценок указано ограничение числа активных измерений до 128 или 256. Модель принимает текст и выдаёт векторные представления. Она рассчитана на английский язык, использует архитектуру BERT и распространяется в формате safetensors по лицензии Apache-2.0. Она создаёт эмбеддинги для поиска, а не готовые ответы; заявленная длина контекста ограничена 512 токенами.

Darwin-397B-ZTC — языковая модель семейства Darwin от VIDRAFT, созданная на базе Qwen/Qwen3.5-397B-A17B. Это разреженная MoE-модель с архитектурой Qwen3.5 MoE, общим масштабом 397 млрд параметров и примерно 17 млрд активных параметров. Веса представлены в формате compressed-tensors W8A8 FP8; README указывает размер около 418,7 ГБ. Модель предназначена для сложных рассуждений, генерации кода и работы в агентных сценариях с вызовом инструментов. Поддерживает корейский и английский, а также заявлена поддержка китайского и японского. Контекст — до 262 тысяч токенов. Ключевая особенность версии ZTC — оценка уверенности по внутреннему состоянию модели до начала генерации ответа, чтобы отсеивать потенциально ошибочные ответы и рискованные действия. В README приведены результаты на GPQA Diamond и оценке достоверности ответов, однако качество проверки зависит от модели, создавшей проверяемый ответ: перенос на существенно отличающуюся смесь генераторов требует отдельной оценки. Для запуска заявлена совместимость с Transformers, vLLM и SGLang; масштаб модели требует значительных вычислительных ресурсов. Лицензия — Apache-2.0.

DeciCoder-6B — авторегрессионная модель для дополнения и генерации программного кода, разработанная компанией Deci. Она основана на декодерном трансформере DeciLMForCausalLM с 6,7 млрд параметров и переменным Grouped Query Attention; архитектуру создали с помощью технологии AutoNAC. Обучение на подмножестве StarCoder Training Dataset использовало цель Fill-in-the-Middle, поэтому модель может продолжать код и заполнять пропуски внутри фрагмента. Модель предназначена для работы с Python, Java, JavaScript, Rust, C++, C, C# и Go. Контекст составляет 2 048 токенов. Весы опубликованы в формате safetensors, лицензия — Apache 2.0. Модель можно применять для генерации фрагментов кода по контексту и автодополнения в редакторах. В README приведены результаты pass@1 для нескольких языков, но они не гарантируют правильность конкретного результата: сгенерированный код может содержать ошибки, быть неоптимальным или небезопасным.

DeepSeek-R1-0528-Qwen3-8B-GGUF — это GGUF-версия языковой модели DeepSeek-R1-0528-Qwen3-8B, подготовленная Unsloth на базе модели DeepSeek AI. Модель ориентирована на задачи, требующие рассуждений, включая математику, программирование, общую логику и работу с функциями, а также на сценарии локального запуска через совместимые инструменты, например Ollama и llama.cpp. Модель содержит 8 миллиардов параметров и распространяется в формате GGUF. В README указаны улучшения глубины рассуждений, качества вывода на математических и логических тестах, снижение частоты галлюцинаций, расширенная поддержка function calling и улучшенный опыт vibe coding. Рекомендуется использовать температуру 0,5–0,7, оптимально 0,6, и Top_P 0,95. Сведения о точной архитектуре, поддерживаемых языках, модальностях и размере контекста в карточке отсутствуют. Формат GGUF удобен для локального вывода и позволяет выбирать варианты квантования, однако конкретный уровень квантования зависит от используемого файла и в данной карточке не указан. Для корректной работы требуется соблюдать рекомендованный chat template и настройки инференса. Модель распространяется по лицензии MIT.

Многоязычный энкодер вопросов для Dense Passage Retrieval (DPR), опубликованный пользователем voidful и основанный на bert-base-multilingual-cased. Модель преобразует вопрос в плотный вектор: в Transformers результат доступен через pooler_output. Её можно использовать как компонент поиска по корпусу документов в связке с энкодером passages и системой извлечения ответов. Модель содержит 205,1 млн параметров, использует архитектуру DPRQuestionEncoder и принимает текстовые входные данные с контекстом до 512 токенов. Для обучения указаны датасеты NQ, Trivia, SQuAD, DRCD и MLQA; обучающий набор включает 644 217 пар вопросов, а проверочный — 73 710. Репозиторий содержит веса PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

Efficient SPLADE от Naver — асимметричная модель поиска по тексту, представленная отдельными энкодерами для запросов и документов. Этот репозиторий содержит вариант для кодирования запросов; для поиска также нужен соответствующий энкодер документов. Модель преобразует предложения и абзацы в разреженные векторы размерности 30 522, пригодные для семантического поиска и извлечения пассажей. Архитектура основана на BERT с головой masked language modeling; максимальная длина входа — 512 токенов, а векторное сходство вычисляется скалярным произведением. В метаданных указано 4,4 млн параметров и поддержка английского языка; модель связана с MS MARCO. Модель подходит для построения поисковых систем и retrieval-компонента RAG, где требуется сопоставлять запросы с текстовыми фрагментами. Карточка приводит результаты на MS MARCO и низкую задержку для варианта Efficient SPLADE-VI-BT-large, но не уточняет условия измерений. Лицензия CC BY-NC-SA 4.0 ограничивает коммерческое использование.

Functionary Medium v3.1 — языковая модель компании MeetKai для диалогов и работы с функциями и плагинами. Она основана на meta-llama/Meta-Llama-3.1-70B-Instruct и использует плотную архитектуру Llama; в метаданных указаны 69,5 млрд параметров и контекст до 131 072 токенов. Модель принимает определения инструментов в формате JSON Schema, выбирает, когда вызывать функции, может запускать несколько вызовов параллельно или последовательно и учитывать их результаты в ответе. Она также может вести обычный диалог без вызова инструментов и поддерживает сценарии с интерпретатором кода. Модель предназначена для ассистентов, которым нужно вызывать API и плагины, оркестрировать инструменты и формулировать ответы с учётом полученных данных. README рекомендует запуск через совместимый с OpenAI сервер vLLM; для разбора сырых ответов в JSON предусмотрен специальный код. Репозиторий содержит веса Safetensors. Лицензия — MIT.

unsloth/gemma-2-9b-it-bnb-4bit — это 4-битная версия instruction-tuned языковой модели Gemma 2 с 9 миллиардами параметров, основанная на google/gemma-2-9b-it. Модель распространяется в экосистеме Unsloth и предназначена для запуска и дообучения с использованием Transformers. В метаданных указаны разработчик базовой модели Google и поддерживаемый язык English. Модель ориентирована на диалоговые приложения, генерацию и продолжение текста, а также на дообучение под пользовательские наборы данных. Ключевой особенностью является 4-битное квантование bnb, снижающее требования к памяти; для Gemma 2 (9B) Unsloth заявляет ускорение до 2,4 раза и сокращение использования памяти до 58% в соответствующих сценариях. Модель также может экспортироваться в форматы GGUF и использоваться с vLLM, однако размер контекста, точный набор поддерживаемых языков и другие архитектурные характеристики в README не указаны. Сильные стороны модели — относительно экономичный запуск и возможность эффективного fine-tuning на ограниченных ресурсах, включая GPU Tesla T4. Ограничения связаны с 4-битным представлением, предназначенностью базовой модели преимущественно для English и отсутствием в README подробных результатов оценки качества. Лицензия указана как gemma; перед использованием необходимо учитывать условия лицензии Google Gemma.

GLiClass Multilang Mini — мультиязычная модель классификации текста из семейства GLiClass, опубликованная Knowledgator. Она предназначена для классификации с пользовательскими метками без дообучения, а также для few-shot сценариев с примерами и описаниями меток. Модель содержит около 288 млн параметров и использует архитектуру GLiClass с механизмом CrossAttn Scorer. Модель подходит для тематической и тональной классификации, определения намерений, проверки следования правилам и безопасности ответов LLM, обнаружения галлюцинаций, NLI и оценки релевантности пары запрос–текст. Она обучена для 20 языков и поддерживает межъязыковые сочетания текста и меток. В README приведены результаты zero-shot оценок и высокая пропускная способность на GPU, но фактическое качество зависит от языка, набора меток и задачи; для NLI рекомендуется подавать одну гипотезу за раз. Веса представлены в формате safetensors, для использования предлагается библиотека gliclass. Лицензия — Apache-2.0.

GLiNER Guard Unified Multitask Guardrail — модель-энкодер на архитектуре GLiNER2, разработанная HiveTrace для защитной фильтрации текстовых сообщений. По заявлению карточки, модель содержит 147 млн параметров и объединяет в одном проходе классификацию безопасности, извлечение персональных данных, обнаружение атак на LLM, классификацию вредоносного содержания, намерения и тона. Она поддерживает zero-shot обобщение на пользовательские метки; для извлечения сущностей и классификации доступны готовые наборы категорий. Модель дообучена на jhu-clsp/mmBERT-small и рассчитана на английский и русский языки. Модель подходит для проверки входящих запросов и текстов в системах модерации, защиты LLM и обработки персональных данных. README предупреждает, что пользовательские метки для извлечения сущностей могут работать, но не оценивались на бенчмарках. Лицензия — Apache-2.0.

GLM-5.1-GGUF — квантованное распространение модели GLM-5.1, подготовленное Unsloth на базе zai-org/GLM-5.1. Это текстовая генеративная модель, ориентированная прежде всего на агентную разработку программного обеспечения и сложные инженерные задачи. Модель предназначена для написания и анализа кода, генерации репозиториев, работы с терминалом и многоэтапного решения задач с использованием инструментов. Согласно README, GLM-5.1 сохраняет эффективность на длинных сессиях, умеет разбивать неоднозначные задачи на этапы, проводить эксперименты, анализировать результаты, находить блокеры и пересматривать стратегию на протяжении сотен итераций и тысяч вызовов инструментов. Заявлена поддержка английского и китайского языков, режим text-generation и архитектурная маркировка GLM MoE DSA; точный размер модели и объём контекста не указаны. К сильным сторонам относятся агентное программирование, задачи SWE-Bench Pro, генерация репозиториев и реальные терминальные сценарии. Ограничения включают отсутствие в представленных данных сведений о мультимодальности, точном числе параметров, требованиях к оборудованию и качестве в других прикладных областях; приведённые результаты являются заявленными benchmark-показателями и не гарантируют аналогичную производительность в каждом сценарии. Распространение указано по лицензии MIT.

GPT-5.4 mini — компактная модель OpenAI, созданная для более быстрой и эффективной работы по сравнению с GPT-5.4 при высокой нагрузке. Она принимает текстовые и графические входные данные и предназначена для задач рассуждения и программирования. Модель подходит для приложений, которым нужны быстрые ответы при большом потоке запросов, включая задачи с изображениями. В предоставленных данных не описаны её размер, длина контекста, поддерживаемые языки или условия лицензирования.

NVIDIA gpt-oss-120b-Eagle3-short-context — текстовая модель для генерации ответов, основанная на OpenAI gpt-oss-120b и дополненная модулем Eagle3 для спекулятивного декодирования. Базовая gpt-oss-120b использует архитектуру Mixture-of-Experts с 120 млрд общих и 5 млрд активируемых параметров; этот репозиторий содержит 739,4 млн параметров Eagle-модуля. Модель принимает текст и генерирует текст, а её контекстное окно составляет 131 072 токена. Модель предназначена для разработчиков чат-ботов, ИИ-агентов и RAG-систем, а также для диалогов и выполнения инструкций. Вариант short-context обычно предпочтителен для запросов с контекстом менее 8 тысяч токенов. Eagle3 предсказывает кандидаты следующих токенов, которые проверяет базовая модель, ускоряя генерацию при принятии нескольких токенов за шаг. Для запуска NVIDIA указывает TensorRT-LLM и GPU NVIDIA; README описывает совместимость с Blackwell. Модель оптимизирована для инференса на системах с GPU NVIDIA. Карточка заявляет готовность к коммерческому и некоммерческому использованию, но в метаданных лицензия обозначена как other, поэтому перед применением следует проверить условия лицензии репозитория. Качество и безопасность необходимо проверять на данных и сценариях конкретного приложения; опубликованные результаты приводят показатели принятия токенов Eagle на MT-Bench, а не оценку качества ответов.

NiviG/hallucination-detector — модель классификации текста, созданная дообучением DeBERTa-v3-base от Microsoft. Она сопоставляет утверждение, сгенерированное ИИ, с предоставленным контекстом и определяет, подтверждается ли оно, опровергается ли или остаётся непроверяемым. Модель обучена на более чем 25 тысячах примеров FEVER для проверки фактов и выявления галлюцинаций в ответах языковых моделей. Архитектура — DeBERTa-v2 для классификации последовательностей, около 211,6 млн параметров; модель работает с текстом и имеет контекст до 512 токенов. Она выдаёт одну из трёх меток: FACTUAL, UNCERTAIN или HALLUCINATION. Веса опубликованы в формате safetensors; библиотека — Transformers. Карточка не указывает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

HalluGuard — разработанная авторами модели небольшая рассуждающая языковая модель на 3,7 млрд параметров для проверки утверждений в системах генерации с дополненным поиском (RAG). Получив документ и утверждение, она определяет, подтверждается ли оно документом, и обосновывает ответ выдержками из источника. Предусмотрены три категории: GROUNDED, HALLUCINATED_INTRINSIC и HALLUCINATED_EXTRINSIC. Модель основана на unsloth/Qwen3-4B и дообучена с помощью LoRA и ORPO на синтетическом наборе предпочтений HalluGuard-Preferences-76k. Архитектура — плотная Qwen3ForCausalLM; вход и ответ представлены текстом. Метаданные указывают контекст до 40 960 токенов, тогда как README сообщает окно 32 768 токенов. Модель рассчитана на англоязычные задачи. Лицензия — Apache-2.0.

Модель Pruthwik Mishra и Yash Ingle — дообученная версия MuRIL на базе BERT для определения языка входного текста. Она классифицирует текст на английский и 22 официальных языка Индии, с отдельными метками для некоторых языков, записанных разными письменностями. Модель содержит 264,8 млн параметров, принимает текст с контекстом до 512 токенов и доступна в формате Safetensors для Transformers. Модель предназначена для автоматической языковой разметки текстов и включения в NLP-конвейеры. В README сообщается о среднем F1 0,96 на созданном корпусе и бенчмарке Bhasha-Abhijnaanam. Лицензия — MIT. Авторы предупреждают о возможном снижении качества для малоресурсных языков и письменностей, включая манипури письмом мейтей, синдхи и майтхили; для языков за пределами английского и индийских модель может работать ненадёжно.

INF-WSE v1 Base zh — модель разреженных словных эмбеддингов, разработанная INF TECH для поиска и извлечения информации, особенно в китайских текстах. Она дообучена на базе junnyu/roformer_chinese_base; архитектура — RoFormer с 151,6 млн параметров. Модель преобразует текст в разреженные векторы размерности словаря: ненулевые веса выделяют значимые слова и семантические признаки для сопоставления запросов с документами. Модель предназначена для семантического поиска, ранжирования и retrieval-сценариев. В README приведены результаты C-MTEB Retrieval: средний nDCG@10 составляет 61,16 при максимальной длине 512 токенов; индексы для сравнения строились в Qdrant. Метаданные указывают контекст до 1536 токенов. Модель ориентирована на китайский язык и выдаёт векторные представления текста. Репозиторий содержит веса в формате safetensors; сведения о лицензии в предоставленных источниках отсутствуют.

JaColBERTv2 — японская модель поиска документов на архитектуре ColBERT, разработанная автором JaColBERT. Она предназначена для извлечения релевантных фрагментов по запросу и применения в поиске и RAG-системах. Модель использует позднее взаимодействие между представлениями токенов документов и запроса, что позволяет сочетать семантическое сопоставление с эффективным поиском по заранее построенному индексу. Модель содержит 138,4 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Она основана на JaColBERT и cl-tohoku/bert-base-japanese-v3; README указывает на обучение дистилляцией на японской части MMARCO с 31 отрицательным примером на положительный. Для использования автор рекомендует RAGatouille. Лицензия — MIT. В ранних оценках автор сообщает о результатах выше JaColBERT, multilingual-e5-large и BGE-M3 на JQaRa и JSQuAD, однако полная оценка ещё не завершена. Версия обозначена как ранний рабочий чекпойнт, веса могли обновляться; результаты следует считать предварительными.

Jina Embeddings v2 Base Code Q8_0 GGUF — это квантизированная версия модели для создания векторных представлений текста и исходного кода. Исходную модель разработала команда Jina AI, а данный вариант был конвертирован из jinaai/jina-embeddings-v2-base-code в формат GGUF с помощью llama.cpp и инструмента GGUF-my-repo. Модель предназначена для задач семантического поиска, сравнения сходства предложений, извлечения признаков и работы с кодом, включая сценарии, совместимые с llama.cpp. В карточке указано, что модель ориентирована на английский язык; точные сведения об архитектуре, количестве параметров, размерности эмбеддингов, поддерживаемой длине контекста и наборе модальностей не приведены. Квантование Q8_0 позволяет использовать модель в компактном формате, однако характеристики качества и влияние квантования в README не описаны. Для запуска требуется llama.cpp; доступен режим CLI и серверный режим. Лицензия — Apache-2.0.

jina-embeddings-v5-text-nano-clustering — компактная модель для получения текстовых эмбеддингов, разработанная Jina AI. Она предназначена прежде всего для кластеризации текстов и входит в семейство jina-embeddings-v5-text; модель является квантованным вариантом базовой jina-embeddings-v5-text-nano. Модель содержит 239 млн параметров, поддерживает мультиязычные тексты и обрабатывает последовательности длиной до 8192 токенов. Размер выходного эмбеддинга составляет 768 измерений, доступны также укороченные Matryoshka-размерности 32, 64, 128, 256 и 512. Используется pooling по последнему токену. Обучение основано на дистилляции и задачно-ориентированных контрастивных потерях; заявлено превосходство над сопоставимыми моделями на различных embedding-бенчмарках. Сильные стороны модели — компактность, высокая производительность для задач кластеризации, поддержка длинного контекста и возможность выбирать размер эмбеддинга для компромисса между качеством и эффективностью. README не описывает конкретный список поддерживаемых языков и не приводит подробных результатов оценки, поэтому качество для отдельных языков и доменов может различаться. Для использования рекомендуются transformers, PyTorch и vLLM; доступна интеграция с sentence-transformers и llama.cpp через специальную ветку. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но не для коммерческих целей.

Kurage-en — англоязычная модель для задач генерации с дополненной поиском (RAG), разработанная Lightblue на основе Qwen2-7B-Instruct. Это плотная причинная языковая модель Qwen2 с 7,1 млрд параметров, контекстом до 32 768 токенов и форматом safetensors; лицензия — Apache-2.0. Модель принимает вопрос и один или несколько фрагментов текста, выбирает релевантные контексты и формирует краткий ответ. Также она умеет расширять ответы, отвечать на английском по материалам на других языках и создавать пары вопросов и ответов по исходному тексту для предварительной индексации. Обучающие примеры получены из отобранных образовательных фрагментов MADLAD-400; для подбора негативных примеров использовалась модель BAAI/bge-m3. Модель предназначена для англоязычных RAG-систем, подготовки данных для поиска и ответов по коллекциям документов. Для режима с одним фрагментом известна склонность иногда ошибочно отказываться отвечать, даже когда контекст содержит ответ; результаты межъязыкового RAG также могут быть нестабильными.

cyankiwi/Laguna-S-2.1-AWQ-INT4 — квантизированная версия Laguna S 2.1 от poolside, подготовленная cyankiwi в формате AWQ INT4. Это текстовая модель text-to-text для агентного программирования, работы с инструментами и долгих многошаговых задач. Модель поддерживает интерleaved reasoning между вызовами инструментов и рассчитана на использование в vLLM, SGLang, Transformers, TRT-LLM и llama.cpp. Базовая модель содержит 118 млрд параметров, из которых около 8 млрд активируются на каждом токене, и использует Mixture-of-Experts с 256 маршрутизируемыми экспертами и одним общим экспертом. Архитектура включает 48 слоёв, grouped-query attention, 12 слоёв глобального внимания и 36 слоёв sliding-window attention с окном 512 токенов. Контекстное окно составляет 1 048 576 токенов, словарь — 100 352 токена. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки; модальность — текстовая. Ключевые преимущества — большое контекстное окно, эффективная MoE-архитектура, поддержка рассуждений и сценариев с инструментами, а также снижение требований к хранению и инференсу благодаря INT4-квантизации; размер файла указан как 76,83 ГБ. Ограничения включают высокие требования к вычислительным ресурсам даже в квантизированном виде и возможные потери качества из-за квантизации по сравнению с исходной точностью. Модель распространяется по лицензии OpenMDW-1.1, допускающей свободное использование и изменение для коммерческих и некоммерческих целей.

Redis разработала эту англоязычную модель-переранжировщик для semantic caching в LangCache. Это Cross-Encoder на базе ModernBERT, дообученный из Alibaba-NLP/gte-reranker-modernbert-base на парах текстов LangCache с помощью библиотеки sentence-transformers. Модель получает пару текстов и выдаёт оценку, пригодную для классификации пары или ранжирования кандидатов по релевантности; в каталоге основная задача указана как text-ranking. Модель содержит 149 млн параметров, поддерживает последовательности длиной до 8192 токенов и имеет один выходной показатель. Карточка сообщает метрики классификации на validation и test, но не задаёт универсальных порогов для интерпретации оценки. Модель рассчитана на английский язык и распространяется по лицензии Apache-2.0.

Llama-3-11.5B-Instruct-Coder-v2-GGUF — это текстовая instruction-модель для генерации кода и выполнения запросов в формате диалога. Исходная модель опубликована rombodawg; в качестве базовой указана Replete-AI/Llama-3-11.5B-Instruct-V2. GGUF-квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации, дополнения и объяснения программного кода, а также для общих текстовых задач в сценариях, где требуется локальный запуск через llama.cpp или совместимые инструменты. Доступны варианты квантизации от Q8_0 до Q2 и IQ2–IQ4, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Наиболее качественными и рекомендуемыми в README названы Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4. Модель имеет около 11,5 млрд параметров, работает с текстом и использует формат диалога Llama 3 с системными и пользовательскими сообщениями. Заявлен английский язык; сведения о поддерживаемом контексте, мультимодальности и точных архитектурных деталях не приведены. При сильном сжатии качество снижается, особенно у низкобитных вариантов, поэтому выбор квантизации является компромиссом между потреблением памяти и точностью. Указана лицензия Apache-2.0.

castorini/mdpr-tied-pft-msmarco — мультиязычная модель плотного поиска mDPR, опубликованная организацией Castorini, связанной с исследованиями информационного поиска в University of Waterloo. Она предназначена для семантического поиска и ранжирования текстовых пассажей: запрос и документ преобразуются в векторные представления, после чего релевантные фрагменты находятся по близости в общем пространстве. Модель предварительно дообучена на наборе MS MARCO Passage Ranking и может использоваться как passage encoder в системах Dense Passage Retrieval, включая мультиязычный поиск и retrieval-augmented question answering. Модель основана на multilingual BERT и имеет BERT-архитектуру; на странице репозитория указано около 0,2 млрд параметров. Она работает с текстом, поддерживает несколько языков благодаря мультиязычной основе, но точный перечень языков и максимальная длина контекста для этого чекпойнта явно не указаны. В репозитории приведён результат MRR@10 равный 0,296 для обучения на MS MARCO Passage Ranking v1, 40 эпоха. Сильная сторона модели — переносимость между языками и пригодность для построения эффективных векторных индексов и гибридных систем поиска. Ограничения — специализация на retrieval, отсутствие генерации текста и отсутствие подробной официальной model card с детальным описанием языковых характеристик, ограничений качества и сценариев применения; в опубликованных материалах также отмечается, что mDPR может уступать BM25 на отдельных мультиязычных бенчмарках. Лицензия для данного репозитория явно не указана.