II.8Инженерия данных и аналитика

EnvFactory-8B — диалоговая языковая модель семейства Qwen3, разработанная LARK-Lab на основе Qwen/Qwen3-8B. Модель дообучена с помощью SFT и обучения с подкреплением на синтезированных траекториях использования инструментов и предназначена для создания агентов, которые ведут многошаговый диалог, выбирают инструменты и взаимодействуют с ними для выполнения задач. Модель имеет плотную архитектуру Qwen3ForCausalLM с 7,6 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. В обучении использованы 53,4 тыс. отфильтрованных SFT-траекторий и 3,09 тыс. RL-траекторий, построенных на проверенных исполняемых средах из 85 окружений в семи областях. В опубликованных тестах EnvFactory-8B превосходит базовую Qwen3-8B по нескольким показателям использования инструментов, включая многошаговые сценарии. Модель подходит для англоязычных диалоговых агентов с доступом к инструментам через MCP и для выполнения составных задач, требующих серии вызовов инструментов. Это текстовая модель генерации, а не среда исполнения: подключение MCP-инструментов и настройка агента выполняются отдельно. Распространяется под лицензией Apache-2.0.

Ethio-ASR-afrihubert-uf — модель автоматического распознавания речи, созданная в рамках независимого воспроизведения исследования Ethio-ASR в Университете Флориды. Это дообученная на эфиопской части набора WAXAL модель AfriHuBERT с архитектурой HuBERT и CTC-декодированием; она содержит 113,6 млн параметров и распространяется в формате safetensors для Transformers. Модель предназначена для транскрибирования речи на амхарском, тигринья, оромо, сидаама и волайтта. На тестовом разбиении WAXAL указаны WER 35,16% для амхарского, 30,06% для оромо и 34,66% для сидаама при обработке, включающей объединение омографов письма геэз и удаление пунктуации; без такой обработки макро-WER составляет 41,71%. Воспроизведение отстаёт от опубликованного в статье чекпойнта на 1,63%. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но не для коммерческих целей.

Fun-ASR-Nano-2512-GGUF — это квантованные и неквантованные GGUF-версии модели Fun-ASR-Nano-2512, подготовленные handy-computer для работы с transcribe.cpp. Базовая модель разработана Tongyi Lab и распространяется через FunAudioLLM. Модель предназначена для офлайн-преобразования речи в текст и принимает монофонические WAV-файлы с частотой 16 кГц. Модель поддерживает китайский, английский и японский языки, а также семь китайских диалектов и 26 региональных вариантов мандаринского языка. Архитектура включает замороженный SenseVoiceEncoderSmall, двухслойный аудиоадаптер и встроенную языковую модель Qwen3-0.6B; общий объём обучаемых параметров составляет около 800 млн. Доступны варианты BF16, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 557 МБ до 1,67 ГБ. Поддерживается обратная текстовая нормализация. Сильные стороны модели — высокая точность на английском, китайском и японском языках, компактные квантованные варианты и возможность локального запуска на CPU, Metal или Vulkan через transcribe.cpp. Ограничения: модель не поддерживает потоковую обработку, автоматический перевод, определение языка, временные метки и встроенное разбиение длинных записей на фрагменты. Указана лицензия FunASR Model Open Source License Agreement v1.1.

Это дообученная версия Gemma 4 12B Coder от tpls с изменёнными весами: методом abliteration из неё удалено направление отказа. Модель предназначена для генерации кода и агентных сценариев с вызовом инструментов; веса в формате safetensors рассчитаны на локальный запуск, дальнейшее дообучение, слияние или квантизацию. Карточка также указывает на готовые к запуску варианты GGUF в отдельном репозитории. Модель выдаёт вызовы инструментов в нативной разметке Gemma 4. Парсер llama.cpp с параметром --jinja может распознавать их некорректно, поэтому для преобразования в стандартные tool_calls нужен серверный shim. Генерируемые ответы и аргументы инструментов могут быть ошибочными или вымышленными; их следует проверять. После удаления отказов защитные ограничения существенно ослаблены, поэтому модель не подходит для сценариев, где важно поведение отказа. Модель помечена как устаревшая и заменённая более новой версией. Лицензия — Gemma.

Это конвертированные в ONNX модели GigaAM v2, подготовленные для запуска через библиотеку onnx-asr. Репозиторий содержит варианты архитектуры CTC и RNN-T для автоматического распознавания речи; пример применения из карточки — транскрибация WAV-файла. Модель предназначена для распознавания русской речи по аудио. ONNX позволяет использовать её в совместимой среде выполнения, включая CPU-вариант onnx-asr. Репозиторий распространяется по лицензии MIT. Размер моделей и длина контекста в предоставленных данных не приведены.

InternViT-300M-448px — визуальная foundation-модель и backbone для извлечения признаков изображений, разработанная OpenGVLab. Модель содержит около 402,7 млн параметров по метаданным и использует архитектуру InternVisionModel семейства InternViT. Она обучена дистилляцией из InternViT-6B-448px-V1-5. Модель принимает изображения с динамическим разрешением на основе тайлов 448×448: при обучении использовалось от 1 до 12 тайлов, при тестировании поддерживается от 1 до 40. Предназначена для получения визуальных признаков и может служить backbone для компьютерного зрения; в карточке также отмечены устойчивость, обработка высокого разрешения и возможности OCR. Обучающие данные включают мультиязычные наборы изображений, подписи и OCR-данные на китайском и английском языках. Лицензия — MIT. Авторы отмечают, что серия InternViT V2.5 лучше подходит для построения мультимодальных языковых моделей, чем для традиционных задач компьютерного зрения; результаты OCR и качество на конкретных данных могут зависеть от сценария применения.

JaColBERTv2.5 — японская модель семантического поиска на архитектуре BERT, разработанная Бенжамином Клавье. Она предназначена для ранжирования и извлечения релевантных документов в поисковых и RAG-системах; модель использует представления ColBERT с несколькими векторами для сопоставления запросов и документов. Чекпойнт содержит 138,4 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате safetensors для работы с RAGatouille. В README заявлено, что модель обучена на 40% данных, использованных для JaColBERTv2, и превосходит предыдущие подходы, включая мультиязычные варианты BGE-M3, на всех оценённых наборах данных. Указаны японские наборы MIRACL, MMARCO, JQaRA и JaGovFaqs. Модель рассчитана на японский язык; лицензия MIT.

KAT-Coder-Pro V2.5 — модель для агентного программирования, представленная как флагманская версия семейства KAT-Coder. Она предназначена для автономного выполнения задач разработки: модель может получать описание целой проблемы или рабочего процесса и самостоятельно находить нужный контекст и вносить изменения. Доступный фрагмент карточки не сообщает архитектуру, размер, поддерживаемые языки программирования, длину контекста или лицензию, поэтому эти характеристики нельзя уточнить. Метаданные каталога указывают задачу text-generation. Модель ориентирована на применение в разработке ПО; сведений о её качестве и ограничениях в предоставленных данных нет.

LateOn-Code — модель LightOn из семейства PyLate для поиска и ранжирования фрагментов кода. Это многовекторная модель позднего взаимодействия на архитектуре ModernBERT, размером 149 млн параметров. Она предварительно обучена по методике CoRNStack и дообучена на наборах CoIR с подбором сложных негативных примеров; заявленная базовая модель — внутренняя версия LateOn, построенная на ModernBERT-base. Модель предназначена для семантического поиска по коду: она сопоставляет запросы с фрагментами кода, помогает искать реализации функций и может ранжировать результаты первичного поиска. README приводит оценки на CodeSearchNet для Python, JavaScript, Go, Ruby, Java и PHP. Метаданные указывают контекст до 8192 токенов, библиотеку PyLate и форматы ONNX и safetensors. Модель ориентирована на кодовый поиск и не описана как генеративная. Для работы с ней используются PyLate и, при построении индекса, FastPLAID. Распространяется по лицензии Apache-2.0.

KRLabsOrg LettuceDetect — модель для выявления галлюцинаций в ответах французского языка для приложений с генерацией, дополненной поиском (RAG). Она дообучена на EuroBERT-210M и принимает контекст вместе с ответом, отмечая на уровне токенов фрагменты ответа, не подтверждённые контекстом; предсказания можно объединять в spans для проверки источников и поиска неподтверждённых утверждений. Модель использует архитектуру EuroBERT для классификации токенов, содержит 211,7 млн параметров и поддерживает контекст до 8192 токенов. В оценке на переведённом наборе RAGTruth-FR указана F1-мера 65,70%; карточка сообщает, что версия 210M обрабатывает примеры примерно втрое быстрее варианта 610M. Модель ориентирована на французский язык и выпущена под лицензией MIT. Для загрузки требуется версия Transformers 4.x: README предупреждает, что удалённый код EuroBERT пока несовместим с Transformers 5.x. Показатель качества приведён для переведённого набора RAGTruth-FR и сам по себе не гарантирует такую же точность на других данных или языках.

Модель davidsi/Llama3_1-8B-Instruct-AMD-python разработана David Silverstein и представляет собой дообученную инструктивную Llama 3.1 для помощи с технологиями AMD и программированием на Python. Она предназначена для работы в роли помощника разработчика, в том числе в локальных и on-premise средах, и поддерживает диалоговый режим и интерфейс вызова инструментов. Архитектура — плотная авторегрессионная модель LlamaForCausalLM с 7,5 млрд параметров; модель распространяется в формате safetensors и имеет контекстное окно 131 072 токена. Модель дообучена на базе meta-llama/Meta-Llama-3.1-8B-Instruct с применением дистилляции знаний, однако подробности обучающих данных и методики не приведены. Для использования действуют условия лицензии Llama 3.1; автор указывает отсутствие гарантий. Карточка ориентирует модель на английский язык, Python и вопросы по технологиям AMD.

Apollo Raines создал эту поведенчески модифицированную версию Llama-3.1-8B-Instruct с помощью инструмента jBlaze. Модель предназначена для диалогов и генерации текста с усиленным акцентом на фактическую точность, осторожность в выводах и точность численных ответов; примеры также показывают решение простых математических и программных задач и отказ от некоторых потенциально опасных запросов. В основе лежит плотная архитектура LlamaForCausalLM с 7,5 млрд параметров по метаданным, веса опубликованы в формате safetensors. Указанное контекстное окно — 131 072 токена. README заявляет, что изменения внесены непосредственно в веса без дополнительного обучения, однако метаданные классифицируют связь с базовой моделью как finetune. Для языка карточки указан английский. Модель распространяется по лицензии Llama 3.1. Автор описывает выпуск как демонстрационную версию с намеренно ограниченной выраженностью возможностей. В карточке заявлено, что известных проблем не наблюдалось, но это не является независимой оценкой качества; усиление осторожности может приводить к отказам на отдельных запросах.

KhanCold/llama3-8b-spader — дообученная методом обучения с подкреплением модель Llama 3.1 8B Instruct, созданная в рамках работы SPADER. Метод предназначен для длинных последовательностей взаимодействия с инструментами и вопросов, допускающих несколько правильных ответов. Он использует пошаговое сравнение параллельных траекторий для оценки преимуществ действий и поощряет поиск редких сущностей, снижая награду за повторяющиеся результаты. Модель рассчитана на генерацию текста и диалоговое применение, включая ответы на вопросы с несколькими ответами и сценарии работы агента с инструментами. Веса доступны в формате safetensors; размер модели — около 7,5 млрд параметров, контекст — до 131 072 токенов. В карточке указана лицензия Apache-2.0.

lod-stor-4B — плотная модель с 4 млрд параметров для оценки вариантов ответа, разработанная mrn-dk на базе Qwen3-4B-Base. Она принимает текстовое состояние и один или несколько вопросов с вариантами и критериями, после чего возвращает вероятности по заданным вариантам и отдельную оценку уверенности, что правильный ответ вообще присутствует в списке. Модель работает без генерации токенов и поддерживает интерфейсы choice, noul для оценки истинности утверждения и score для шкалы от 2 до 10. Модель обучена с LoRA, адаптер слит с базовыми весами; обучение использовало перекрёстную энтропию по частотам исходов. Вопросы и варианты оцениваются независимо, а для 64 лучших вариантов применяется дополнительный слой сравнения. Принимается до 32 768 токенов суммарно за проход; состояние может занимать до 30 720 токенов. Карточка сообщает об английском языке и лицензии Apache-2.0. Модель подходит для выбора из заданных ответов, ранжирования вариантов, проверки утверждений по предоставленному контексту и сценариев селективного предсказания с отказом при низкой уверенности. Качество существенно меняется в зависимости от задачи; вероятности калиброваны в среднем, но могут быть неточны на отдельных задачах. Модель не может выбрать ответ вне списка, а при отсутствии правильного варианта полезна только оценка confidence.

Logics-SWE-Qwen3.6-27B — модель на 27 млрд параметров от Logics-MLLM для агентных задач программной инженерии на уровне репозиториев. Она дообучена на базе Qwen/Qwen3.6-27B и объединяет навыки категорийных экспертов посредством дистилляции на собственных траекториях модели; при использовании развёртывается как единая политика без отдельных экспертов и меток категорий. Модель предназначена для исследования и создания агентов, которые разбираются в структуре репозитория, редактируют файлы, анализируют результаты и итеративно исправляют решения. В README приведены результаты оценки на Pro-618 и SWE-bench Multilingual; они относятся к полным агентным конфигурациям и не характеризуют отдельно генерацию текста моделью. Для практического использования агента нужны соответствующие системный промпт, схема инструментов, парсер действий, изолированная среда и проверяющий компонент. Модель использует архитектуру Qwen3.5 плотного типа и распространяется в формате safetensors для Transformers. В обучающих категориях представлены задачи сервисов, данных и безопасности, пользовательских приложений, системного ПО, инструментов и сред выполнения. Лицензия — Apache-2.0. Модель может генерировать команды, поэтому их выполнение требует контролируемой изолированной среды.

Malaysian Finetune Whisper Base — модель автоматического распознавания речи на базе Whisper Base, дообученная разработчиками Mesolitica на малайзийских аудиоданных. В обучении использовались наборы IMDA STT и Malay Conversational Speech Corpus, синтетические метки для малайзийских видео и аудиокниг Nusantara, а также закрытый Haqkiem TTS Dataset. Модель предназначена для транскрибации стандартной и местной разновидностей малайского языка, а также стандартного английского и малайско-английской разговорной речи Manglish. В репозитории указано 51,7 млн параметров; архитектура — WhisperForConditionalGeneration. Для обработки аудио длиннее 30 секунд README рекомендует разбивать его на фрагменты до 30 секунд и распознавать отдельно. Карточка показывает формат весов Safetensors. Лицензия в предоставленных данных не указана.

mesolitica/malaysian-whisper-small-v2 — это дообученная модель распознавания речи на базе Whisper Small, опубликованная разработчиком mesolitica. Она предназначена для преобразования аудио в текст на малайском и английском языках, включая местные варианты малайского и разговорный английский Manglish. Модель имеет архитектуру Whisper с примерно 153,1 млн параметров. При обучении использовались наборы IMDA STT, Malay Conversational Speech Corpus, синтетические и псевдоразмеченные аудиоданные, включая малайские видео и аудиокниги. Для обработки аудио длиннее 30 секунд автор рекомендует разбивать его на фрагменты и распознавать каждый отдельно. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных сведениях не указана.

Mega-ASR-MLX-int8 — сборка Mega-ASR в формате MLX от littlebearlabs, созданная на основе mlx-community/Mega-ASR-MLX-bf16 и предназначенная для распознавания речи на устройствах Apple Silicon. Mega-ASR повышает устойчивость Qwen3-ASR-1.7B: аудиомаршрутизатор определяет, чистая ли запись или ухудшенная, и при необходимости подключает LoRA-адаптер во время инференса. 344 линейные проекции аудиоэнкодера и текстового декодера квантизированы в int8 с размером группы 64; фронтенд, нормализации, маршрутизатор и LoRA-адаптер сохранены в bf16. Упакованные веса загружаются напрямую через native loader mlx-mega-asr без квантизации при запуске. Репозиторий содержит токенизатор Qwen2 BPE. README сообщает о близком качестве int8 и bf16 на LibriSpeech test-clean, однако проверка охватывает только 20 файлов. Модель основана на Qwen3-ASR-1.7B, для которой в карточке указаны английский и китайский языки. Лицензия — Apache-2.0.

MetaCLIP L/14 — модель семейства CLIP, разработанная командой MetaCLIP и представленная в работе Demystifying CLIP Data. Это крупная версия с разрешением патчей 14, обученная на 2,5 млрд примеров CommonCrawl. Модель сопоставляет изображения и текст в общем пространстве эмбеддингов, поэтому подходит для классификации изображений без дополнительного обучения и поиска изображений по текстовому описанию или текстов по изображению. Модель принимает изображения и текстовые запросы и формирует их представления для сравнения по сходству. Весовые файлы представлены в формате PyTorch; лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но некоммерческое. Карточка не приводит сведений о контекстном окне или перечне поддерживаемых языков.

Palak/microsoft_deberta-large_squad — дообученная на наборе SQuAD v1 модель DeBERTa Large с 454,1 млн параметров для ответов на вопросы по предоставленному тексту. Она принимает вопрос и контекст и предсказывает ответ в тексте; в метаданных указана архитектура DebertaForQuestionAnswering и максимальный контекст 512 токенов. В README приведены результаты оценки на 10 788 примерах: exact match 87,89 и F1 93,88. Модель подходит для извлечения ответов из документов и фрагментов текста на английском языке в системах поиска и анализа знаний. Карточка не содержит сведений о лицензии, поэтому условия использования определить нельзя. Результаты на SQuAD не гарантируют аналогичное качество на других темах и форматах вопросов.

Англоязычный кросс-энкодер-реранкер Hyperakan, дообученный на microsoft/MiniLM-L12-H384-uncased с использованием библиотеки Sentence Transformers и данных MS MARCO. Модель совместно обрабатывает запрос и текстовый фрагмент и выдаёт оценку релевантности, пригодную для повторного ранжирования результатов поиска и семантического поиска. Архитектура — BertForSequenceClassification с одним выходным значением; размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель принимает текст и выдаёт оценки для пар текстов. В README приведены результаты оценки на небольших наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR; показатели заметно различаются между наборами. Модель рассчитана на английский язык. Лицензия — Apache-2.0. Результаты на приведённых наборах ограничены их небольшим размером, поэтому качество для других данных и сценариев следует проверять отдельно.

tomaarsen/ms-marco-ettin-68m-reranker — англоязычная модель Cross-Encoder, разработанная на базе jhu-clsp/ettin-encoder-68m и дообученная на датасете MS MARCO с помощью библиотеки sentence-transformers. Она совместно обрабатывает пару «запрос — текст» и выдаёт одну оценку релевантности, которую используют для ранжирования результатов поиска и семантического поиска. Модель построена на архитектуре ModernBERT и содержит 68,1 млн параметров. В README максимальная длина последовательности указана как 512 токенов; метаданные каталога указывают native context в 7999 токенов. В карточке приведены результаты оценки на наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR. Модель предназначена прежде всего для английского языка. Это дообученная модель ранжирования; лицензия в предоставленных данных не указана. Оценки могут хуже переноситься на языки и области, отличные от английского веб-поиска. Для оценки большого числа документов попарное сравнение требует отдельного вычисления для каждой пары.

cross-encoder/msmarco-MiniLM-L6-en-de-v1 — компактная модель cross-encoder на архитектуре BERT, разработанная Sentence Transformers и дообученная на задаче ранжирования пассажей MS MARCO. Она оценивает релевантность пары «запрос — документ» и предназначена для повторного ранжирования результатов информационного поиска. Модель поддерживает английские и немецкие запросы и документы, включая англо-английский, немецко-английский и немецко-немецкий сценарии. Размер модели — 110,2 млн параметров, максимальная длина контекста — 512 токенов. Модель показала улучшение ранжирования относительно BM25 в приведённых оценках TREC-DL19 и GermanDPR; указанная скорость составляет 1600 пар «запрос — документ» в секунду на GPU V100. Её можно применять как второй этап поиска после первичного извлечения кандидатов. Лицензия — Apache-2.0.

OmniRet — мультимодальная модель эмбеддингов для поиска, опубликованная как объединённый чекпойнт второго этапа проекта Efficient and High-Fidelity Omni Modality Retrieval. Она объединяет текстовый энкодер Alibaba-NLP/gte-Qwen2-1.5B-instruct, визуальный энкодер google/siglip-so400m-patch14-384 и аудиоэнкодер Qwen-Audio с проекторами и общим способом объединения признаков. Модель кодирует текст, аудио, изображения и видео в общее пространство нормализованных векторов размерности 4096; сходство между ними можно оценивать скалярным произведением. Запрос может содержать инструкцию и текст вместе с одним типом медиа. Видео обрабатывается по не более чем восьми равномерно выбранным кадрам. Модель предназначена для межмодального поиска и вычисления релевантности, а не для генерации ответов. Опубликованная версия обучена в меньшем масштабе, чем модель из статьи, поскольку исходный чекпойнт был утрачен; количественные результаты статьи к ней напрямую не относятся. Для аудио требуются монофонические WAV-файлы PCM, 16 бит, 16 кГц; обработка на CPU поддерживается, но существенно медленнее, рекомендуется CUDA GPU. Оценки сходства не являются вероятностями и могут немного различаться между устройствами и вычислительными ядрами. В метаданных указана лицензия other.

Orpheas — модель Sentence Transformer, разработанная авторами репозитория novelcore и дообученная на базе intfloat/multilingual-e5-base на датасете generator. Она преобразует предложения и абзацы на греческом языке в плотные эмбеддинги размерности 768 и предназначена для семантического поиска и сравнения текстов. Архитектура включает XLM-RoBERTa, усреднение токенных представлений, нормализацию векторов и косинусное сравнение; максимальная длина входа — 512 токенов. Модель подходит для поиска релевантных документов, оценки семантической близости, поиска перефразирований, кластеризации и классификации текстов. В карточке приведены результаты оценки поиска на тестовой и валидационной выборках. Доступна под лицензией Apache-2.0.

mlx-community/parakeet-ctc-0.6b — версия модели Parakeet-CTC-0.6b, подготовленная сообществом mlx-community в формате MLX из nvidia/parakeet-ctc-0.6b. Это модель распознавания речи на архитектуре FastConformer с CTC, предназначенная для преобразования аудио в текст и доступная через библиотеки parakeet-mlx и mlx-audio. Базовая модель от NVIDIA NeMo и Suno.ai распознаёт английскую речь. Репозиторий использует библиотеку MLX и содержит веса в формате safetensors; в карточке указана лицензия CC BY 4.0. Подробности об условиях работы и характеристиках распознавания приведены в карточке исходной модели.

giangndm выпустил совместимое с Transformers представление модели NVIDIA Parakeet CTC 0.6B Vietnamese в формате BF16. Это модель распознавания речи с архитектурой ParakeetForCTC на основе FastConformer; она принимает аудио и преобразует его в текст на вьетнамском языке. В репозитории также находятся процессор и токенизатор, а для загрузки весов используется файл safetensors без необходимости выполнять удалённый код. Модель предназначена для транскрибирования вьетнамской речи. Её можно применять для получения текста из аудиозаписей и обработки речевых сигналов через Transformers. Представление BF16 является конверсией исходного чекпойнта и не заявляет об изменении качества распознавания. Применяются лицензия и ограничения использования исходной модели NVIDIA; в метаданных лицензия обозначена как other.

Perception Encoder PE-Core-S16-384 — визуальный энкодер семейства Perception Encoder, разработанный Meta. Модель использует vision-language обучение с контрастивным предобучением и дообучением на синтетически выровненных видеоданных; конфигурация S/16-384 в README отдельно не описана, поэтому её размер и точные параметры здесь не приводятся. Модель предназначена для классификации изображений по текстовым описаниям без специального обучения на целевых классах. Семейство PE также рассчитано на получение визуальных признаков для классификации, поиска и задач понимания видео. Репозиторий содержит веса PyTorch; лицензия Apache-2.0.

PhotonBERT-30M-1B — англоязычный двунаправленный энкодер с 29,7 млн параметров, разработанный RikkaBotan на основе иерархии PHOTON и обученный с нуля для masked language modeling. Архитектура делит последовательность на чанки нескольких масштабов: контекст кодируется на пониженной частоте, затем локальные декодеры восстанавливают представления токенов. Модель принимает последовательности длиной до 1 024 токенов; лимит контекста в метаданных указан как 8 192 токена. Используются токенизатор ModernBERT с 50 368 элементами словаря и веса в форматах PyTorch и Safetensors. Модель предназначена для заполнения маскированных токенов и может служить энкодером для классификации текста и задач GLUE, а также для извлечения признаков и retrieval-сценариев. В README приведены результаты на части задач GLUE, но checkpoint обучен только на первом этапе и имеет ограниченный бюджет — 1 млрд токенов. README сообщает, что для загрузки требуется trust_remote_code=True. Лицензия — Apache-2.0.

Pleias-RAG-350M — компактная языковая модель Pleias на архитектуре Llama с 353,4 млн параметров, дообученная на задачи генерации ответов с опорой на найденные источники. Она принимает запрос и набор источников в структурированном формате, анализирует запрос и полноту источников, а затем формирует ответ с обоснованием и ссылками на цитаты. Модель предназначена для RAG-систем, поиска и суммаризации источников, включая многошаговые вопросы и отбор отвлекающих документов. Модель поддерживает английский, французский, итальянский, немецкий и испанский языки; в README также заявлена более ограниченная поддержка польского, латинского и португальского. Контекст составляет 4096 токенов. Небольшой размер позволяет запускать её на ограниченной инфраструктуре, в том числе на телефонах и CPU; авторы сообщают о результатах на бенчмарках HotPotQA, 2Wiki и MuSiQue и рекомендуют включать её в многомодельные RAG-системы. Модель распространяется в формате safetensors по лицензии Apache-2.0. Результаты оценки в README относятся к «тривиальному» режиму бенчмарков, поэтому их нельзя считать подтверждением качества во всех режимах рассуждения и сценариях. Модель рассчитана на работу с предоставленными источниками; при недостаточном покрытии источников ответ может быть ограничен или отклонён.