II.8Инженерия данных и аналитика

code-daemon-relation-v1 — модель классификации отношений от автора faxenoff для построения графов знаний по документации. Она принимает фрагмент текста с двумя отмеченными сущностями и за один проход относит их к одному из четырёх классов: отсутствует связь, семантическое сходство, замещение или противоречие, зависимость. Модель предназначена для пакетного извлечения связей из документации, кода и комментариев к нему. В основе лежит энкодер XLM-RoBERTa на базе hotchpotch/mMiniLMv2-L12-H384; модель содержит около 124,3 млн параметров и поддерживает контекст до 514 токенов. Классификационная голова объединяет представления двух маркеров сущностей, поэтому учитывает их порядок. Заявлена поддержка многих языков; доступны веса Safetensors и форматы ONNX и Core ML, а карточка также описывает варианты запуска через TensorRT и OpenVINO. На указанном отложенном наборе модель показала macro-F1 0,60; качество зависит от класса, а границы отношений могут быть неоднозначны. Для извлечения связей README рекомендует задавать порог уверенности и проверять результаты; оба маркера должны сохраняться в контекстном окне. Лицензия — MIT.

ColQwen3-VL-Embedding-2B-vdr — мультимодальный многовекторный энкодер, дообученный авторами tomaarsen на базе Qwen/Qwen3-VL-Embedding-2B с использованием Sentence Transformers и набора llamaindex-vdr-en-train-preprocessed из 10 000 примеров. Модель преобразует текст, изображения и видео в последовательности 128-мерных векторов на уровне токенов и оценивает соответствие запросов и документов методом позднего взаимодействия MaxSim. Модель предназначена прежде всего для семантического поиска по визуальным документам и другим мультимодальным данным: она сопоставляет текстовые запросы с изображениями, сохраняя отдельные векторы для токенов вместо сведения всего ввода к одному вектору. Заявленная максимальная длина последовательности — 262 144 токена. В README приведены результаты оценки на vdr-eval-hard, включая maxsim_accuracy@1 0,8467 и maxsim_accuracy@5 0,98. Модель использует библиотеку Sentence Transformers и распространяется в формате Safetensors. Лицензия в предоставленных данных не указана.

Lajavaness/CrossEncoder-camembert-large — франкоязычная модель-кросс-энкодер на архитектуре CamemBERT для оценки семантического сходства двух предложений. Она выдаёт оценку от 0 до 1 и подходит для сравнения фраз и ранжирования текстовых пар по близости смысла. Модель дообучена на STS Benchmark с использованием Augmented SBERT и стратегий подбора пар; в карточке указано улучшение устойчивости и качества относительно dangvantuan/CrossEncoder-camembert-large. Размер по метаданным — 435,4 млн параметров, максимальный контекст — 514 токенов. Для оценки приведены результаты корреляции Пирсона и Спирмена на французских наборах STS и SICK. Модель принимает текстовые пары и выдаёт числовую оценку релевантности, поэтому для каталога она подходит к задачам text-ranking и text-classification. Лицензия — Apache-2.0. Карточка не описывает ограничения за пределами специализации на французском семантическом сходстве предложений.

Data2Vec-Audio-Large-960h — акустическая модель Facebook для автоматического распознавания английской речи. Это крупная Transformer-модель семейства data2vec с архитектурой Data2VecAudioForCTC и 402,7 млн параметров; она предварительно обучена и дообучена на 960 часах аудио из LibriSpeech. Модель принимает речь с частотой дискретизации 16 кГц и выводит текстовую транскрипцию. Модель предназначена для транскрибирования аудиозаписей и оценки систем распознавания речи на наборах LibriSpeech. В карточке приведены результаты WER 1,89 для раздела clean и 4,07 для other. Эти показатели относятся к указанной оценке на LibriSpeech и не гарантируют аналогичного качества на других данных. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Она рассчитана на английскую речь и требует аудио с частотой 16 кГц; карточка не описывает поддержку других языков или сценариев работы.

daVinci-LLM-3B — базовая языковая модель с примерно 3,1 млрд параметров, представленная исследовательской группой GAIR-NLP в проекте daVinci-LLM. Это плотный decoder-only Transformer семейства Qwen2, обученный в два этапа примерно на 8 трлн токенов: сначала на широком веб-корпусе, затем на структурированных вопросах и данных для рассуждений. Репозиторий содержит веса в формате safetensors; метаданные указывают контекст до 32 768 токенов. Модель предназначена для исследований предобучения, изучения качества данных и динамики обучения, а также для генерации текста, кода и ответов с математическими и научными рассуждениями. В README приведены результаты оценки на 19 бенчмарках и описаны более 200 абляционных экспериментов. Модель является базовой, не настроена на выполнение инструкций и не прошла выравнивание по безопасности, поэтому перед прикладным использованием необходимы дополнительная оценка и настройка. Лицензия — Apache-2.0.

Decision-2.0-Sol-2B — плотная модель с 1,88 млрд параметров из семейства Decision 2.0, разработанная командой vLLM Semantic Router. Она принимает текст или JSON вместе с вопросами и за один проход выбирает вариант, отвечает «да» или «нет» либо выставляет оценку. Для каждого возможного ответа модель возвращает вероятность и не генерирует текст. Модель предназначена для классификации и оценки свидетельств или условий, в том числе для обработки нескольких вопросов об одном входе за один проход. Контекст составляет 16 384 токена. В README сообщается о результатах на JevArena и наборе из 15 задач с разметкой людьми, а также о медианной задержке 7,2 мс на запрос с одним вопросом на одном GPU. Это дообученная версия vllm-sr/Decision-1.0-Sol-2B, распространяемая в формате safetensors. Лицензия — Apache-2.0. Модель выдаёт вероятности вариантов, а не свободный текст; задержка и результаты бенчмарков из README не гарантируют аналогичной скорости или качества в других условиях.

DheyoAI выпустила GGUF-версию модели DeepSeek-R1-Distill-Qwen-1.5B — компактной плотной языковой модели на архитектуре Qwen2 с 1,5 млрд параметров. Она предназначена для генерации текста в диалоге и решения задач, требующих рассуждений, включая математику и программирование. В README приведено сравнение вариантов квантования семейства на тестах GSM8K, GPQA Diamond, Math500 и AIME; результаты относятся к описанным вариантам и условиям оценки. Модель принимает текст и генерирует текст. Метаданные указывают контекст до 131 072 токенов и поддержку английского языка. Формат GGUF рассчитан на компактное локальное хранение и запуск совместимыми средствами. Лицензия — MIT.

Jwalit разработал Document Moiré Detection Model V2 — модель компьютерного зрения для выявления муаровых артефактов на изображениях документов. Это дообученный DeiT-small на базе Vision Transformer с классификационной головой; в карточке указано 28,3 млн параметров. Модель относит изображение к одному из двух классов: clean или moire. Для предсказания изображение масштабируется до 224×224 пикселей. Модель предназначена для проверки качества сканов, фотографий документов и снимков экрана, а также для поиска муара, возникшего при съёмке экрана, сканировании или захвате изображения. В README приведены результаты на тестировании, включавшем слабый и локализованный муар; автор сообщает точность 99,12%, F1 0,9913 и полноту 99,75%. Обучение проводилось на 8 000 примерах с синтетически созданными муаровыми паттернами. Модель распространяется по лицензии Apache-2.0. Её качество на реальных вариантах муара может отличаться от результатов на синтетических данных; на фотографиях обычных сцен точность не гарантируется. Масштабирование до 224×224 может скрыть очень слабый муар в изображениях высокого разрешения, а повышенная полнота сопровождается ложными срабатываниями на чистых изображениях.

DUSUNEN Rota 270M v3 — компактная модель плотного поиска по турецким текстам, разработанная Werea и дообученная на базе microsoft/harrier-oss-v1-270m. Она построена на текстовой архитектуре Gemma 3, содержит около 257 млн параметров и рассчитана на контекст до 32 768 токенов. Модель создаёт текстовые эмбеддинги для семантического поиска и сравнения предложений; обучение включало дистилляцию оценок multilingual-e5-large и 308 тысяч естественных пар из MS MARCO-TR и DUSUNEN без синтетических шаблонов. Модель подходит для поиска документов и формирования кандидатов на первом этапе турецкоязычного RAG. В опубликованной оценке на TurHistQuadRetrieval она превзошла базовую Harrier OSS 270M по nDCG@10, но уступила multilingual-e5-base, особенно по полноте поиска на 100 результатах. Для стабильной работы автор рекомендует bf16: при fp16 выходы эмбеддингов могут содержать NaN. Лицензия — Apache-2.0.

E5-RoPE-Base — модель эмбеддингов семейства E5-RoPE, представленная в работе LongEmbed Даwei Zhu, Liang Wang, Nan Yang, Yifan Song, Wenhao Wu, Furu Wei и Sujian Li (2024). Она предназначена для кодирования запросов и текстовых фрагментов в векторы для поиска и сравнения предложений. Модель содержит 12 слоёв, имеет размерность эмбеддинга 768 и контекст до 512 токенов. Модель подходит для экспериментов с поиском по текстам и оценки эмбеддингов на бенчмарках BEIR и MTEB. Авторы отмечают, что она не обучалась специально для достижения оптимальных показателей: её цель — сравнить эмбеддинги с абсолютными позиционными представлениями и RoPE, в частности при работе с более длинным контекстом. Доступна под лицензией MIT.

Это веса модели EVA02 Enormous Patch14 CLIP 224, опубликованные в репозитории timm и совместимые с библиотекой OpenCLIP. Модель предназначена для классификации изображений по текстовым описаниям без обучения на целевых классах: она сопоставляет изображение с кандидатными подписями и оценивает их соответствие. Архитектура использует визуальный энкодер EVA02 с патчами 14 × 14 и CLIP-сопоставление изображения и текста; размер входного изображения — 224 пикселя. Веса связаны с обучающей выборкой LAION-2B и доступны в форматах PyTorch и Safetensors. Модель принимает изображения и текстовые варианты классов, а выдаёт оценки соответствия для выбора наиболее подходящего описания. Карточка не сообщает языковую специализацию, поэтому область поддержки языков по ней определить нельзя. Лицензия репозитория — MIT.

Systran/faster-distil-whisper-small.en — конверсия модели distil-whisper/distil-small.en в формат CTranslate2. Репозиторий подготовлен Systran для запуска в CTranslate2 и проектах на его основе, включая faster-whisper. Модель предназначена для распознавания английской речи в аудиозаписях и выдачи транскрипции. Веса сохранены в FP16; при загрузке через CTranslate2 можно выбрать другой тип вычислений. Репозиторий распространяется по лицензии MIT. Подробности об архитектуре, размере и контекстном окне в доступных данных отсутствуют.

GeistBERT — немецкоязычная языковая модель, разработанная авторами проекта GeistBERT и дообученная на основе GottBERT. Это плотная архитектура RoBERTa с 153,2 млн параметров, обученная с Whole Word Masking на преимущественно дедуплицированном немецком корпусе объёмом около 1,3 трлн токенов; контекст составляет 514 токенов. Модель предназначена для немецких NLP-задач, включая классификацию текста, распознавание именованных сущностей, понимание документов и предварительное обучение для машинного перевода. В README сообщаются сильные результаты на немецких бенчмарках NER, классификации текста и NLI. Для специализированных задач модель можно дообучать; метаданные указывают задачу заполнения пропусков в тексте (fill-mask). Корпус не прошёл полную ручную проверку, поэтому в нём могут встречаться избыточные или низкокачественные примеры. Лицензия модели — MIT.

OpenASR/granite-speech-4.1-2b — модель автоматического распознавания речи, созданная IBM Granite и адаптированная проектом OpenASR для локального запуска. Она преобразует аудиозаписи в текст и предназначена для сценариев speech-to-text на CPU и GPU без использования Python во время инференса. Модель имеет около 2 млрд параметров и сочетает 16-слойный аудиоэнкодер Conformer, Q-Former projector и декодер Granite на 2B параметров. Поддерживаются английский, французский, немецкий, испанский, португальский и японский языки; исходный язык определяется автоматически, без специального языкового токена. Доступны варианты квантования fp16, q8_0 и q4_k в формате .oasr. По данным README, для английского достигнут WER 0,54% на фиксированном наборе оценки, а q8_0 рекомендован как компромисс между качеством и размером. Сильные стороны модели — высокая заявленная точность английского распознавания, мультиязычность, локальная работа на CPU и GPU и сниженное потребление памяти благодаря квантованию. Ограничения включают поддержку только шести заявленных языков и отсутствие данных о контекстном окне, устойчивости к шуму, качестве на других языках и сценариях, а также об абсолютной точности квантованных вариантов за пределами указанной оценки. Пакеты распространяются по лицензии Apache-2.0 и наследуют лицензию исходной модели; OpenASR выполняет конвертацию формата, квантование и адаптацию для локального инференса.

Это дообученная модель WhisperForConditionalGeneration на 455,8 млн параметров, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; карточка указывает дообучение на наборе данных None. На тестовой выборке приведены Loss 0,4623 и Global WER 30,7295. Модель принимает аудио и выдаёт текст; базовая модель предназначена для индийских языков, а для этого варианта подтверждена поддержка хинди. Выпущена в формате safetensors для Transformers под лицензией MIT.

Iso-ModernColBERT — англоязычная много-векторная модель для семантического поиска и ранжирования документов, разработанная TopK.io. Это изотропно скорректированная версия GTE-ModernColBERT-v1 на архитектуре ModernBERT с 149 млн параметров и контекстом до 8192 токенов. Модель кодирует запросы и документы в наборы векторов и поддерживает позднее взаимодействие в стиле ColBERT; в TopK она также применяется со Sparse Multi-Vector Encoding (SMVE). Модель рассчитана на производственные системы поиска, где важны качество ранжирования и скорость извлечения. По внутренним оценкам разработчика на наборах BEIR и NanoBEIR версия bf16 сохраняет качество ранжирования, близкое к fp32, и ускоряет инференс до трёх раз относительно исходной модели; SMVE предназначен для масштабируемого поиска кандидатов с последующим ранжированием. Эти результаты получены во внутреннем тестовом контуре, а README отмечает, что некоторые показатели выигрыша SMVE обусловлены крайне низкой базовой оценкой исходной модели. Лицензия — Apache-2.0. Модель ориентирована на английский язык; заявленный контекст — 8192 токена. Она предназначена для получения векторов и оценок релевантности, а не для генерации ответов. Результаты README относятся к указанным поисковым бенчмаркам и конфигурациям, поэтому качество на других корпусах и при иных настройках отдельно не подтверждено.

JaColBERTv2 — японская модель поиска документов на архитектуре ColBERT, разработанная автором JaColBERT. Она предназначена для извлечения релевантных фрагментов по запросу и применения в поиске и RAG-системах. Модель использует позднее взаимодействие между представлениями токенов документов и запроса, что позволяет сочетать семантическое сопоставление с эффективным поиском по заранее построенному индексу. Модель содержит 138,4 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Она основана на JaColBERT и cl-tohoku/bert-base-japanese-v3; README указывает на обучение дистилляцией на японской части MMARCO с 31 отрицательным примером на положительный. Для использования автор рекомендует RAGatouille. Лицензия — MIT. В ранних оценках автор сообщает о результатах выше JaColBERT, multilingual-e5-large и BGE-M3 на JQaRa и JSQuAD, однако полная оценка ещё не завершена. Версия обозначена как ранний рабочий чекпойнт, веса могли обновляться; результаты следует считать предварительными.

bongsoo/klue-cross-encoder-v1 — корейская модель на базе klue/bert-base, дообученная автором как cross-encoder с помощью класса Cross-Encoder из SentenceTransformers. Она оценивает семантическое сходство пары предложений, в частности для задач STS. В карточке приведены результаты на корейских и англоязычных наборах STS; модель показывает более высокую оценку на klue-sts, чем на korsts и glue STS-B. Модель использует архитектуру BERT с классификационной головой, содержит 137,8 млн параметров и принимает последовательности длиной до 512 токенов. Основной язык — корейский; в опубликованной оценке также есть тест на английском. Лицензия — Apache-2.0. Cross-encoder выдаёт оценку для пары текстов, поэтому для ранжирования документов обычно нужно отдельно оценить каждую пару запроса и кандидата.

BM-K/KoSimCSE-roberta-multitask — корейская модель эмбеддингов предложений на архитектуре RoBERTa, опубликованная в репозитории Korean-Sentence-Embedding. Она предназначена для получения векторных представлений текста и семантических задач, включая сравнение смысловой близости предложений. Модель содержит 137,8 млн параметров, принимает последовательности длиной до 514 токенов и доступна в форматах PyTorch и Safetensors. В README приведены результаты оценки на тестовом наборе Semantic Textual Similarity и материалы для обучения и запуска моделей. Модель подходит для поиска семантически похожих предложений, ранжирования текстов по близости и построения систем поиска на основе эмбеддингов. Указанные сведения не подтверждают качество на других задачах или доменах. Лицензия в предоставленных данных не указана.

KURE-Reranker-nano — компактная двуязычная модель-переранжировщик корейских и английских текстов, разработанная nlpai-lab на базе SKT A.X-Encoder-base. Это cross-encoder на архитектуре ModernBERT примерно со 148,7 млн параметров: модель совместно обрабатывает запрос и кандидатный документ и выдаёт оценку их релевантности. Контекст составляет до 16 384 токенов. Модель предназначена для повторного ранжирования результатов поиска, в том числе длинных документов. В README приведены результаты на девяти корейских поисковых бенчмарках: средний nDCG@10 — 87,57, а на MultiLongDocRetrieval — 79,66; также сообщается о высокой пропускной способности в условиях описанного теста на NVIDIA RTX A6000. Эти показатели относятся к указанным бенчмаркам и условиям измерения и не гарантируют аналогичных результатов на других данных или оборудовании. Модель выпущена под лицензией Apache-2.0.

В репозитории SerialKicked/Lethe-AI-Repo собраны ресурсы для библиотеки Lethe AI Sharp: GGUF-модели, шаблоны Jinja и файлы для интеграции локальных LLM. В него входят квантованная модель эмбеддингов GTE large в формате Q6_K для поиска по RAG-сценариям и квантованный классификатор эмоций на базе BERT-base-uncased, дообученный на GoEmotions для многометочной классификации 28 эмоций. Также размещены исправленные шаблоны диалогов Mistral и Qwen. Репозиторий предназначен для разработчиков, использующих библиотеку Lethe AI Sharp на C#/.NET: его компоненты помогают организовать векторный поиск по документам и экспериментальный анализ эмоций. Для классификатора указано экспериментальное применение; характеристики контекста и полный перечень поддерживаемых языков в карточке не приведены. Лицензия репозитория — MIT.

LettuceDetect от KRLabsOrg — англоязычная модель для выявления галлюцинаций в ответах, сформированных по контексту, например в системах RAG. Она дообучена для классификации токенов на базе answerdotai/ModernBERT-base и возвращает оценки для отдельных токенов ответа, которые можно объединить в фрагменты, не подтверждённые контекстом. В карточке указана поддержка контекста до 8192 токенов и обучение на датасете RagTruth; метаданные указывают архитектуру ModernBertForTokenClassification и 149 млн параметров. Модель принимает контекст и ответ и выдаёт разметку токенов. Модель подходит для проверки обоснованности ответов в RAG и подсветки неподтверждённых фрагментов. В README приведены результаты на RagTruth, но без числовых показателей для этой версии. Распространяется по лицензии MIT.

Petrouil/LFM2.5-Mosaic-900M-A500M-Base — агентный текстовый ассистент на архитектуре Mixture-of-Experts, разработанный на основе замороженной базовой модели LiquidAI/LFM2.5-350M-Base. В модель добавлены десять MoE-слоёв; карточка указывает 921 млн параметров всего и около 543 млн активных на токен, тогда как метаданные каталога сообщают 444,6 млн параметров. Модель рассчитана на вызов инструментов, функции и многошаговые диалоги с инструментами, а также обычное общение и следование инструкциям в цикле ассистента с подключёнными инструментами. Она генерирует структурированные вызовы инструментов в JSON или в нативном формате LFM2.5. Модель принимает и генерирует текст, поддерживает английский язык и имеет контекстное окно 128 000 токенов. Она дообучена на данных для агентных сценариев, включая траектории вызова инструментов, обслуживание клиентов и поиск в интернете, а также на наборах разговоров и инструкций. Слабые стороны — ограниченные общие знания и рассуждения на длинном горизонте, возможные повторы в длинной генерации и мягкая маршрутизация между экспертами. Указана пользовательская лицензия; перед коммерческим распространением следует проверить её условия.

Mungert/Llama-xLAM-2-8b-fc-r-GGUF — это GGUF-версия модели Llama-xLAM-2-8b-fc-r из семейства xLAM-2, разработанного Salesforce AI Research. Модель предназначена для построения AI-агентов, которые интерпретируют намерения пользователя, планируют действия и вызывают внешние функции или инструменты. Она ориентирована на многоходовые диалоги и сценарии function calling, включая автоматизацию рабочих процессов и взаимодействие с API. Модель содержит около 8 млрд параметров, работает с текстом и поддерживает контекст до 128 тысяч токенов. В карточке указан английский язык. Данная версия сгенерирована в формате GGUF с использованием llama.cpp и включает экспериментальный подход к квантованию: отдельные важные слои переводятся на более высокую точность, что может улучшать качество при заданном уровне квантования, но увеличивает размер файла. При этом квантование в целом может снижать точность по сравнению с исходной моделью. Модель заявлена как эффективная для многоходового использования инструментов и стабильного выполнения агентских сценариев; семейство xLAM-2 демонстрирует высокие результаты на бенчмарках BFCL и τ-bench. Релиз предназначен только для исследовательских целей. Лицензия — CC BY-NC 4.0, поэтому коммерческое использование ограничено условиями лицензии.

LUKE — предварительно обученная контекстная модель понимания языка, разработанная для представления слов и сущностей. Она основана на трансформере и использует механизм entity-aware self-attention, учитывающий, является ли токен словом или сущностью. Версия luke-base содержит 12 слоёв со скрытым размером 768; в метаданных указано 151,9 млн параметров, контекст — до 514 токенов. README приводит другое число параметров — 253 млн. Модель обучена на версии Википедии за декабрь 2018 года. Её представления применимы в задачах заполнения масок, распознавания именованных сущностей, типизации сущностей, классификации отношений и извлечения ответов на вопросы. В README приведены результаты LUKE на нескольких языковых бенчмарках, но не все результаты относятся именно к luke-base. Модель рассчитана на английский язык и распространяется по лицензии Apache 2.0.

MobileCLIP-B — модель семейства CLIP, разработанная Apple и представленная в исследовании «MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training» (CVPR 2024). Этот репозиторий содержит чекпойнт MobileCLIP-B для библиотеки timm в формате PyTorch; модель сопоставляет изображения и текст и предназначена для быстрого визуально-текстового поиска и классификации с нулевым обучением на целевых классах. Вариант MobileCLIP-B (LT) показывает точность top-1 77,2% на ImageNet в режиме zero-shot. Модель принимает изображения и текстовые описания, а на выходе формирует представления для сопоставления и оценки сходства. README также приводит результаты меньших вариантов семейства, но не раскрывает размер и скорость именно этого чекпойнта MobileCLIP-B. Поддерживаемые языки отдельно не перечислены; обучение описано как мультимодальное, без уточнения языкового охвата. Лицензия — apple-amlr. Модель может ошибаться при переносе на категории и данные, отличающиеся от оценочных наборов; точность зависит от формулировок текстовых меток и характеристик изображений.

Это модель Sentence Transformers, дообученная на answerdotai/ModernBERT-base на наборе code_search_net. Она кодирует текстовые запросы и фрагменты кода в плотные векторы размерности 768 и предназначена прежде всего для семантического поиска по коду и сопоставления запросов с подходящими фрагментами. Также её можно применять для оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. Модель использует encoder-архитектуру ModernBERT с CLS-пулингом и косинусной мерой сходства. README указывает максимальную длину последовательности 4096 токенов, а метаданные — нативный контекст 8192 токена; фактическую длину при использовании следует соотносить с конфигурацией Sentence Transformers. Размер модели — 149 млн параметров. Карточка описывает пары запросов и кода из CodeSearchNet; отдельные языки программирования или естественные языки в метаданных не перечислены. Модель выдаёт эмбеддинги, а не готовые текстовые ответы, поэтому для поиска обычно требуется сравнение векторов и, при необходимости, отдельный индекс. Лицензия в предоставленных данных не указана.

hugoomezz/modernbert-ragtruth-token-level-binary — дообученная командой проекта на RAGTruth модель для поиска галлюцинаций в ответах RAG-систем. Она получает контекст и сгенерированный ответ и классифицирует каждый токен ответа как подтверждённый контекстом или галлюцинаторный, что позволяет выделять неподтверждённые фрагменты текста, а не только присваивать ответу общий вердикт. Модель построена на encoder-архитектуре ModernBERT-base, содержит 149 млн параметров и имеет нативную длину контекста 8192 токена; веса опубликованы в формате safetensors. На тестовой выборке RAGTruth модель показала F1 0,7631 для определения наличия галлюцинации в ответе и F1 0,5321 для выделения фрагментов. Она предназначена для исследовательских экспериментов и демонстрации проверки ответов, включая QA, суммаризацию и преобразование данных в текст. Основные ограничения — слабее выявляются ошибки в суммаризациях и тонкие галлюцинации; возможны пропуски и ложные срабатывания на близких перефразировках. Модель не проверена за пределами задач RAGTruth и не гарантирует обнаружение всех неподтверждённых утверждений. Лицензия — MIT.

webis/monoelectra-base — англоязычный кросс-энкодер семейства mono, разработанный для ранжирования и повторной сортировки текстовых фрагментов. Модель представлена в статье Rank-DistiLLM, посвящённой сокращению разрыва в эффективности между кросс-энкодерами и большими языковыми моделями при переранжировании passage. Модель основана на google/electra-base-discriminator и содержит 136,7 млн параметров. Она принимает пары текстов для оценки их релевантности и подходит для переранжирования результатов поиска и отбора passages для последующей обработки. Максимальная длина контекста — 512 токенов; веса опубликованы в формате safetensors. Модель распространяется по лицензии Apache-2.0. Она рассчитана на английский язык и задачи ранжирования; контекст ограничен 512 токенами.

cross-encoder/ms-marco-TinyBERT-L2 — компактная модель ранжирования от Sentence Transformers, обученная на задаче MS MARCO Passage Ranking. Это дообученная BERT-модель с архитектурой BertForSequenceClassification и 4,4 млн параметров; она принимает пару «запрос — текстовый фрагмент» и оценивает релевантность фрагмента запросу. Контекст модели — до 512 токенов. Модель предназначена для информационного поиска по схеме retrieve-and-rerank: после первичного поиска, например в ElasticSearch, она пересчитывает релевантность найденных фрагментов и сортирует их по убыванию оценки. Подходит для ранжирования passages в поисковой выдаче и для оценки релевантности пар текстов. Поддерживает английский язык. Доступны варианты весов PyTorch, safetensors, ONNX, OpenVINO и Flax. Компактный размер делает модель пригодной для повторного ранжирования множества кандидатов, но её применение ограничено текстовыми парами и контекстом до 512 токенов. Она рассчитана на переоценку уже найденных документов, а не на генерацию текста или самостоятельный поиск по коллекции. Лицензия — Apache-2.0.