I.3Извлечение и структурирование данных

K2-Horizon-MoVA-36B-A4B MLX-4bit — это 4-битная MLX-конверсия модели IFM/K2-Horizon-MoVA-36B-A4B, разработанной IFM. Модель предназначена для генерации текста и запуска через mlx-lm на устройствах Apple с unified memory. Это разреженная Mixture-of-Experts-модель с архитектурой Mixture-of-Values attention (MoVA): общий объём составляет 36 млрд параметров, при обработке каждого токена активно около 4 млрд. Исходная модель поддерживает нативный контекст до 524 288 токенов (512K), однако фактически доступная длина контекста зависит от объёма unified memory и настроек KV-кэша. Вариант является текстовым и не требует vision projector; в метаданных указан английский язык. Веса в основном квантизованы методом affine 4-bit с размером группы 64, а веса маршрутизаторов MoE и MoVA сохранены в 8-битном формате. Размер модели составляет 21,07 ГБ. К сильным сторонам относятся большой контекст, сниженная по сравнению с полной точностью потребность в памяти и разреженная обработка с небольшим числом активных параметров на токен. Ограничениями являются необходимость актуальной версии mlx-lm, зависимость практической длины контекста от доступной памяти и отсутствие мультимодальных возможностей. Модель распространяется по лицензии Apache-2.0.

lingtrain/labse-buryat — модель Lingtrain для получения плотных векторных представлений предложений и абзацев. Она основана на архитектуре BERT и выдаёт эмбеддинги размерности 768; в метаданных указано 498,1 млн параметров. Модель предназначена для семантического поиска, сравнения текстов, кластеризации и других задач, где нужно сопоставлять смысловые представления фрагментов текста. Модель обучалась с функцией потерь CosineSimilarityLoss и распространяется в формате PyTorch. Контекст ограничен 512 токенами. Название указывает на ориентацию на бурятский язык, однако README и метаданные не приводят перечень поддерживаемых языков или результаты оценки качества. Лицензия в предоставленных данных не указана.

hillbyte/labse-mizo-en-embed — модель встраивания предложений, созданная дообучением LaBSE на параллельном корпусе из 170 тысяч пар предложений на мизо и английском языках. Архитектура основана на BERT; модель кодирует предложения в плотные векторы размерностью 768 и сопоставляет оба языка в общем пространстве. Контекст модели — до 512 токенов. Модель предназначена для межъязыкового семантического поиска по корпусу, извлечения релевантных документов, поиска соответствий между переводами и оценки сходства предложений. В README приведены результаты тестирования на 3000 отложенных парах запрос-документ для поиска в обоих направлениях — с английского на мизо и с мизо на английский. Модель распространяется по лицензии Apache-2.0.

LongCite-llama3.1-8b — языковая модель семейства Llama, представленная zai-org. Она предназначена для ответов на вопросы по длинным документам с указанием подтверждающих фрагментов и цитат. Модель дообучена на наборе THUDM/LongCite-45k. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и поддерживает контекст до 131 072 токенов. Она принимает текст и генерирует текст; в метаданных указаны английский и китайский языки. Весы опубликованы в формате safetensors и рассчитаны на использование с Transformers. Лицензия и конкретные ограничения качества в предоставленных данных не описаны.

KennethTM/MiniLM-L6-danish-encoder-v2 — компактная модель Sentence Transformers на архитектуре BERT для представления датских предложений и абзацев в виде плотных векторов размерности 384. По карточке это обновлённая версия MiniLM-L6-danish-encoder, обученная на дополнительных данных GooAQ, переведённых на датский язык; модель адаптирована от англоязычной sentence-transformers/all-MiniLM-L6-v2 с датским токенизатором, а не обучена с нуля. Модель содержит 25,9 млн параметров и обрабатывает последовательности длиной до 512 токенов. Векторы подходят для семантического поиска, сравнения сходства предложений и кластеризации датских текстов. При обучении использовались переведённые на датский данные ELI5 и SQuAD, а также датские пары GooAQ. Лицензия — MIT. Описание не сообщает результатов сравнительной оценки качества; при использовании следует учитывать, что назначение и обучающие данные ориентированы на датский язык.

UMCU разработала Sentence Transformer на основе UMCU/mirrorbert_medroberta.nl_clstoken, дообученный для представления предложений и абзацев в виде плотных векторов размерностью 768. Архитектура состоит из RoBERTa и слоя pooling, который использует представление CLS-токена; для сравнения предусмотрена косинусная мера сходства. В метаданных указано 153,2 млн параметров и контекст до 514 токенов, тогда как README задаёт максимальную длину последовательности 30 токенов для Sentence Transformers; при использовании этой библиотеки следует учитывать более короткое ограничение. Модель подходит для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Название базовой модели и домен medroberta указывают на медицинскую направленность, однако README не описывает конкретные медицинские задачи или языки, поэтому применять её для них следует с отдельной проверкой. Репозиторий использует формат safetensors и библиотеку Sentence Transformers; лицензия в предоставленных данных не приведена.

RainbowPiBubbles/Nathanael-Embedding-8M — компактная энкодер-свободная модель зрения и языка на базе SupraLabs/SupraCMA-8M. Она предназначена для извлечения признаков из текста и изображений: принимает токены текста, пиксели изображения и признак наличия изображения, а выдаёт представления в скрытом пространстве языковой модели. Визуальные представления дистиллированы с использованием эмбеддингов SigLIP-2; вместо отдельного тяжёлого визуального энкодера используются математические патчи, отображающие визуальные токены в целевое представление. Модель доступна в форматах SafeTensors и ONNX: FP32 рассчитан на CPU и WASM, а FP16 — на ускорение через WebGPU или WebGL. Граф ONNX включает масштабирование и нормализацию изображений, что подходит для интеграции в браузерные и терминальные приложения. Лицензия — MIT. Карточка не описывает конкретные сценарии генерации ответов по изображениям, поэтому модель следует рассматривать прежде всего как средство извлечения признаков, а не как полноценный чат-интерфейс.

Nemotron 3 Diarization MLX INT8 — экспорт модели NVIDIA Nemotron-3-Diarization, подготовленный aufklarer для запуска через MLX на Apple Silicon. Модель выдаёт вероятности активности до восьми говорящих на уровне аудиокадров, поддерживая потоковую и офлайн-диаризацию. Она не распознаёт речь и не устанавливает личности говорящих. Экспорт содержит 113,8 млн параметров по метаданным; в README указано 99,2 млн параметров исходной модели. Веса квантованы в INT8 affine с размером группы 64, остальные тензоры хранятся в FP16; формат файлов — MLX safetensors. Для низкоуровневого запуска подаются предварительно рассчитанные лог-мел-признаки с 128 полосами, совместимые с препроцессором исходной модели. Модель заявлена как мультиязычная. В README приведены результаты проверки численного соответствия исходному чекпойнту после квантования и показатель DER 10,98% для полного конвейера speech-swift на 132 внутренних записях на восьми языках. Эти результаты относятся к указанному оборудованию и программному конвейеру и не являются независимым сравнительным тестом самого экспорта. Для сохранения меток говорящих между потоковыми чанками другим средам необходимо воспроизвести алгоритм обновления кэша и FIFO исходной модели. Лицензия — OpenMDW 1.1.

NeoAraBERT_Mix — арабская модель для получения текстовых эмбеддингов на архитектуре NeoBERT, разработанная совместно подразделением U4RASD Центра исследований и политических исследований арабских стран (ACRPS) и Американским университетом Бейрута (AUB). Чекпойнт предварительно обучен на открытых и внутренних наборах данных, охватывающих современный литературный арабский, классический арабский и диалекты. В репозитории указаны архитектура NeoBERT и размер 314,2 млн параметров; модель распространяется в формате Safetensors и рассчитана на работу через Transformers. Модель предназначена для построения эмбеддингов и задач понимания арабского текста. Авторы сообщают о сравнении с пятью арабскими моделями на 23 задачах и о лидерстве вариантов NeoAraBERT в 18 из них; отдельная задача Muradif оценивает качество эмбеддингов без дополнительного дообучения. В модель заложены решения, ориентированные на арабский язык: нормализация текста, лёгкий стемминг, обработка диакритики и POS-ориентированное маскирование токенов. Лицензия — CC BY-SA 4.0. Это базовая языковая модель, а её качество на конкретных прикладных задачах может зависеть от выбранной downstream-модели или дополнительной настройки; сведения о длине контекста в предоставленных данных отсутствуют.

blackmlengineer/occucoder-en-tall-v0 — текстовая Sentence Transformer-модель на архитектуре BERT, обученная разработчиком blackmlengineer для поиска и сопоставления предложений. Она преобразует предложения и абзацы в плотные векторы размерности 256; сходство между ними можно оценивать косинусной мерой. Модель использует mean pooling и предназначена для текстового retrieval и сравнения семантически связанных формулировок. Модель обучена на 991 580 примерах с парами положительных и отрицательных соответствий с использованием MultipleNegativesRankingLoss. Максимальная длина входа — 32 токена. В примерах обучающего набора встречаются названия профессий и смежные категории, поэтому модель подходит для поиска похожих наименований в этой области. Лицензия в предоставленных данных не указана.

DataOrchestra/Orchestrator — дообученная модель DataOrchestra на базе Qwen/Qwen3-1.7B-Base, предназначенная для планирования очистки данных предобучения. Она принимает фрагмент данных длиной до 1024 токенов Qwen3 в обёртке [DOC] и [/DOC] и выдаёт план в формате JSON: оставить или отбросить фрагмент либо запустить этапы очистки, включая удаление шумовых строк и исправление поверхностных артефактов. Модель построена на плотной архитектуре Qwen3ForCausalLM, содержит 1,7 млрд параметров и поддерживает контекст до 32 768 токенов. Для запуска предусмотрена библиотека Transformers; карточка также показывает возможность чат-взаимодействия. Модель подходит для автоматизированной курировки корпусов предобучения и высокопроизводительной обработки фрагментов через совместимый с OpenAI endpoint vLLM. В метаданных указан английский язык. Репозиторий распространяется по лицензии Apache-2.0. В описании не приведены результаты оценки качества; формат входа и ожидаемую схему JSON следует соблюдать при интеграции.

PaliGemma 2 10B Mix 224 — разработанная Google открытая модель зрения и языка, построенная на компонентах SigLIP и Gemma 2. Она принимает изображение и текст и генерирует текст; вариант 224 предназначен для работы с изображениями разрешением 224 пикселя. Модель рассчитана прежде всего на дообучение под конкретные задачи визуального языка и поддерживает несколько языков. Модель подходит для описания изображений и коротких видео, визуальных вопросов и ответов, распознавания текста на изображениях, поиска объектов с выдачей рамок и сегментации объектов. В карточке также показаны шаблоны запросов для генерации вопросов по изображению и локализации объектов. PaliGemma 2 лучше работает с чёткими инструкциями; без дообучения её результаты могут уступать моделям общего назначения, а сама модель не предназначена для многоходового диалога. Ответы могут содержать фактические ошибки, а анализ сложного контекста, нюансов и здравого смысла ограничен. Лицензия Gemma; при использовании необходимо соблюдать политику запрещённых применений Gemma.

PaliGemma 3B PT 896 — предварительно обученная компактная модель для работы с изображениями и текстом, разработанная Google. Она сочетает визуальный энкодер SigLIP с языковой моделью Gemma и принимает изображение вместе с текстовым запросом, выдавая текст. Модель рассчитана на дообучение под конкретную задачу: описание изображений и коротких видео, визуальные вопросы и ответы, чтение текста на изображениях, обнаружение и сегментацию объектов. Модель поддерживает несколько языков и предназначена для одношагового взаимодействия, а не для многоходового диалога. Она лучше подходит для задач с чёткими инструкциями и специализированным дообучением; ответы на открытые и сложные вопросы могут быть неточными, а готовое качество без адаптации к задаче может уступать специализированным моделям. Весовые файлы представлены в формате safetensors. Лицензия — Gemma; применение должно соответствовать условиям лицензии и правилам использования моделей Gemma.

piotr-rybak/poleval2021-task4-herbert-large-encoder — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная Piotr Rybak. Она преобразует предложения и абзацы в плотные векторы размерностью 512 для поиска семантически похожих текстов, кластеризации и семантического поиска. Модель обучалась с ContrastiveLoss на основе косинусного расстояния и доступна в формате PyTorch для использования с библиотекой Sentence-Transformers. В метаданных указано 453,9 млн параметров и контекст длиной 514 токенов. Название репозитория и POLEVAL2021 указывают на польскую языковую задачу; модель предназначена прежде всего для текстов на польском языке. Лицензия в предоставленных данных не указана.

Qwen3.8-27B-Uncensored-W4A16-AutoRound — квантизированная версия модели Qwen3.8-27B-Uncensored от orcarouter, созданная с использованием Intel AutoRound. Она основана на Qwen/Qwen3.8-27B и представляет собой abliterated-производную с существенно удалённым защитным выравниванием. Модель предназначена для исследовательских задач, включая интерпретируемость, исследования безопасности ИИ, red teaming, оценку моделей и интеграцию в собственные защищённые системы. Модель поддерживает работу с текстом и изображениями, языки English и Chinese, а также контекст до 262 144 токенов. Используется архитектура Qwen3.8 с сохранённой vision tower и MTP-головой для speculative decoding. Квантизация W4A16 выполнена методом AutoRound: основные линейные слои используют 4-битные веса и 16-битные активации, а vision tower, lm_head, embed_tokens и отдельные проекции GatedDeltaNet сохранены в bf16. Для запуска рекомендуется vLLM; заявлены показатели 0,9052 на GSM8K, 0,761 на MMLU-Pro и 0,880 на MMLU. Сильными сторонами являются большой контекст, поддержка изображений, сниженные требования к памяти по сравнению с полноразмерной моделью и сохранение значительной части исходных возможностей после квантизации. Ограничения включают возможное снижение качества из-за квантизации и abliteration, а также отсутствие эффективных встроенных защитных механизмов: модель может выполнять вредоносные, незаконные или неэтичные запросы. Её не следует предоставлять конечным пользователям без собственной системы безопасности. Лицензия — Apache-2.0; ответственность за использование и последствия вывода несёт пользователь.

Это квантованная сборка Qwen3.8-Flash-Next от ghost-actual на основе объединённой модели orcarouter/Qwen3.8-Flash-Next-Uncensored и Qwen/Qwen3.8-Flash-Next. Сборка в формате EXL3 с эффективной разрядностью около 2,5 бит на вес предназначена для запуска MoE-модели на одной видеокарте с 24 ГБ памяти, используя выгрузку экспертов в оперативную память процессора. Веса занимают около 41,5 ГБ, а вместе с таблицей n-грамм артефакт — около 61 ГБ; для запуска также требуется примерно 59 ГБ оперативной памяти и быстрый NVMe-накопитель. Модель предназначена для диалоговой генерации текста, рассуждений и анализа изображений, включая распознавание текста на изображениях. В ней сохранены vision tower, MTP-голова, таблица PLE n-грамм и контекст до 262 144 токенов. Это сборка с удалённым направлением отказов: она может отвечать на запросы, которые исходная модель отклонила бы, поэтому у неё отсутствует соответствующий уровень защитного выравнивания. Агрессивная квантизация может снижать точность, особенно при сложном извлечении фактов; автор проверил несколько примеров, но не запускал широкие оценки качества. README указывает лицензионные условия Qwen, однако конкретный тип лицензии в метаданных обозначен как other.

seara/rubert-tiny2-russian-sentiment — модель RuBERT-tiny2, дообученная для классификации тональности коротких русскоязычных текстов. Это компактная модель семейства BERT с 29 млн параметров и контекстом до 2048 токенов; она выдаёт один из трёх классов: нейтральный, положительный или отрицательный. Модель подходит для автоматической разметки отзывов, новостей и других коротких сообщений по тональности. Для обучения использовалось объединение датасетов RuReviews, RuSentiment, Linis Crowd 2015 и 2016, а также Kaggle Russian News Dataset. На тестовом разбиении автор сообщает macro F1 0,75; для положительного класса F1 составляет 0,83, для нейтрального — 0,72, для отрицательного — 0,71. Модель принимает текст и возвращает классификацию. Репозиторий распространяется по лицензии MIT. Результаты на тестовом разбиении не гарантируют такую же точность на данных другой тематики или формата.

menadsa/S-BioELECTRA — модель эмбеддингов на базе ELECTRA, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и других задач сравнения предложений. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Модель обучалась на данных PubMed с функцией MultipleNegativesRankingLoss и косинусным сходством, что указывает на специализацию на биомедицинских текстах. Её можно применять для семантического поиска и группировки публикаций или фрагментов научных текстов. Доступны веса PyTorch; лицензия и конкретные языки в предоставленных сведениях не обозначены.

scandi-fine-web-cleaner — демонстрационный классификатор для выявления проблемного текста в веб-данных на датском и шведском языках. Модель разработана davanstrien и получена дообучением FacebookAI/xlm-roberta-base на наборе data-is-better-together/fineweb-c. Она использует архитектуру XLM-RoBERTa и содержит 305,2 млн параметров. Модель предназначена для предварительной фильтрации веб-текста, чтобы ускорить разметку и очистку корпусов. На тестовом наборе указаны precision 95,2%, recall 70,2%, F1 0,8081 и AUC-ROC 0,9648. Модель лицензирована по MIT. Она проверялась только на датском и шведском контенте; умеренный recall означает, что часть проблемных текстов может остаться невыявленной.

Это модель Sentence Transformer на архитектуре MPNet, разработанная на основе microsoft/mpnet-base и дообученная автором репозитория на наборе sxc_med_llm_chemical_gen. Она преобразует предложения и абзацы на английском языке в плотные векторы размерностью 768 для сравнения семантической близости, поиска похожих текстов и других задач представления текста. Модель поддерживает семантический поиск, поиск перефразирований, кластеризацию и классификацию текста; сходство можно оценивать косинусной мерой. Максимальная длина последовательности — 512 токенов, число параметров — 136,7 млн. Модель подходит для поиска и группировки текстов в химической тематике, отражённой обучающим набором, а также для других задач сходства английских текстов. Ограничение лицензии Apache 2.0 позволяет использовать модель на её условиях. В README приведён результат cosine_accuracy 0,9838 на TripletEvaluator, но он относится к указанной оценке и сам по себе не гарантирует такое же качество на других данных.

sqrl-9b — агентная модель преобразования запросов на естественном языке в SQL для SQLite, разработанная feyninc на базе Qwen/Qwen3.5-9B. Модель может сначала выполнять исследовательские SELECT-запросы для проверки значений, связей таблиц и фильтров, а затем выдавать итоговый SQL. Для работы используется протокол с одним блоком действия за ход и передачей результатов исследования обратно в контекст. Модель содержит 9 млрд параметров и обучена в два этапа: дистилляция с учителем на проверенных выполнением траекториях и онлайн RL с наградой за совпадение результата SQL. По оценке авторов на BIRD-dev результат составляет 66,6% для pass@1 и 69,8% для голосования по восьми вариантам. Репозиторий содержит объединённый чекпойнт с LoRA, доступный в формате safetensors; лицензия — Apache-2.0. Унаследованная от базовой модели башня зрения сохранена, но обучение для SQL было текстовым. Предназначена прежде всего для генерации SQL по схеме SQLite и вопросу пользователя; качество зависит от соблюдения описанного в карточке протокола и может улучшаться за счёт нескольких сэмплов и голосования. Модель не настроена на другие диалекты SQL, использует соглашения SQLite для кавычек идентификаторов. Сгенерированные запросы следует проверять и выполнять в режиме только для чтения.

Kaousheik/tempo-ablation-projector — экспериментальный чекпойнт проекта TEMPO, построенный на базе аудиоязыковой модели NVIDIA Audio Flamingo 3. Это вариант абляции с временным мультимодальным проектором; в README для него указаны результаты Table 3, а файл time_proj.pt необходим для загрузки. Базовая архитектура Audio Flamingo 3 объединяет замороженный аудиоэнкодер Whisper-large примерно на 0,6 млрд параметров и Qwen2-7B через двухслойный MLP-проектор. Модель принимает аудио и по запросу формирует текст с временными метками для речи, звуков и музыки. Модель предназначена для распознавания речи с временной привязкой, определения говорящих и границ их реплик, поиска аудиофрагментов по текстовому запросу, сегментации записи с описанием событий и анализа музыкальных фрагментов. Проект TEMPO использует специальные токены временных меток с разрешением 0,1 секунды и временные кодировки в проекторе. Карточка описывает английский язык; метаданные указывают задачу audio-text-to-text и датасет Kaousheik/tempo. Это исследовательская абляция, а не лучший вариант TEMPO: README сообщает метрики конкретного чекпойнта и отмечает, что распознавание речи при нескольких говорящих остаётся трудным, а результаты анализа аккордов приблизительны. Метки говорящих согласованы внутри записи, но произвольны между записями; временные метки ограничены 60 секундами, поэтому длинные аудио нужно делить на фрагменты. Лицензия в метаданных обозначена как other; конкретные условия использования здесь не приведены.

TEMPO-RL-Multitask — дообученная модель Kaousheik на базе NVIDIA Audio Flamingo 3 для временной привязки содержания аудио. Она объединяет распознавание речи с временными метками, диаризацию говорящих, поиск временных интервалов по текстовому запросу, плотное описание звуковых событий и анализ музыки. Модель принимает аудио и текстовую инструкцию с тегом задачи, а выдаёт текст с временными метками; единый декодер обслуживает все пять задач. Модель использует архитектуру Audio Flamingo 3: аудиокодировщик Whisper-large и Qwen2-7B, соединённые проектором. Для временной разметки применяются специальные токены времени с разрешением 0,1 секунды и временной мультимодальный проектор. По README, модель рассчитана на английский язык, а временной словарь ограничивает обрабатываемые интервалы 60 секундами, поэтому длинные записи нужно разбивать на фрагменты. WER для многоговорящей ASR остаётся высоким, музыкальные оценки приблизительны, а метки говорящих согласованы только внутри одного клипа. Лицензия указана как other; конкретные условия использования в предоставленных данных не раскрыты.

shibing624/text2vec-base-chinese-paraphrase — модель текстовых эмбеддингов, разработанная проектом text2vec. Она основана на nghuyong/ernie-3.0-base-zh и дообучена методом CoSENT на китайских данных для сопоставления предложений и их перефразированных вариантов, включая пары «предложение — абзац». Модель кодирует текст в плотный вектор размерности 768 и предназначена для семантического поиска, оценки сходства, кластеризации и поиска перефразировок. Модель использует архитектуру ERNIE и библиотеку Sentence Transformers; размер составляет 144 млн параметров. Она принимает китайский текст, имеет контекстное окно 2048 токенов по метаданным, а в карточке указана обрезка входа свыше 256 word pieces. Форматы весов — PyTorch и Safetensors. Модель распространяется по лицензии Apache-2.0. Ее специализация на китайских текстах означает, что качество для других языков не подтверждено карточкой.

Cloyne/vietnamese-sbert — дообученная модель Sentence Transformer на базе keepitreal/vietnamese-sbert, разработанная Cloyne. Архитектура RoBERTa с mean pooling преобразует предложения и абзацы в плотные векторы размерности 768; сходство между ними оценивается косинусной мерой. Модель содержит 162,4 млн параметров и рассчитана на последовательности длиной до 258 токенов по метаданным Hugging Face; в README указана максимальная длина 256 токенов. Модель предназначена прежде всего для семантического поиска и сравнения вьетнамских текстов. Её можно применять для поиска похожих фрагментов, выявления перефразировок, кластеризации и получения эмбеддингов для последующей классификации. Дообучение выполнено на 120 210 парах anchor-positive из CSV-датасета с функцией потерь MultipleNegativesRankingLoss. Модель принимает текст и выдаёт векторы, поэтому сама по себе не генерирует ответы и не является готовым классификатором. Контекст ограничен короткими последовательностями, а качество для языков помимо вьетнамского не подтверждено. Лицензия в предоставленных данных не указана.

VietRAG-Embed — вьетнамская плотная модель эмбеддингов, разработанная VietRAG и дообученная на базе intfloat/multilingual-e5-base. Она построена на XLM-RoBERTa и Sentence Transformers, содержит 305,2 млн параметров и преобразует запросы и фрагменты текста в нормализованные векторы размерности 768. Для запросов требуется префикс «query: », а для документов — «passage: ». Модель предназначена для семантического поиска по вьетнамским документам, извлечения контекста для ответов на вопросы и RAG, а также для отбора кандидатов перед переранжированием. Она не генерирует ответы самостоятельно. Модель обучена на 937 686 вьетнамских парах запрос–релевантный текст–сложный отрицательный пример, включая данные веб-поиска и научно-технические материалы. Её можно применять для поиска по FAQ и базам знаний, а нормализованные векторы подходят для сравнения косинусной близостью или скалярным произведением. Лицензия — MIT. Основной язык — вьетнамский; качество для других языков и смешанных запросов не подтверждено. Контекст ограничен 514 токенами по метаданным, а README указывает усечение входа длиннее 512 токенов, поэтому длинные документы следует делить на смысловые фрагменты. Результаты поиска могут быть тематически близкими, но фактически неверными; приведённый внутренний диагностический тест использует общий корпус с обучением и не гарантирует качество на пользовательских данных.

symanto/xlm-roberta-base-snli-mnli-anli-xnli — многоязычная модель классификации текста на основе XLM-RoBERTa Base с архитектурой XLMRobertaForSequenceClassification и 305,2 млн параметров. Разработчик описывает её как cross-attention NLI-модель, обученную на SNLI, MNLI, ANLI и XNLI для классификации без примеров и с небольшим числом примеров. Модель подходит для отнесения текста к пользовательским категориям по их описаниям, когда для каждой категории не требуется отдельное обучение классификатора. Поддерживает арабский, болгарский, немецкий, греческий, английский, испанский, французский, русский, тайский, турецкий, урду, вьетнамский и китайский языки. Нативный контекст — 514 токенов; репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

Nous-Yarn-Llama-2-13b-64k — языковая модель семейства Llama 2, разработанная NousResearch и дополнительно обученная на длинных текстах. Модель содержит 12,9 млрд параметров и рассчитана на контекст до 65 536 токенов. Модель продолжительно обучали на подмножестве набора PG19, чтобы улучшить работу с длинным контекстом. Она предназначена для генерации текста и сценариев, где нужно учитывать большие документы или последовательности текста. Это базовая языковая модель, а не специализированная инструкция-модель. Веса представлены в формате PyTorch; для корректной работы README указывает требование Flash Attention 2. Лицензия в предоставленных данных не указана.

Alireza1044 выпустил модель ALBERT-base-v2, дообученную для классификации текстовых пар на наборе GLUE QNLI. Она оценивает, следует ли ответ на вопрос из предоставленного фрагмента текста, и подходит для проверки соответствия вопроса контексту. Модель содержит 136,3 млн параметров, принимает текстовые входы, использует архитектуру AlbertForSequenceClassification и обрабатывает последовательности длиной до 512 токенов. Для английского языка на оценочной выборке указана точность 0,9138 и loss 0,3608. Модель распространяется по лицензии Apache-2.0.

BERT-Tiny_L-2_H-128_A-2 — компактная модель семейства BERT, опубликованная nreimers. В карточке она описана как модель Google с 2 слоями, размером скрытого представления 128 и 2 головами внимания; метаданные указывают 4,4 млн параметров и архитектуру BertModel. Модель предназначена для извлечения признаковых представлений текста и может использоваться как основа для задач, которым нужны векторные представления последовательностей. Максимальная длина контекста — 512 токенов. Доступны веса PyTorch и Flax. Карточка не сообщает о специальной предметной области, языковой специализации или ограничениях качества. Лицензия в предоставленных данных не указана.