I.3Извлечение и структурирование данных

dbdmg/wav2vec2-xls-r-300m-italian-robust — акустическая модель распознавания итальянской речи, дообученная на базе facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Для обучения использованы итальянские части наборов Common Voice 7.0, LibriSpeech multilingual, TED multilingual, Voxforge, M-AILABS, EuroParl-ST, EMOVO и MSPKA. Модель принимает аудио и преобразует речь в текст; карточка не описывает дополнительные режимы работы или длину контекста. Репозиторий предоставляет веса PyTorch и Safetensors. Лицензия — Apache 2.0.

Модель itaihay/wav2vec_asr_swbd — дообученная версия facebook/wav2vec2-large-robust-ft-swbd-300h для автоматического распознавания речи. Она использует архитектуру Wav2Vec2ForCTC, содержит 402,7 млн параметров и принимает аудио, выдавая распознанный текст. В карточке приведён результат оценки: WER 0,5302 и loss 0,3052. README не описывает набор данных для дообучения и сценарии применения, поэтому качество на других данных и языках по этим результатам оценить нельзя. Модель распространяется по лицензии Apache-2.0.

steja/whisper-large-persian — дообученная версия Whisper large-v2-hi для автоматического распознавания персидской речи. Модель разработана на основе anuragshas/whisper-large-v2-hi и дообучена на персидской части набора Mozilla Common Voice 11.0. Это плотная модель Whisper с архитектурой WhisperForConditionalGeneration и 905,2 млн параметров. Модель принимает аудио и генерирует распознанный текст на персидском языке. На тестовой выборке указаны значения loss 0,3047 и WER 26,3679. Репозиторий содержит веса PyTorch; модель распространяется по лицензии Apache-2.0.

Sagicc/whisper-large-v3-sr-combined — дообученная модель автоматического распознавания речи на базе Whisper large-v3 от OpenAI. Она предназначена для транскрибации аудио на сербском языке; при дообучении использовались наборы Mozilla Common Voice 13 и Google Fleurs. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и принимает аудио, выдавая текст. В README приведены результаты оценки: WER 0,0556 и орфографический WER 0,1635. Карточка рекомендует обновлённую версию Sagicc/whisper-large-v3-sr-cmb, обученную на более чем 50 часах дополнительных данных. Модель распространяется по лицензии Apache-2.0. Результаты распознавания могут зависеть от качества записи, акцента и соответствия аудио обучающим данным.

Это модель автоматического распознавания речи на швейцарском немецком, созданная слиянием Whisper large-v3 от OpenAI и LoRA-адаптера Flurin17, а затем преобразованная в формат MLX. Чекпойнт FP16 на базе safetensors предназначен для Apple Silicon и совместим с mlx-whisper, mlx-audio и oMLX; он принимает аудио и выдаёт транскрипцию текстом. Модель подходит для транскрибации записей на швейцарском немецком, включая обработку через локальный сервер oMLX. В метаданных указан немецкий язык; адаптер нацелен на швейцарский немецкий. Лицензия репозитория обозначена как other, поэтому условия использования следует сверить с карточкой модели и лицензиями базовых компонентов.

Модель oddadmix/whisper-medium-arabic-dialectal-v2 — дообученная версия OpenAI Whisper Medium для распознавания разговорной арабской речи разных диалектов. Она принимает аудио и генерирует текстовую расшифровку без диакритических знаков. Обучение проведено на диалектно-сбалансированном наборе oddadmix/lahgtna-v3-small; архитектура — WhisperForConditionalGeneration, веса хранятся в формате safetensors. В README указано 769 млн параметров; тестирование на сбалансированной выборке примерно из 2 600 аудиофрагментов дало WER 0,3415 и CER 0,128.

Модель bayartsogt/whisper-medium-mn-10 — дообученная версия Whisper Medium, разработанная на основе openai/whisper-medium для распознавания речи. Она принимает аудио и генерирует текст; в метаданных указаны датасеты Common Voice 11.0, FLEURS и два монгольских набора данных. Модель содержит 455,8 млн параметров и распространяется в формате PyTorch по лицензии Apache-2.0. На оценочном наборе указаны WER 21,26 и CER 6,88. Модель предназначена прежде всего для автоматической транскрипции речи, в том числе монгольской. В README отсутствуют подробности о составе обучающих данных, рекомендуемых сценариях и ограничениях; показатели оценки сами по себе не гарантируют точность на других аудиозаписях.

lorenzoncina/whisper-medium-zh — модель распознавания речи, полученная дообучением Whisper Medium от OpenAI на китайской части набора Mozilla Common Voice 11.0 (zh-CN). Она предназначена для преобразования китайской речи в текст. В карточке приведены результаты оценки: loss 0,3226 и CER 10,9782. Модель использует архитектуру Whisper и содержит 455,8 млн параметров. Она принимает аудио и выдаёт текст; в метаданных указан китайский язык. Весы представлены в формате PyTorch. Модель распространяется по лицензии Apache-2.0.

Noobbbbb/whisper-small-bn-v2 — модель распознавания речи на бенгальском языке, созданная дообучением Noobbbbb/whisper-small-bn на наборе Noobbbbb/bengali-ai-asr-80k. Она использует архитектуру Whisper Small с 12 слоями энкодера и 12 слоями декодера и предназначена для преобразования бенгальской речи в текст. В карточке описана обработка аудио с выдачей транскрипции, в том числе временных фрагментов для длинных записей. Для обучения использовались подмножества обучающей и валидационной выборок, а также упомянут датасет Google FLEURS. Приведённые в карточке метрики получены на разных наборах и напрямую несопоставимы. Остаются ошибки замены слов и диакритики; качество на шумных записях и телефонной речи отдельно не проверялось. Модель распространяется по лицензии Apache-2.0.

hezarai/whisper-small-fa — модель распознавания речи на основе Whisper small, дообученная Hezar AI на персидской части набора Common Voice 13. Она преобразует персидскую речь в текст и предназначена для сценариев автоматической транскрибации. Модель распространяется в формате PyTorch и используется через библиотеку Hezar. В карточке не приведены сведения о лицензии и ограничениях качества.

Dragneel/whisper-small-nepali — модель автоматического распознавания речи на основе Whisper Small, дообученная на непальском корпусе OpenSLR 54. Она предназначена для преобразования непальской речи в текст, в частности для транскрибирования записей с чистой и размеренной речью. В метаданных указаны архитектура Whisper, 153,1 млн параметров и формат safetensors; README сообщает о 154 часах обучающих аудио и 157 905 высказываниях. На тестовой выборке OpenSLR модель показала WER 26,69%. Лучше всего она работает с качественной записанной речью; быстрый разговорный темп и сильный фоновый шум могут ухудшать распознавание. Возможны варианты написания слов, различающиеся длиной гласных. Базовая модель — openai/whisper-small. Лицензия Apache-2.0.

C1Tech/whisper_small_persian — модель распознавания речи на персидском языке на архитектуре Whisper, разработанная C1Tech и дообученная на крупном пользовательском персидском наборе данных. Она предназначена для преобразования персидской речи в текст и оценки качества распознавания на соответствующих тестовых наборах, включая Common Voice и FLEURS. По README, модель содержит 74 млн параметров. Автор заявляет о результатах, превосходящих Whisper Large-v3, Wav2Vec2-XLSR и ряд других систем на персидских бенчмарках; подробные численные результаты в карточке не приведены. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0.

eai6/whisper-tiny.en — дообученная модель распознавания речи на основе openai/whisper-tiny.en, созданная сообществом eai6 и обученная на наборе данных Azure-dataset. Модель использует архитектуру Whisper и содержит 29,4 млн параметров; она предназначена для преобразования английской речи в текст. Модель подходит для транскрибации аудиозаписей и распознавания речи в приложениях. В README приведены результаты оценки на тестовой выборке: loss 0,0680 и WER 44,3486. Весовые файлы доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

cloudyu/Yi-34Bx2-MOE-200K — экспериментальная чат-модель на базе Yi с архитектурой MoE. Автор карточки описывает её как попытку создать модель с контекстом 200 тысяч токенов; метаданные указывают 33,9 млрд параметров, архитектуру MixtralForCausalLM и поддержку генерации текста. Репозиторий содержит веса в формате safetensors, а в README также упомянута 4-битная версия GGUF. Модель предназначена для генерации текста и диалогового использования, в том числе с длинным контекстом. Карточка не приводит результатов метрик или подробных сведений о качестве. Лицензия указана как other, поэтому условия использования следует сверять с лицензией в репозитории.

peggyes/abena-simcse-twi — модель Sentence Transformers, дообученная на базе Ghana-NLP/abena-base-asante-twi-uncased для получения векторных представлений предложений и абзацев на языке Asante Twi. Архитектура включает BERT, усредняющий слой pooling и плотные эмбеддинги размерности 768; сходство между векторами можно оценивать косинусной мерой. Модель обучалась на 7 000 пар текстов с функцией потерь MultipleNegativesRankingLoss и подходит для поиска и сравнения текстов. Модель принимает текст; длина последовательности в README указана до 64 токенов, а максимальный контекст базовой модели в метаданных — 512 токенов. Для задач поиска и сопоставления следует учитывать ограничение в 64 токена, указанное для этой модели. Языковая специализация — Asante Twi. Репозиторий использует формат safetensors и библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.

Карточка модели biu-nlp/abstract-sim-query-pubmed на Hugging Face совпадает с карточкой biu-nlp/abstract-sim-sentence-pubmed, поэтому описание составлено по ней. biu-nlp/abstract-sim-sentence-pubmed — модель семейства BERT, обученная на предложениях из PubMed для сопоставления текстового описания с подходящими предложениями. Она кодирует запросы и предложения в признаки, пригодные для поиска и оценки смыслового сходства в научных медицинских текстах. Модель содержит 136,7 млн параметров, принимает последовательности длиной до 512 токенов и опубликована в формате PyTorch. Модель подходит для семантического поиска предложений по описаниям и подбора релевантных фрагментов аннотаций PubMed. Карточка не сообщает лицензию и подробности оценки качества.

Agent-ModernColBERT — англоязычная много-векторная модель LightOn для семантического поиска в сценариях агентного извлечения информации. Она дообучена на данных Tevatron/AgentIR-data от lightonai/GTE-ModernColBERT-v1 и использует архитектуру ModernBERT с поздним взаимодействием в стиле ColBERT: тексты представляются последовательностями плотных векторов размерности 128, а сходство вычисляется оператором MaxSim. В модели около 149 млн параметров; по карточке модели она принимает запросы длиной до 8192 токенов и документы длиной до 4096 токенов. Модель рассчитана на поиск документов по запросам, дополненным инструкцией и рассуждениями исследовательского агента; документы кодируются как обычный текст. Для ожидаемого формата запроса карточка задаёт специальный префикс с буквальной последовательностью «\\nQuery:»; при отсутствии рассуждения следует передавать «Empty». Модель можно применять как компонент поискового контура агента, включая последующее получение полных документов по их идентификаторам. В README приведены результаты на BrowseComp-Plus, но отмечено, что выигрыш зависит от сочетания ретривера и агента, а часть сравнительных результатов для get_document остаётся неопределённой. Модель работает с текстом и предназначена для английского языка. Она распространяется по лицензии Apache 2.0. Для хорошего качества важно соблюдать формат запросов, на котором модель обучалась; применение без специального префикса возможно, но README сообщает о несколько худших результатах.

AIFT-ko-orca-plat-Yi-ko-6b-v1.2는 AIFT가 공개한 한국어 지시 따르기 모델로, Llama 계열의 밀집형 causal language model입니다. 메타데이터에 따르면 모델에는 약 5,9 млрд параметров и контекст до 2048 токенов; веса представлены в safetensors, лицензия — CC BY-SA 4.0. Модель дообучена методом LoRA на примерно 40 тысячах примеров. В README описаны задачи на корейском языке: история, естественные науки, математика, машинное чтение, анализ отзывов, обобщение, грамматика, ответы на вопросы по общим знаниям и перевод между английским и корейским. Также добавлены задания TruthfulQA и учебные примеры для школьной науки и математики. Модель подходит для генерации ответов и выполнения инструкций в перечисленных сценариях. Контекст ограничен 2048 токенами; обучающие данные не опубликованы, поэтому их состав и качество нельзя независимо проверить.

Arlo Classify 1.0 — модель NoaberAI для классификации текстов и принятия структурированных решений на нидерландском языке. Она дообучена на базе многоязычной microsoft/mdeberta-v3-base и использует архитектуру DeBERTa V2 с классификационной головой на три класса: entailment, neutral и contradiction. В метаданных указано 306 млн параметров, длина контекста — 512 токенов. Модель предназначена для выбора категорий из заданного пользователем списка без обучения под новые категории и для оценки того, насколько утверждение подтверждается текстом. Она возвращает метку или оценку уверенности, а не сгенерированный ответ. По заявлению разработчика, модель работает быстро, в том числе на CPU, и может запускаться локально. Обучение ориентировано на нидерландский язык, но многоязычная основа позволяет применять её и к текстам на других языках. Модель лицензирована по MIT. Она рассчитана на классификацию и проверку утверждений, а не на генерацию текста или извлечение произвольных полей. В README не приведены количественные результаты оценки качества; контекст ограничен 512 токенами.

AX-DeepSeek-V4-Flash-MLX-AXQ-6bit-MTP — это экспериментальный смешанно-точный MLX-чекпойнт, созданный AutomatosX на основе DeepSeek-V4-Flash от deepseek-ai. Модель предназначена для генерации текста и запуска на компьютерах Apple Silicon через MLX-LM. Веса представлены в формате MLX Safetensors; варианты PyTorch и GGUF в репозитории отсутствуют. В основе лежит архитектура DeepseekV4ForCausalLM с mixture of experts и 284,33 млрд логических параметров. Основной языковой тракт квантизован с использованием AXQuant 1.5.1: применяются 4-, 6- и 8-битные представления, а защищённые компоненты сохраняются в BF16. Измеренный общий показатель составляет 5,7374 BPW, размер весов — около 208,66 ГБ, а полный объём загрузки — около 208,74 ГБ. Заявленный максимальный контекст — 1 048 576 токенов, однако практический предел зависит от объёма unified memory устройства. Модель поддерживает только текстовую модальность: зрительный и аудиомодули отсутствуют. MTP-компонент присутствует и сохранён преимущественно в BF16, но его ускорение, совместимость с AX Engine и прирост скорости не подтверждены. Ключевое преимущество — существенное снижение объёма хранения по сравнению с полноточной версией при сохранении отдельных чувствительных тензоров в более высокой точности. Ограничения включают отсутствие опубликованных измерений качества, длинного контекста и производительности, а также отсутствие валидированного нативного манифеста AX Engine. Пакет распространяется по лицензии Apache-2.0.

Модель llm-book/bert-base-japanese-v3-jsts разработана авторами книги «大規模言語モデル入門» и представляет собой японскую модель BERT для оценки семантического сходства двух текстов. Она создана дообучением cl-tohoku/bert-base-japanese-v3 на наборе JGLUE JSTS и предназначена для сравнения предложений: модель возвращает числовую оценку сходства. Архитектура — BertForSequenceClassification, размер — 138,4 млн параметров, максимальная длина контекста — 512 токенов. Модель работает с японским текстом, использует Transformers и опубликована в формате PyTorch. Лицензия — Apache 2.0. Оценка является выходным баллом модели; README не задаёт шкалу или порог для принятия решений.

Toshifumi разработал эту модель на основе bert-base-multilingual-cased, дообучив её на наборе данных emotion для классификации эмоций в тексте. Это многоязычная модель BERT с архитектурой BertForSequenceClassification и 205,1 млн параметров; она принимает текст и выдаёт метку класса. Максимальная длина контекста составляет 512 токенов. На оценочной выборке указаны Accuracy 0,9195 и F1 0,9205. Модель распространяется по лицензии Apache-2.0. Подходит для определения эмоциональной категории коротких текстов, например сообщений или отзывов. README не уточняет список меток, языковой состав обучающих и оценочных данных и ограничения качества по отдельным языкам, поэтому результаты не следует считать одинаково надёжными для всех языков и типов текста.

google/bert_uncased_L-2_H-512_A-8 — компактная англоязычная модель BERT из набора BERT Miniatures, опубликованного Google и описанного в работе «Well-Read Students Learn Better». Архитектура содержит 2 слоя, скрытый размер 512 и 8 attention heads; в метаданных указано около 24 млн параметров и контекст до 512 токенов. Доступны веса PyTorch и Flax, лицензия Apache 2.0. Модель предназначена для понимания английского текста в условиях ограниченных вычислительных ресурсов и для дальнейшего тонкого дообучения, например под классификацию предложений, оценку сходства и другие задачи NLP. Авторы отмечают, что компактные варианты особенно эффективны при дистилляции с разметкой, полученной от более крупной модели. Это базовая предобученная модель, а не готовый специализированный классификатор; её следует дообучить для конкретной задачи. README сообщает, что модель обучалась без учета регистра с WordPiece-маскированием.

ychafiqui/bge-m3-law-morocco-ar-emb — модель Sentence Transformers, созданная дообучением mhaseeb1604/bge-m3-law. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для семантического сравнения текстов, поиска похожих фрагментов, поиска перефразировок, кластеризации и классификации текстов. Архитектура основана на XLM-RoBERTa с пулингом CLS-токена и нормализацией; сходство можно оценивать косинусной мерой. Обучение проводилось на 7200 парах предложений, а README указывает максимальную длину последовательности 256 токенов. Модель ориентирована на арабские и английские юридические тексты, в частности правовые материалы Марокко, согласно описанию базовой модели и примерам обучающих данных. Метаданные указывают контекст до 8194 токенов, однако это расходится с ограничением в 256 токенов, указанным в README; фактический безопасный предел для этой версии следует проверить при использовании. Лицензия в предоставленных сведениях не приведена.

biencoder-mMiniLMv2-L6-mmarcoFR — плотный двунаправленный энкодер предложений, разработанный Antoine Louis для семантического поиска на французском языке. Он преобразует запросы и passages в векторы размерности 384; косинусное сходство между ними служит оценкой релевантности. Модель основана на nreimers/mMiniLMv2-L6-H384-distilled-from-XLMR-Large и дообучена на французской части mMARCO с трудными отрицательными примерами, полученными от плотных поисковых моделей. Модель подходит для поиска фрагментов текста по запросу и ранжирования кандидатов в крупном корпусе. В README описана оценка на 6 980 запросах и 8,8 млн passages; максимальная длина последовательности при обучении составляла 128 токенов. В метаданных указаны архитектура XLM-RoBERTa, 110,2 млн параметров и контекст 514 токенов. Лицензия — MIT. Модель рассчитана на французский язык и выдаёт векторные представления текста, а не готовые ответы. Её специализация на mMARCO-fr может ограничивать качество на других языках и задачах; README не приводит численных результатов оценки.

Cendol mT5-XXL Instruct — разработанная IndoNLP инструкция-настроенная генеративная модель на архитектуре mT5 с 6,7 млрд параметров по метаданным репозитория. Она предназначена прежде всего для индонезийских языков и одношагового выполнения инструкций. Модель подходит для анализа тональности и тем, машинного перевода, суммаризации, ответов на вопросы и перефразирования. Репозиторий содержит веса PyTorch, лицензия — Apache 2.0. Модель относится к семейству Cendol, обученному для работы с индонезийскими языками; в метаданных среди языковых тегов указаны индонезийский, сунданский и яванский. В README указано, что версия mT5-XXL Instruct обучалась с LoRA. Модель может выдавать неточные, предвзятые или нежелательные ответы; перед внедрением рекомендуется проверять её в целевых сценариях и настраивать меры безопасности.

Chinese-Alpaca-2-7B — китайская инструкция-ориентированная языковая модель проекта Chinese LLaMA & Alpaca, основанная на Llama 2 от Meta и разработанная командой проекта. Это плотная авторегрессионная модель семейства Llama с 6,7 млрд параметров, предназначенная для генерации текста и диалоговых ответов по инструкциям. Модель использует расширенный китайский словарь и прошла дополнительное обучение на крупномасштабных китайских данных и инструкционную настройку. Модель рассчитана прежде всего на китайский и также поддерживает английский язык. Контекст составляет 4096 токенов; в проекте описано его расширение до более чем 18 тысяч токенов методом NTK. Полная версия подходит для инференса и обучения всех параметров; заявлена совместимость с Transformers и другими инструментами экосистемы Llama. Лицензия — Apache-2.0. Карточка не приводит количественных оценок качества, поэтому пригодность для конкретных сценариев следует проверять на собственных данных.

Geonmo/CLIP-Giga-config-fixed — временная копия конфигурации CLIP от LAION, созданная для использования, пока не будет исправлена конфигурация laion/CLIP-ViT-bigG-14-laion2B-39B-b160k. Модель относится к архитектуре CLIPModel и предназначена для классификации изображений по текстовым описаниям без предварительного обучения на заданных классах. Модель принимает изображения и текстовые метки классов и сопоставляет их, чтобы выбрать подходящую метку. Репозиторий содержит веса в формате PyTorch; карточка указывает лицензию MIT. Это временное исправление конфигурации, поэтому пригодность и качество следует оценивать с учётом зависимости от исходной модели LAION.

Это дообученная модель CLIP ViT-B/32 на базе openai/clip-vit-base-patch32, созданная для поиска соответствий между изображениями и подписями. Разработчик продолжил предобучение на парах изображение–подпись из датасета Flickr30K с помощью симметричной функции потерь InfoNCE и низкой скорости обучения. Модель подходит для сопоставления изображения с текстовыми описаниями и классификации изображений по текстовым меткам без отдельного обучения на целевых классах. В описанной оценке на Flickr30K дообучение увеличило разрыв сходства между подходящей подписью и отвлекающей подписью, преимущественно за счёт снижения сходства с отвлекающими подписями. README сообщает, что обучающие и оценочные индексы датасета не пересекались. Модель принимает изображения и текст, а вычисляет их совместные представления и оценки сходства; метаданные указывают формат safetensors. Лицензия — MIT. Результаты оценки приведены для Flickr30K, поэтому качество на других наборах данных и доменах из этих сведений не следует.

decider-0.8b — дообученная модель Mapika на базе Qwen/Qwen3.5-0.8B-Base, предназначенная для классификации и принятия решений по заданному состоянию. Она принимает текст или значение JSON и набор типизированных вопросов, а за один проход возвращает вероятности вариантов Choice, уровней Score или ответа «да/нет» Noul. Модель не генерирует свободный текст и не требует декодирования или разбора ответа; заявленный контекст составляет 262144 токена, число параметров — 581,4 млн. Модель рассчитана на маршрутизацию запросов, классификацию, оценочные суждения и поиск по JSON-данным. На коротких состояниях её результаты по маршрутизации и простым суждениям близки к более крупной версии decider-2b, но она слабее на задачах, требующих широких знаний, тонких различий между метками или многошагового рассуждения. Обучение выполнено в один этап на смеси из 1,47 млн примеров; обучающие данные, составленные учителем Qwen3.5-27B, могут переносить его смещения. Модель предназначена для английского языка и распространяется по лицензии Apache-2.0.