I.3Извлечение и структурирование данных

SauerkrautLM-UNA-SOLAR-Instruct — диалоговая языковая модель, созданная разработчиком Weyaxi путём слияния моделей с помощью mergekit. Она предназначена для генерации ответов в формате чата и общих текстовых задач. Модель построена на плотной архитектуре Llama, содержит 10,6 млрд параметров и поддерживает контекст до 4096 токенов; карточка предлагает шаблон диалога с сообщениями пользователя и ассистента. В README сообщается, что 24 декабря 2023 года модель занимала первое место в Open LLM Leaderboard; среди приведённых результатов — 74,26 в среднем, 70,90 на AI2 Reasoning Challenge и 88,30 на HellaSwag. Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC 4.0 требует атрибуции и ограничивает коммерческое использование. Языки и специализированные предметные области в предоставленных данных не обозначены.

Sentence-ModernBERT-JP-0.5B — японская модель эмбеддингов предложений, разработанная автором репозитория и дообученная на базе iamtatsuki05/Sentence-ModernBERT-JP-0.5B-PT с помощью supervised contrastive learning на cl-nagoya/ruri-v3-dataset-ft. Она предназначена для сравнения семантической близости текстов, поиска по смыслу, классификации и кластеризации японских текстов. Модель основана на архитектуре ModernBERT и содержит около 677,5 млн параметров. Она преобразует текст в векторы размерности 1280 с mean pooling; сходство рекомендуется оценивать косинусной метрикой. Модель принимает последовательности длиной до 8192 токенов. Карточка указывает поддержку японского языка; лицензия — MIT. В таблице оценки приведены результаты на JMTEB, включая средние показатели для поиска, семантического сходства, классификации, переранжирования и кластеризации. Они показывают качество на этих бенчмарках, но сами по себе не гарантируют результат на конкретных данных. Модель рассчитана на японские тексты, поэтому её пригодность для других языков не подтверждена.

unclemusclez/SmolLM-135M-Instruct-DEVINator-v0.1 — дообученная модель на базе HuggingFaceTB/SmolLM-135M-Instruct, подготовленная с помощью AutoTrain для задачи Sentence Transformers. Она предназначена для получения текстовых эмбеддингов и сравнения сходства предложений; метаданные также отмечают поддержку генерации текста и диалога. Модель имеет плотную архитектуру семейства LlamaForCausalLM, содержит 134,5 млн параметров и рассчитана на контекст до 2048 токенов. Доступны форматы safetensors и GGUF. В качестве данных для обучения указан набор skratos115/opendevin_DataDevinator. Карточка не приводит метрик валидации, поэтому качество сходства предложений по ней оценить нельзя. Базовая модель описана как компактная англоязычная модель для диалогов, инструкций и генерации текста; отдельная поддержка других языков не подтверждена. Лицензия в предоставленных данных не указана.

Tesslate_Tessa-T1-32B-GGUF — набор GGUF-квантизованных версий текстовой генеративной модели Tessa-T1-32B, разработанной Tesslate и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях и средах, совместимых с llama.cpp, включая LM Studio. В README заявлена поддержка английского языка; сведения о мультимодальности отсутствуют. Модель содержит 32 млрд параметров и распространяется в форматах от BF16 до различных вариантов квантования Q8, Q6, Q5, Q4, Q3 и Q2, включая IQ-форматы. Размер файлов варьируется примерно от 13,07 до 65,54 ГБ, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Для работы рекомендуется использовать указанный в README prompt format с ролями system, user и assistant. Точная длина контекста и дополнительные архитектурные характеристики не указаны. Сильная сторона набора — широкий выбор степеней квантования и возможность локального запуска; варианты Q6 и Q5 описаны как обеспечивающие очень высокое или высокое качество, а Q4_K_M — как оптимальный вариант для большинства сценариев. Более сильное квантование экономит память, но может снижать качество, особенно у вариантов Q3 и Q2. Модель распространяется по лицензии Apache-2.0.

badalsahani/text-classification-multi — модель классификации текста, обученная разработчиком с помощью AutoTrain. Она решает задачу многоклассовой классификации и принимает текст для предсказания класса; модель можно вызывать через Inference API или использовать в экосистеме Transformers и PyTorch. Модель основана на BERT с головой BertForSequenceClassification, содержит 432,3 млн параметров и рассчитана на последовательности длиной до 512 токенов. В карточке указан английский язык и набор данных badalsahani/autotrain-data-text-classification. На валидации заявлены accuracy и F1, precision и recall со значениями 1,000, однако сведения о размере и составе выборки не приведены, поэтому эти результаты не гарантируют качество на новых данных. Лицензия в предоставленных сведениях не указана.

giocorte/totem-slm-sft — дообученная языковая модель, опубликованная giocorte на базе unsloth/qwen3-4b-unsloth-bnb-4bit. Это плотная авторегрессионная модель семейства Qwen3 с 3,7 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; метаданные также отмечают интерфейс вызова инструментов. Модель обучали с использованием Unsloth и библиотеки Hugging Face TRL. Модель принимает текст и генерирует текст, поддерживает английский язык и имеет контекст длиной до 40 960 токенов. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. Карточка не описывает специализацию дообучения, обучающие данные или сравнительные результаты, поэтому нельзя определить, в каких прикладных сценариях модель превосходит базовую.

T-pro-it-1.0 — русскоязычная текстовая модель семейства Qwen 2.5, разработанная командой T-Tech. Это плотная авторегрессионная модель на 32 млрд параметров с контекстом до 32 768 токенов; репозиторий содержит веса в формате safetensors. Модель прошла продолженное предобучение на русских данных, затем обучение на смеси инструкционных и предобучающих данных, supervised fine-tuning и настройку предпочтений. В карточке указана поддержка русского языка, а английские данные использовались как повторяющаяся часть обучения. Модель предназначена прежде всего для дальнейшего дообучения и адаптации под прикладные сценарии; авторы прямо предупреждают, что это не готовый разговорный ассистент. В опубликованных сравнительных тестах модель показала результаты, сопоставимые с рядом открытых русскоязычных моделей, однако эти показатели не гарантируют качества в конкретной задаче. Для развёртывания в промышленных или коммерческих решениях необходимы дополнительная настройка и контроль ответов. Лицензия в предоставленных данных не указана.

bengaliAI/tugstugi_bengaliai-asr_whisper-medium — модель распознавания речи, опубликованная Bengali.AI. Она предназначена для преобразования аудиозаписей в текст и доступна для запуска через Transformers как задача automatic-speech-recognition. Модель построена на архитектуре WhisperForConditionalGeneration семейства Whisper и содержит около 455,8 млн параметров. В репозитории указана лицензия Apache-2.0. Карточка модели практически не содержит описания обучения и результатов, поэтому нельзя подтвердить её качество на конкретных вариантах бенгальского языка или других языках. Конфигурация ограничивает декодирование 448 токенами; модель принимает аудио и выдаёт текст.

Typhoon Whisper Large v3 — модель распознавания тайской речи, разработанная командой Typhoon (SCB 10X) на архитектуре OpenAI Whisper Large v3. Это полная версия Whisper с 32 слоями декодера и примерно 905,2 млн параметров; модель дообучена на около 10 млн примеров тайской речи общей длительностью около 11 000 часов. Она принимает аудио и преобразует речь в текст, в том числе в сценариях офлайн-транскрибации, где важнее точность, чем скорость. При подготовке данных использовались GigaSpeech2, Common Voice и подборка общедоступных медиаматериалов; Typhoon сообщает о нормализации чисел, маркеров повторов и контекстных неоднозначностей. Модель рассчитана прежде всего на тайский язык и заявлена как устойчивая к разным акустическим условиям и манерам речи. Репозиторий использует Transformers и формат safetensors. Лицензия — MIT. Модель специализирована на тайской речи: качество может снижаться для диалектов и акцентов, слабо представленных в обучающих данных. По сравнению с облегчёнными вариантами ей требуется больше вычислительных ресурсов; она лучше подходит для транскрибации без жёстких требований к задержке.

Ultravox v0.7 GLM 4.6 — мультимодальная речевая языковая модель от Ultravox.ai. Она объединяет языковую модель GLM 4.6 с речевым энкодером whisper-large-v3-turbo: принимает речь и текстовый контекст, после чего формирует текстовый ответ. Модель предназначена для распознавания речи, понимания аудио, ответов на вопросы по аудиозаписям и перевода речи. В README сообщается о тестировании на BigBenchAudio, VoiceBench, CoVoST 2 и LibriSpeech; в частности, приведены результаты для аудио-рассуждений, речевого перевода и распознавания. Метаданные указывают архитектуру Ultravox и формат safetensors. Версия v0.7 построена на GLM 4.6; README также описывает обучение на смеси наборов для ASR, речевого перевода и аудио с шумом. Модель принимает аудио вместе с текстом, например текстовую системную инструкцию и голосовое сообщение, и выдаёт текст. В карточке заявлена поддержка многозадачных сценариев работы с речью, однако точные ограничения по языкам и размеру контекста не приведены. Лицензия — MIT. README указывает, что использование собственных системных инструкций учитывалось при оценке; результаты тестов сами по себе не гарантируют качество на других данных.

Tiancheng Gu и соавторы разработали UniME-V2 — дообученную мультимодальную модель для сопоставления запросов и кандидатов по смыслу. Она предназначена для получения эмбеддингов, которые помогают находить релевантные изображения и текстовые материалы, а также различать близкие по смыслу варианты. В README описан подход с оценкой семантического соответствия пар с помощью MLLM и использованием этих оценок как мягких меток при обучении. Архитектура — плотная Qwen2-VL, около 1,5 млрд параметров; модель основана на Qwen/Qwen2-VL-2B-Instruct, принимает текст и изображения и выдаёт текст. Контекст — до 32 768 токенов. Репозиторий также упоминает отдельную модель UniME-V2-Reranker, но это описание относится к UniME-V2, а не к реранкеру. Модель распространяется по лицензии Apache-2.0.

BuzzASR/urdu — одноязычная модель автоматического распознавания речи на урду, разработанная в рамках набора BuzzASR и дообученная из openai/whisper-large-v3. Она принимает аудио и генерирует текстовую транскрипцию; модель построена на архитектуре Whisper large-v3 и содержит 905,2 млн параметров. Для распознавания используется токенизатор Whisper, а языковая и задачная подсказка встроена в конфигурацию генерации. Модель предназначена для транскрибации речи на урду. На тесте FLEURS указаны CER 7,5% и WER 21,8%; на объединённом тесте — CER 9,24% и WER 26,77%. Обучение использовало FLEURS и текстовые данные корпуса Goldfish. Модель оценивалась на тестовых разделах FLEURS и Common Voice, поэтому качество на других тематиках, диалектах и акустических условиях может отличаться. Лицензия — MIT.

Harveenchadha/vakyansh-wav2vec2-telugu-tem-100 — модель автоматического распознавания речи на телугу, опубликованная Harveen Singh Chadha в рамках проекта Vakyansh. Проект разработан как набор инструментов и моделей для ASR на индийских языках с ограниченными ресурсами; данная модель предназначена для преобразования телугуязычной речи в текст. Модель построена на архитектуре Wav2Vec2ForCTC и использует библиотеку Transformers с PyTorch. Размер модели составляет около 113,3 млн параметров. Она принимает аудио и возвращает транскрипцию на телугу; модель ориентирована на пакетное или потоковое распознавание речи, но качество может снижаться при шуме, музыке, необычной лексике, отличающихся от обучающих данных доменах и речи с сильным акцентом. Длина контекста и условия лицензирования в доступных источниках не установлены.

VisME — мультимодальная модель эмбеддингов, разработанная авторами работы Illuminating Visual Identity in Universal Multimodal Embeddings для CVPR 2026. Она дообучена на Qwen/Qwen2.5-VL-7B-Instruct и формирует плотные векторы для изображений, текста и пар «изображение–текст», предназначенные для поиска и сопоставления визуального содержимого. Модель ориентирована на мультимодальный поиск и задачи, связанные с визуальной идентичностью: распознавание объектов или людей по идентичности, повторную идентификацию, поиск по изображению и тексту, а также визуальное заземление. Обучение объединяет MMEB-v1 для общих мультимодальных задач и MVEB для поиска по визуальной идентичности; заявлены конкурентные результаты на MMEB и сильные результаты на MVEB. Архитектура — плотная Qwen2.5-VL, 7,1 млрд параметров, контекст до 128 000 токенов; репозиторий использует safetensors и библиотеку Transformers. Лицензия — Apache-2.0. Авторы указывают, что код оценки и обучения будет опубликован позднее, поэтому воспроизведение заявленных результатов может быть затруднено до его выхода.

Recap-CLIP-ViT-L-16-Txt-Huge-2.56B — контрастивная модель UCSC-VLAA для сопоставления изображений и текстовых описаний и классификации изображений по текстовым меткам без дообучения. Она основана на CLIPA с архитектурой OpenCLIP и обучена на Recap-DataComp-1B; в наборе использованы описания изображений, созданные LLaVA-1.5-LLaMA3-8B. Модель подходит для поиска изображений по тексту и классификации по заданным категориям в режиме zero-shot. Доступна под лицензией CC BY 4.0. Обучение на изображениях из интернета и автоматически созданных подписях может приводить к смещениям и неточностям. Для оценки этих рисков авторы рекомендуют ознакомиться с карточкой датасета.

timm/ViT-L-16-SigLIP2-384 — модель зрения и языка семейства SigLIP 2, обученная на наборе WebLI и преобразованная из исходных контрольных точек JAX Big Vision для использования в OpenCLIP. Она сопоставляет изображения и текст и предназначена для классификации изображений по текстовым описаниям без дообучения: пользователь задаёт варианты классов текстом, а модель оценивает соответствие изображения каждому варианту. Модель можно применять для категоризации изображений, поиска изображений по текстовому запросу и построения прототипов визуальной классификации. Репозиторий содержит веса PyTorch в формате safetensors; заявлена лицензия Apache-2.0. Карточка не приводит сведения о размере модели, длине контекста и конкретном перечне поддерживаемых языков, поэтому эти характеристики не уточняются. Указано обучение на WebLI и мультиязычное направление семейства SigLIP 2, но это не определяет точный список языков, доступных в этой версии.

UmarRamzan/w2v2-bert-urdu — модель автоматического распознавания речи на базе Wav2Vec-BERT 2.0, дообученная на урду-разделе набора Common Voice 17. Она преобразует аудиозаписи речи на урду в текст и подходит для транскрибирования речевых данных. Модель содержит 402,7 млн параметров и использует архитектуру Wav2Vec2BertForCTC. На оценочной выборке указана WER 0,2929 и loss 0,3681. Модель распространяется под лицензией MIT; заявленные результаты относятся к указанному оценочному набору и не гарантируют такую же точность на других аудиозаписях.

Модель CLEAR-Global/w2v-bert-2.0-chichewa_34_307h — версия facebook/w2v-bert-2.0, дообученная CLEAR Global для автоматического распознавания речи на языке чичева. Она использует архитектуру Wav2Vec2BertForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст; обучение проводилось на наборе CLEAR-GLOBAL/CHICHEWA_34_307H - NA. В README приведены результаты оценки: WER 0,3856 и CER 0,1100. Модель распространяется по лицензии MIT.

Модель разработана CLEAR-Global и представляет собой дообученную версию facebook/w2v-bert-2.0 для автоматического распознавания речи на языке хауса. Это плотная модель архитектуры Wav2Vec2-BERT с классом Wav2Vec2BertForCTC, содержащая 402,8 млн параметров; она принимает аудио и выдаёт распознанный текст. Модель обучена на наборе CLEAR-GLOBAL/HAUSA_579_993H_YOURTTS - NA. На оценочном наборе указаны Loss 0,2249, WER 0,3234 и CER 0,1866. Подходит для транскрибирования записей на хауса и построения систем распознавания речи для этого языка. Опубликована в формате safetensors для библиотеки Transformers. Лицензия — MIT. В карточке отмечено, что модель дообучена от facebook/w2v-bert-2.0; подробные сведения о других ограничениях и условиях оценки не приведены.

Модель GetmanY1/wav2vec2-base-fi-150k-finetuned разработана Ярославом Гетманом и Тамашем Гросом и предназначена для автоматического распознавания финской речи. Это акустическая модель на архитектуре Wav2Vec2 с CTC-выходом, содержащая 113,3 млн параметров и доступная в формате safetensors. Она дообучена на 4600 часах финской речи: разговорной речи из Lahjoita puhetta и материалах парламента Финляндии. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует его в текст. Она подходит для транскрибации финской речи, включая разговорную речь и выступления в парламенте. Базовая модель предварительно обучалась на большом корпусе неразмеченной финской речи. Модель распространяется по лицензии Apache-2.0. Она рассчитана на финский язык; качество распознавания для других языков не заявлено. Для корректной работы входное аудио должно иметь частоту дискретизации 16 кГц.

facebook/wav2vec2-conformer-rope-large-960h-ft — акустическая модель распознавания речи, разработанная авторами Changhan Wang, Yun Tang, Xutai Ma, Anne Wu, Sravya Popuri, Dmytro Okhonko, Juan Pino и опубликованная в репозитории Facebook. Это архитектура Wav2Vec2-Conformer с rotary position embeddings и примерно 402,7 млн параметров; модель дообучена на 960 часах английской речи из LibriSpeech. Она принимает аудио с частотой дискретизации 16 кГц и предназначена для преобразования речи в текст. Модель подходит для транскрибирования английской речи и оценки качества распознавания на данных, близких к LibriSpeech. В карточке указаны форматы PyTorch и Safetensors, лицензия Apache 2.0. Языковая поддержка по данным карточки — английский; требования к частоте дискретизации входного аудио следует соблюдать.

NTQAI разработала эту модель распознавания японской речи на основе facebook/wav2vec2-large-xlsr-53, дообучив её на Common Voice, JSUT, TEDxJP и других открытых данных. Это трансформер Wav2Vec2 с архитектурой Wav2Vec2ForCTC и примерно 404,9 млн параметров; модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст на японском языке. Модель предназначена для автоматической транскрибации японской речи. В приведённой оценке на тестовой части Common Voice указаны WER 73,10% и CER 18,15%, поэтому результаты могут требовать проверки и исправления, особенно в сценариях, где важна высокая точность. В README не указана лицензия.

Модель anton-l/wav2vec2-large-xlsr-53-estonian — дообученная на эстонском языке версия facebook/wav2vec2-large-xlsr-53, созданная на данных Common Voice. Это модель распознавания речи на базе Wav2Vec2 с архитектурой Wav2Vec2ForCTC и 402,7 млн параметров; она принимает аудио и преобразует эстонскую речь в текст. Для распознавания входную речь следует подавать с частотой дискретизации 16 кГц. Модель можно запускать без языковой модели; в README указано значение оценки 30,74% на тестовых данных Common Voice, но метрика не уточнена. Модель предназначена для транскрибирования записей на эстонском языке и построена на обучающих и валидационных данных Common Voice. Репозиторий содержит веса PyTorch и Flax. Лицензия — Apache-2.0.

Facebook wav2vec2-large-xlsr-53-french — модель распознавания французской речи, основанная на архитектуре wav2vec2 и настроенная для французского языка. Она принимает аудио и преобразует речь в текст; карточка сообщает об оценке на тестовой выборке Common Voice FR — 25,2 %. Модель содержит 402,7 млн параметров и доступна в форматах PyTorch и Flax. Модель подходит для транскрибации французской речи, например, записей и голосовых сообщений. Лицензия — Apache-2.0. Метаданные указывают на обучение или оценивание на Common Voice; сведений о поддержке других языков карточка не приводит.

Модель lighteternal/wav2vec2-large-xlsr-53-greek — акустическая модель распознавания греческой речи, созданная Hellenic Army Academy и Technical University of Crete на основе XLSR-Wav2Vec2. Архитектура Wav2Vec2ForCTC содержит 402,7 млн параметров; модель дообучена в течение 50 эпох на данных Common Voice и CSS10 для греческого языка. Модель преобразует аудиозаписи на греческом языке в текст и подходит для транскрибации речи. В README для тестовой выборки Common Voice указаны WER 10,50% и CER 2,88%; для инференса рекомендуется аудио с частотой дискретизации 16 кГц. Модель распространяется по лицензии Apache-2.0. Показатели оценки относятся к указанному тестовому набору; качество на других данных может отличаться.

Модель PereLluis13/wav2vec2-xls-r-300m-ca — версия wav2vec 2.0 XLS-R, дообученная на распознавание каталанской речи. Её подготовил PereLluis13 на основе facebook/wav2vec2-xls-r-300m с использованием данных Common Voice 8.0 для каталанского языка, tv3_parla и parlament_parla. Архитектура — Wav2Vec2ForCTC; в репозитории указано около 402,7 млн параметров, веса представлены в формате PyTorch. Модель принимает аудио и преобразует речь в текст. В README приведён результат оценки WER 0,1499 на тестовых наборах трёх использованных корпусов. Она предназначена прежде всего для распознавания каталанской речи; на диалектах с меньшим объёмом обучающих данных может работать хуже. Также возможны смещения и особенности, унаследованные от краудсорсинговых и парламентских данных. Лицензия — Apache-2.0.

Модель vitouphy/wav2vec2-xls-r-300m-japanese — дообученная на Common Voice 8.0 японская система автоматического распознавания речи, созданная на основе facebook/wav2vec2-xls-r-300m. Она преобразует аудио в японский текст, выводя его в хирагане. Для подготовки текста и токенизации автор преобразовал кандзи и катакану в хирагану с помощью pykakasi и использовал fugashi. Модель построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров. В README приведены результаты оценки на Common Voice и speech-recognition-community-v2, включая CER и WER; применение языковой модели улучшает указанные метрики. Модель подходит для транскрибирования японской речи, когда требуется запись хираганой. Лицензия — Apache-2.0.

WAXAL-wal_asr-w2v-bert-2.0 — модель автоматического распознавания речи, созданная дообучением facebook/w2v-bert-2.0; в метаданных её архитектура указана как Wav2Vec2BertForCTC. Модель принимает аудио и преобразует речь в текст. В README приведены результаты оценки: loss 1.1595 и CER 0.2217. Модель содержит 402,7 млн параметров, использует библиотеку Transformers и сохранена в формате safetensors. Датасет обучения не назван, поэтому сведения о языках и области применения уточнить нельзя. Лицензия — MIT.

Это модель автоматического распознавания речи на венгерском языке, созданная сообществом на основе openai/whisper-base. Она объединяет взвешенным усреднением параметров две венгерские дообученные версии: 90% весов whisper-hu-base-finetuned-V2 и 10% whisper-base-hungarian_v4. Модель содержит 51,7 млн параметров и доступна в формате safetensors для Transformers. Модель предназначена для преобразования венгерской речи в текст, в том числе для записей с фоновым шумом. В тестах авторов она показала более низкий WER на FLEURS hu_hu, чем обе исходные версии, и лучшее распознавание на зашумлённых записях; на Common Voice 17.0 немного уступила V2, обучавшейся на его обучающей и валидационной выборках. Результаты зависят от условий записи и настроек декодирования. Для живой речи, телефонных разговоров и сильных акустических искажений качество может быть ниже, чем на подготовленных записях. README указывает, что коммерческое использование без согласия не разрешено; для личного использования применяются исходные условия лицензии Whisper.

akuzdeuov/whisper-base.kk — модель распознавания речи на базе Whisper-base, дообученная для казахского языка на Kazakh Speech Corpus 2, содержащем более 1 000 часов размеченных аудиоданных. Модель предназначена только для распознавания казахской речи и выдаёт текстовую расшифровку аудио. Модель поддерживает транскрибирование коротких записей длительностью до 30 секунд; для более длинных записей в Transformers можно включить обработку фрагментами. В README указана доля ошибок WER 15,36% на тестовой выборке. Репозиторий содержит веса в формате safetensors; размер модели составляет 51,7 млн параметров. Модель распространяется по лицензии Apache-2.0.