I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельSkyworkVL-2B — мультимодальная модель компьютерного зрения и языка, разработанная командой Skywork на базе OpenGVLab/InternVL2_5-2B и дообученная на 2 млн примеров с подписями к изображениям и вопросами и ответами. Модель принимает изображения и текстовые запросы и формирует текстовые ответы; в карточке заявлены многоэтапное обучение с учителем и дополнительное обучение рассуждениям на 40 тыс. примеров, включая китайские задания Gaokao. Модель предназначена для ответов на вопросы по изображениям, визуального рассуждения, анализа диаграмм и научных графиков, распознавания текста на изображениях и определения объектов с рамками. Для обработки изображений применяется разбиение на фрагменты с учётом соотношения сторон и несколько разрешений. В сравнении, приведённом в README, модель показывает сильные результаты на MathVista, MMMU, AI2D, OCRBench, RealWorldQA и HallusionBench, хотя на MME уступает базовой InternVL2.5-2B. Доступны веса в формате safetensors; лицензия — Apache-2.0.
SmolVLM-Instruct — компактная мультимодальная модель Hugging Face для диалога по изображениям и тексту. Она принимает текстовые запросы и одно или несколько изображений, в том числе в чередующихся последовательностях, и формирует текстовые ответы. Модель построена на архитектуре Idefics3, объединяющей языковую модель SmolLM2-1.7B-Instruct и визуальную основу SigLIP SoViT-400m; репозиторий содержит веса Safetensors и формат ONNX. Лицензия — Apache 2.0. Модель подходит для ответов на вопросы об изображениях, описания визуального содержимого, подписей к изображениям, понимания документов и диаграмм, а также историй по нескольким изображениям. Компактная архитектура и сжатое представление изображений рассчитаны на эффективный запуск, в том числе на устройствах с ограниченными ресурсами. Основной язык карточки — английский; модель также может работать как языковая модель без изображений. Она не генерирует изображения. Ответы могут быть фактически неточными, поэтому модель не предназначена для решений, влияющих на благополучие или средства к существованию людей.
MajidFQ разработал эту модель на базе intfloat/e5-base-v2 для преобразования предложений и абзацев в плотные текстовые эмбеддинги. Она построена на архитектуре BERT и Sentence Transformers: использует усреднение токеновых представлений и нормализацию векторов. Размерность эмбеддинга — 768, функция сходства — косинусная, максимальная длина последовательности — 512 токенов. Модель подходит для семантического поиска, сравнения текстов, поиска парафраз, кластеризации и классификации. В частности, её можно применять для маршрутизации запросов по категориям бизнеса и сопоставления запросов с описаниями категорий. Обучение проводилось на 48 425 примерах пар предложений с оценками сходства. Модель принимает текст и выдаёт векторы; английская базовая модель и примеры в карточке не подтверждают поддержку других языков. Лицензия в предоставленных данных не указана.
RinggAI разработала компактную языковую модель для аналитики расшифровок телефонных звонков. Это дообученная на базе unsloth/Qwen2.5-1.5B-Instruct плотная модель Qwen2 с 1,5 млрд параметров и контекстом до 32 768 токенов. Она принимает текстовые транскрипты на английском, хинди и смешанном хинглише, в том числе шумные, и генерирует текстовые результаты: классификации по заданным значениям, сводки разговоров и список действий или последующих шагов. Модель предназначена для автоматизации постзвонковой обработки в системах телефонии и голосового ИИ. В репозитории указана лицензия Apache-2.0. Карточка не приводит численных оценок качества или подробностей о поведении на разных типах шумных транскриптов, поэтому результаты стоит проверять для конкретного сценария.
UniSpeech-SAT-Base-Plus-SD — модель Microsoft для диаризации речи, дообученная на LibriMix с линейным слоем поверх представлений UniSpeech-SAT. Архитектура UniSpeech-SAT, около 113,3 млн параметров; веса доступны в формате PyTorch. Принимает речевое аудио с частотой дискретизации 16 кГц и выдаёт покадровые классификационные результаты, используемые для определения говорящих во времени. Базовая UniSpeech-SAT предварительно обучена на 94 тысячах часов аудиоданных Libri-Light, GigaSpeech и VoxPopuli с самообучением и учётом признаков говорящего. Модель предназначена для разделения речи по говорящим в аудиозаписях и может служить компонентом конвейера анализа разговоров. В метаданных указан английский язык; это не означает, что поддержка ограничена только им. Карточка не сообщает точные метрики качества или максимальную длительность входа. Для работы требуется аудио 16 кГц. Лицензия в предоставленных данных не указана.
VibeVoice-ASR — мультиязычная модель Microsoft для распознавания речи, доступная в версии, совместимой с Transformers. Она принимает аудио и формирует транскрипцию с текстом, временными метками и указанием говорящего; также можно передавать контекстные подсказки, например имена или специальные термины, чтобы помочь распознаванию.
NavAI · whisper-base-uzbek — модель автоматического распознавания узбекской речи, разработанная NavAI на основе openai/whisper-base и дообученная на 753 часах аудио с человеческими расшифровками. Архитектура — WhisperForConditionalGeneration; в метаданных указано 51,7 млн параметров. Модель принимает аудио и выдаёт текст, преимущественно на узбекском языке латиницей. Модель предназначена для транскрибации узбекской речи. В тестировании на четырёх отложенных наборах её макро-WER составляет 15,13%, а микро-WER — 14,05%; значения измерены при жадном декодировании с общей нормализацией текста. Для лучших результатов рекомендуется явно задавать язык «uz»; длинное аудио обрабатывается окнами по 30 секунд. Слабее модель справляется с редкими иностранными именами, шумной и дальнеполевой записью, а также сильными диалектными особенностями. Она обучена для узбекского языка в латинской графике. Лицензия модели — Apache-2.0.
deAPI-ai/whisper-large-v3-ct2 — локальный комплект для распознавания речи на основе Whisper large-v3, подготовленный в формате CTranslate2 для работы через faster-whisper. В комплект входят распознаватель речи, выравниватели на wav2vec2 для английского и польского языков, а также опциональный компонент pyannote для определения говорящих. Компоненты разрешаются из локальной директории, без загрузки файлов во время работы. Модель предназначена для транскрибирования аудио, получения временных меток слов и символов на английском и польском языках, а также диаризации при подключении соответствующих компонентов. Whisper large-v3 обеспечивает многоязычное распознавание речи; README отдельно указывает, что точные метки времени доступны для английского и польского. Комплект распространяется по лицензии other, поэтому условия использования следует проверять в карточке репозитория.
Это дообученная модель генерации текста на архитектуре Llama 2 с 12,9 млрд параметров, созданная автором репозитория на основе NousResearch/Yarn-Llama-2-13b-64k. К модели применён merged QLoRA fine-tune ранга 64 на наборе инструкций Airoboros 2.1; базовая версия использует YaRN для расширения рабочего контекста до 65 536 токенов. Модель предназначена для ответов на инструкции и вопросы, а также генерации текста с учётом длинного контекста. В описании приведены результаты тестов на ARC, Hellaswag и MMLU и сравнение perplexity на разных длинах контекста. Репозиторий содержит веса safetensors; для запуска через Transformers требуется trust_remote_code=True и совместимая реализация YaRN. Автор указывает, что короткоконтекстные результаты конкурентны с некоторыми моделями сравнения, но также отмечает необходимость дальнейшей проверки качества на длинном контексте. Лицензия в доступных данных не указана.
sudomoniker/all-MiniLM-L6-v2-Q8_0-GGUF — это квантованное представление в формате GGUF модели sentence-transformers/all-MiniLM-L6-v2, преобразованное с помощью llama.cpp через GGUF-my-repo. Модель разработана на базе Sentence Transformers и предназначена для задач семантического сходства и извлечения признаков из текстов. В карточке указано, что она обучалась на англоязычных данных из различных источников, включая S2ORC, Stack Exchange, MS MARCO, SNLI, MultiNLI, Natural Questions и другие наборы данных. Модель рассчитана на сравнение предложений, поиск похожих текстов, семантический поиск, кластеризацию и построение текстовых эмбеддингов. Она поддерживает работу локально через llama.cpp, включая CLI и серверный режим. Суффикс Q8_0 указывает на 8-битное квантование, которое обычно позволяет уменьшить требования к ресурсам, однако в README не приведены точные размер модели, длина контекста, архитектурные параметры и численные результаты оценки. Модель ориентирована на английский язык, поэтому её пригодность для других языков не подтверждена. Лицензия — Apache-2.0.
Модель ashwinpatti/all-mpnet-base-v2_political_view_ft-legal-ft-v0 — дообученная версия Sentence Transformers на базе sentence-transformers/all-mpnet-base-v2, разработанная автором репозитория ashwinpatti. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, оценки сходства и сопоставления перефразировок. В README также перечислены кластеризация и классификация текстов как возможные сценарии использования. Модель построена на MPNet с усреднением токенных представлений и нормализацией векторов; сходство оценивается косинусной мерой. Метаданные указывают 136,7 млн параметров и контекст до 514 токенов, а README — максимальную длину последовательности 384 токена. Она дообучена на 4 278 парах текстов с ContrastiveLoss; в README приведено значение Spearman для косинусного сходства 0,8249 на оценивании сходства. Для репозитория указаны формат safetensors и библиотека Sentence Transformers. Лицензия и поддерживаемые языки в предоставленных данных не указаны.
nixmaverick1997 выпустил вариант sentence-transformers для построения эмбеддингов предложений и абзацев. Модель на архитектуре MPNet преобразует текст в плотные векторы размерности 768; обучалась с функцией CosineSimilarityLoss с использованием сиамской и триплетной схем. В метаданных указано 136,7 млн параметров и контекст до 514 токенов. Модель подходит для семантического поиска, кластеризации и сравнения сходства текстов. В README она названа классификатором тональности, а в тегах есть sentiment-classifier, однако приведённое описание и сведения об обучении сосредоточены на эмбеддингах; отдельная голова классификации или результаты классификации не описаны. Для работы доступны PyTorch и библиотеки sentence-transformers и SetFit. Лицензия в предоставленных данных не указана.
Baguettotron — компактная языковая модель PleIAs для генерации текста и решения задач с рассуждениями. Это плотная авторегрессионная модель семейства Llama с 320,9 млн параметров и 80 слоями; она обучена на 200 млрд токенов открытого синтетического набора PleIAs/SYNTH. Репозиторий содержит веса Safetensors для Transformers, а контекст модели составляет 4096 токенов. Модель предназначена для следования инструкциям, ответов на вопросы, извлечения и редактирования информации, простых математических задач, творческого письма и генерации с опорой на предоставленный контекст. Она обучена работать с английским, французским, немецким, итальянским, испанским и польским; README также упоминает более ограниченную поддержку латыни и нидерландского. Цепочки рассуждений формируются на английском. По заявлению разработчика, модель показывает сильные результаты среди моделей сопоставимого размера в ряде общих, математических и retrieval-бенчмарков. Baguettotron — небольшая модель, поэтому её возможности ограничены по сравнению с крупными языковыми моделями; заявленные результаты относятся к конкретным бенчмаркам и не гарантируют точность в каждом сценарии. Лицензия — Apache-2.0.
omkar334/bert-base-uncased-retromae — англоязычная модель Sentence Transformers, дообученная автором omkar334 на основе google-bert/bert-base-uncased с функцией потерь RetroMAELoss. Она кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, извлечения текстов и сравнения сходства по косинусной мере. Архитектура состоит из BERT и пулинга CLS; README указывает максимальную длину последовательности 128 токенов, а метаданные — нативный контекст до 512 токенов. Модель принимает текст и выдаёт эмбеддинги. В README приведены результаты оценки на sts-dev и sts-test: Spearman-корреляция косинусного сходства 0,3173 и 0,721 соответственно. Доступна в формате safetensors; размер составляет 136,7 млн параметров. Лицензия в предоставленных данных не указана.
jaschadub/bge-large-en-world-news-osint-v1 — англоязычная модель Sentence Transformers, дообученная на основе BAAI/bge-large-en для представления текстов о мировых новостях и OSINT в виде плотных эмбеддингов. Разработчик — jaschadub. Модель кодирует предложения и абзацы в векторы размерности 1024; сходство между ними оценивается косинусной мерой. Архитектура включает BERT, pooling по CLS-токену и нормализацию. Максимальная длина последовательности — 512 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразирований, классификации и кластеризации. Модель принимает текст и выдаёт векторные представления. Лицензия в предоставленных данных не указана.
Canarim-7B — португалоязычная языковая модель, разработанная Майконом Домингешем. Она основана на LLaMA 2-7B и продолжила предварительное обучение на 16 млрд токенов из португалоязычной части CommonCrawl 2023-23; данные охватывают период до середины 2023 года. Модель содержит 6,6 млрд параметров, использует архитектуру Llama и поддерживает контекст до 4096 токенов. Модель предназначена для генерации и понимания португальского текста. Её можно применять для создания контента, анализа тональности, классификации тем, извлечения сущностей и перевода, особенно в сценариях с примерами желаемого результата в запросе. Обучение проводилось только на задаче языкового моделирования: модель не дообучалась для следования инструкциям, поэтому для неё предпочтительны few-shot запросы, а качество zero-shot выполнения задач может быть ниже. Веса доступны в форматах PyTorch и Safetensors. Лицензия — Llama 2 Community License.
facebook/contriever-msmarco — дообученная модель семейства Contriever на основе BERT, разработанная Facebook. Она предназначена для плотного семантического поиска и извлечения признаков текста: преобразует входной текст в векторное представление, которое можно использовать для поиска релевантных документов. Для получения эмбеддинга предложения при работе через Hugging Face Transformers требуется усредняющий mean pooling. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Она дообучена по подходу контрастивного обучения для плотного поиска информации. Лицензия в предоставленных данных не указана.
davidoneil/decisoes-processos-tce-ft-gemma — модель Sentence Transformer, созданная дообучением google/embeddinggemma-300m на 49 816 обучающих примерах. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и использует косинусное сходство для сравнения текстов. Модель предназначена для семантического поиска и сопоставления текстов, а также может применяться для поиска перефразирований, классификации и кластеризации. Модель принимает текст длиной до 2048 токенов и выдаёт эмбеддинги. В карточке приведены примеры обучающих данных с длинными текстами, но их тематика и поддерживаемые языки не определены, поэтому специализацию по области или языку установить нельзя. Репозиторий использует библиотеку Sentence Transformers и формат safetensors. Лицензия в предоставленных сведениях не указана.
Kenneth Enevoldsen разработал dfm-sentence-encoder-medium — модель на базе XLM-RoBERTa, которая преобразует предложения и абзацы в плотные векторы размерностью 768. Модель содержит 151,7 млн параметров и рассчитана на контекст длиной до 514 токенов. Векторы подходят для поиска семантически близких текстов и кластеризации. Модель обучалась с MultipleNegativesRankingLoss и косинусным сходством; для работы доступны Sentence-Transformers и Hugging Face Transformers с необходимой операцией pooling. Лицензия — MIT. Модель создаёт текстовые эмбеддинги, а не готовые ответы. README не уточняет, на каких языках она обучалась, поэтому языковую поддержку нельзя определить по имеющимся данным.
E5-small-trm-nl — модель эмбеддингов на архитектуре BERT, разработанная как дообученная версия clips/e5-small-trm. Она преобразует запросы и тексты в векторы для поиска и сравнения смысловой близости; карточка приводит пример кодирования запросов и фрагментов MS MARCO. Модель предназначена для нидерландского языка и обучалась на наборах BEIR-NL для поиска, ответов на вопросы и проверки фактов. Модель содержит 47,5 млн параметров, принимает текст, поддерживает контекст до 512 токенов и распространяется в формате safetensors. Лицензия — MIT. Доступны эмбеддинги для задач сходства предложений и извлечения признаков. В README приведена таблица результатов MTEB-NL, однако соответствующая строка этой модели в предоставленном фрагменте отсутствует, поэтому её качество по этим данным оценить нельзя.
lewispons/email-classifiers — модель на базе BERT, созданная с помощью Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель подходит для семантического поиска, кластеризации и сопоставления текстов, в том числе для группировки и поиска похожих электронных писем. Модель содержит 25,9 млн параметров, работает с текстом и поддерживает контекст длиной до 512 токенов. В карточке указано обучение с функцией потерь CosineSimilarityLoss. Доступны веса PyTorch; лицензия в предоставленных данных не описана.
bards.ai разработала EU PII Anonimization Multilingual Detector v2 Preview — модель обнаружения персональных и чувствительных данных в тексте. Она продолжает обучение модели bardsai/eu-pii-anonimization-multilang и предназначена для разметки сущностей с последующим удалением или маскированием в документах, письмах, обращениях в поддержку, чатах и наборах данных, а также для фильтрации данных перед подачей в RAG-системы и поисковые индексы. Модель построена на XLM-RoBERTa и содержит 305,2 млн параметров; она принимает текст и возвращает BIO-разметку токенов. В версии v2 заявлено 36 классов сущностей, включая даты, контакты, идентификаторы, финансовые данные, сведения о здоровье, биометрические и генетические данные, а также специальные категории GDPR. Поддерживаются 22 языка ЕС, перечисленных в карточке модели. Максимальная длина контекста — 514 токенов. Лицензия — Apache-2.0. Это предварительная версия с регулярно обновляемыми контрольными точками, поэтому результаты могут меняться. Качество зависит от языка, предметной области и качества текста; OCR-шум, переключение языков и необычное форматирование ухудшают полноту обнаружения. Неоднозначные сущности могут требовать постобработки и проверки человеком, а обнаружение данных само по себе не гарантирует соответствия требованиям законодательства.
yograjm/finetuned-MiniLM-question-answering — модель на базе Sentence Transformers, дообученная разработчиком с помощью AutoTrain для работы с предложениями. Она создаёт плотные векторные представления текста, которые можно использовать для семантического поиска, сравнения запросов и предложений, а также поиска подходящих фрагментов для ответа на вопрос. Модель основана на BERT-архитектуре и содержит 25,9 млн параметров; максимальная длина входа — 512 токенов. Для применения используется библиотека Sentence Transformers, веса представлены в формате safetensors. Название указывает на сценарии вопросов и ответов, однако README описывает обучение как Sentence Transformers и не приводит примеров генерации ответов. Поэтому модель следует рассматривать как энкодер для поиска и сопоставления текста, а не как генератор ответов. Базовая модель — англоязычный sentence-энкодер sentence-transformers/all-MiniLM-L6-v2; лицензия и подтверждённый набор языков в доступных данных не указаны.
nohurry/gemma-4-26B-A4B-it-heretic-GUFF — набор квантованных вариантов модели coder3101/gemma-4-26B-A4B-it-heretic, созданный участником сообщества на основе Gemma 4 от Google. Модель предназначена для диалоговых сценариев, генерации текста и работы с изображениями, включая OCR. В README указана поддержка режима рассуждений, который включается специальным маркером в системном промпте, а также возможность ограничивать бюджет рассуждений. Модель имеет архитектуру Gemma 4 с конфигурацией 26B-A4B; точные сведения о размере активируемой части, языках и максимальной длине контекста в README не приведены. Для обработки изображений используются отдельные mmproj-файлы и настраиваемый диапазон от 70 до 1120 image-токенов. Реализация рассчитана на использование в llama.cpp и koboldcpp; для корректной работы требуется включить Sliding Window Attention с параметром --swa-full. Доступны разные уровни квантования, а выбор рекомендуется делать с учётом доступной VRAM. Для задач OCR желательно использовать менее квантованную текстовую модель и более качественно сохранённый image encoder. Сильными сторонами являются мультимодальность, поддержка управляемого рассуждения, различные варианты квантования и возможность локального запуска. Ограничения включают зависимость требований к памяти от выбранного кванта и контекста, чувствительность image encoder к квантованию, а также необходимость совместимого программного обеспечения и настроек SWA. Модель распространяется по лицензии Apache-2.0; ссылка на лицензию Gemma 4 указана в карточке.
Gemma-4-31B-IT-NVFP4-GGUF — квантизированная версия мультимодальной модели Google Gemma-4-31B-it, подготовленная LibertAI для запуска через llama.cpp. Модель предназначена для генерации и понимания текста, а с дополнительным файлом mmproj — также для обработки изображений и аудио. Указан английский язык поддержки. Это плотная decoder-модель примерно на 30,7 млрд параметров с гибридной схемой локального скользящего и глобального внимания, unified KV в глобальных слоях и Proportional RoPE для длинного контекста. Тензоры dense FFN квантизированы в NVFP4, а остальные компоненты используют варианты GGUF-квантизации Q4_K_M, Q8_0 или BF16. Доступны файлы размером примерно от 17 до 30 ГБ; для мультимодального ввода требуется отдельный mmproj-файл размером около 1,2 ГБ. В README приведены примеры запуска с контекстом до 32768 токенов и результаты тестов на NVIDIA RTX 5090. Главное преимущество NVFP4-варианта — уменьшенный объём видеопамяти и высокая производительность на NVIDIA Blackwell, включая RTX 50-й серии, B100 и B200; вариант Q4_K_M рекомендован для наиболее эффективной работы. На старых GPU модель запускается, но преимуществ в производительности NVFP4 может не быть. Большой KV-кэш Gemma-4 ограничивает высокую конкурентную нагрузку, а более точные варианты требуют больше памяти. Модель распространяется по лицензии Gemma, унаследованной от исходной модели Google.
Gemma-4-31B-it-Quark-W8A8-INT8 — мультимодальная модель для работы с текстом и изображениями, опубликованная под идентификатором nameistoken/Gemma-4-31B-it-Quark-W8A8-INT8 на основе google/gemma-4-31B-it от Google. Она предназначена для диалоговых сценариев, генерации текста, анализа изображений и задач vision-language. В описании заявлен английский язык. Модель использует архитектуру Gemma4ForConditionalGeneration и включает текстовый декодер на 31 млрд параметров, vision tower и визуальные embedding-слои. Текстовая часть квантизирована в W8A8 INT8: веса используют статическую симметричную per-channel-квантизацию, а активации — динамическую per-token-квантизацию. lm_head, embed_tokens и компоненты зрения сохранены в BF16, поэтому мультимодальные возможности не удалены. Размер файла модели составляет около 32 ГБ против примерно 62,5 ГБ у исходной BF16-версии, что дает двукратное сокращение объема. По результатам теста GSM8K на 1319 задачах модель показала точность 96,66% против 96,74% у BF16-базовой версии, то есть снижение составило 0,08 процентного пункта. Для запуска рекомендуется vLLM; в README приведена конфигурация с максимальной длиной контекста 8192 токена. Минимально требуется GPU с объемом памяти от 48 ГБ, например AMD MI300X, MI350X, MI355X, NVIDIA A100-80G или H100. Для длинного контекста и больших пакетов может потребоваться распределение на несколько GPU. Лицензия — Apache 2.0.
LibertAIDAI/GLM-5.3-Flash-NVFP4 — квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной Z.ai; квантизацию выполнила LibertAI, не связанная с Z.ai. Модель предназначена для работы с текстом и изображениями, включая задачи image-text-to-text, рассуждения и вызов инструментов. Поддерживаются английский и китайский языки. Это разреженная MoE-модель общим объёмом 320B параметров, из которых при обработке активны 18B. Она сочетает 34 слоя линейного внимания KDA и 11 слоёв разреженного внимания DeepSeek, имеет нативную мультимодальность и контекст до 1M токенов. Квантизация NVFP4-A16 применяется преимущественно к routed-expert FFN-тензорам, занимающим около 97% параметров; активации, механизм внимания, vision tower, эмбеддинги, нормализации и другие чувствительные компоненты сохраняются в BF16. Это уменьшает размер с 598,5 до 181 ГиБ при заявленном round-trip cosine 0,99665. Сильными сторонами являются значительное снижение требований к памяти, сохранение мультимодального поведения vision tower без изменений и совместимость с современными ускорителями NVIDIA Blackwell, включая H100, B200, GB200 и GB10/DGX Spark. Для запуска требуются поддерживаемые специализированные сборки vLLM или SGLang и корректная конфигурация движка; vLLM и SGLang пока не имеют полной поддержки архитектуры glm5_next в стандартных версиях. llama.cpp и формат GGUF не поддерживаются. Указанная лицензия — MIT.
Hermes-3-Llama-3.1-70B-IMat-GGUF — это квантизированная версия текстовой языковой модели NousResearch/Hermes-3-Llama-3.1-70B, подготовленная пользователем legraphista в формате GGUF для запуска через llama.cpp. Исходная модель имеет размер 70B параметров и тип данных BF16, а доступные варианты включают BF16, FP16 и несколько уровней квантования от 1 до 8 бит, в том числе варианты с IMatrix. Модель предназначена для генерации текста, диалоговых сценариев и работы в формате instruct/chat. В описании также заявлены поддержка ChatML, function calling и JSON mode, а среди возможных применений указаны ролевые диалоги и задачи, связанные с синтетическими данными и дистилляцией. Указан английский язык; сведения о других языках и размере контекстного окна отсутствуют. Модель является текстовой и не заявляет поддержку изображений или других дополнительных модальностей. Основное преимущество сборки — возможность выбрать баланс качества, размера файлов и требований к ресурсам за счёт большого набора GGUF-квантов; IMatrix применяется в ряде вариантов с более низкой разрядностью. Ограничения связаны с очень большим размером модели: файлы занимают примерно от 26 до 141 ГБ, а некоторые варианты разделены на несколько частей. Квантизация может снижать точность по сравнению с исходной BF16-моделью, особенно в вариантах с меньшей разрядностью. Лицензия указана как llama3.
danieleff/hubert-base-cc-sentence-transformer — модель на базе BERT, представленная как sentence-transformers-модель для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для поиска семантически близких текстов, семантического поиска и кластеризации. В метаданных указаны 137,8 млн параметров и контекст до 512 токенов; модель использует PyTorch и поддерживает венгерский язык. Модель обучалась с функцией потерь CosineSimilarityLoss. Её можно применять через библиотеку Sentence-Transformers либо через Transformers с подходящей операцией pooling для получения представления текста. Лицензия в предоставленных данных не указана.
Модель Pruthwik Mishra и Yash Ingle — дообученная версия MuRIL на базе BERT для определения языка входного текста. Она классифицирует текст на английский и 22 официальных языка Индии, с отдельными метками для некоторых языков, записанных разными письменностями. Модель содержит 264,8 млн параметров, принимает текст с контекстом до 512 токенов и доступна в формате Safetensors для Transformers. Модель предназначена для автоматической языковой разметки текстов и включения в NLP-конвейеры. В README сообщается о среднем F1 0,96 на созданном корпусе и бенчмарке Bhasha-Abhijnaanam. Лицензия — MIT. Авторы предупреждают о возможном снижении качества для малоресурсных языков и письменностей, включая манипури письмом мейтей, синдхи и майтхили; для языков за пределами английского и индийских модель может работать ненадёжно.