I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельatakankutalp/LFM2.5-2.6B-heretic — это изменённая версия LiquidAI/LFM2.5-2.6B, созданная с помощью Heretic 1.4.0. В модели применена направленная абляция: из весов удалено направление, связанное с отказами. Число параметров не изменилось и составляет 2,69 млрд; архитектура LFM2 — плотная языковая модель из 30 слоёв, сочетающая блоки коротких свёрток и группированное внимание. Контекст — 131 072 токена. Репозиторий содержит веса Safetensors и варианты GGUF, включая квантизированные сборки. Модель предназначена для генерации текста в диалоге и агентных сценариев: вызова инструментов, извлечения данных, RAG и работы с длинным контекстом. Базовая LFM2.5 поддерживает 17 языков, включая русский, английский, китайский, арабский и другие; карточка не сообщает, насколько абляция влияет на качество по отдельным языкам. В сравнении с исходной моделью отказы на чувствительных запросах стали заметно реже, поэтому ответы не следует считать защищёнными фильтрами безопасности. Исходная карточка также не рекомендует базовую модель для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other, без конкретных условий в предоставленных данных.
Карточка модели rethem-expeditecommerce/MiniLM-L6-GPL на Hugging Face совпадает с карточкой valurank/MiniLM-L6-Keyword-Extraction, поэтому описание составлено по ней. valurank/MiniLM-L6-Keyword-Extraction — англоязычная модель для получения векторных представлений предложений и коротких абзацев. Это Sentence-Transformers-модель на архитектуре BERT с 25,9 млн параметров, создающая плотные эмбеддинги размерности 384. В README описано дообучение контрастивным методом на более чем миллиарде пар предложений на основе nreimers/MiniLM-L6-H384-uncased; метаданные указывают формат PyTorch и контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Эмбеддинги можно использовать для ранжирования кандидатов по близости векторных представлений, в том числе при извлечении ключевых слов из текста. По умолчанию тексты длиннее 256 WordPiece-токенов обрезаются. README не приводит отдельную лицензию, а метаданные обозначают её как other, поэтому условия использования следует сверить с карточкой репозитория. Модель обучалась преимущественно на англоязычных данных; качество для других языков не подтверждено.
MMLW-retrieval-e5-base — польскоязычный текстовый энкодер для информационного поиска, разработанный авторами проекта MMLW. Модель основана на XLM-RoBERTa и содержит 305,2 млн параметров; она преобразует запросы и фрагменты документов в векторы размерностью 768 для сравнения их релевантности. Максимальная длина контекста — 514 токенов. Модель сначала обучали методом дистилляции на 60 млн польско-английских пар текстов, используя англоязычные FlagEmbeddings (BGE) как учителя, затем дообучили с контрастивной функцией потерь на польской обучающей части MS MARCO. Для кодирования запросов нужен префикс «query: », а для фрагментов документов — «passage: ». На польском бенчмарке PIRB модель показала NDCG@10 56,09. Подходит для семантического поиска и построения систем извлечения информации. Распространяется по лицензии Apache-2.0.
hunkim/model1 — модель на базе RoBERTa, опубликованная в формате PyTorch и предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 768. Параметры модели включают 137,8 млн, максимальная длина контекста — 512 токенов. Векторы можно использовать для поиска предложений по смыслу, кластеризации и сравнения текстов по семантическому сходству. Модель также поддерживает извлечение признаков; для использования через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. README рекомендует библиотеку Sentence-Transformers. Карточка не сообщает о специализированной предметной области или поддерживаемых языках. Условия лицензии в предоставленных данных не указаны.
Модель celik-muhammed/multi-qa-mpnet-base-dot-v1-finetuned-dtc-zoomcamp — дообученная модель Sentence Transformers на архитектуре MPNet, разработанная Muhammed Celik. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу и кластеризации. В обучении использовались MultipleNegativesRankingLoss и OnlineContrastiveLoss с косинусным сходством. Модель содержит 136,7 млн параметров, принимает текст и формирует векторные представления; заявленная длина контекста — 514 токенов. Доступны форматы PyTorch, Safetensors и TFLite. Лицензия в предоставленных данных не указана.
DataikuNLP/paraphrase-MiniLM-L6-v2 — копия модели sentence-transformers, обученной командой Sentence Transformers. Это компактный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и абзацы в плотные векторы размерности 384. Модель предназначена для вычисления сходства предложений и получения эмбеддингов для семантического поиска и кластеризации. Её можно применять для поиска фрагментов текста по смыслу, группировки похожих высказываний и сравнения формулировок. В README показаны варианты использования через Sentence-Transformers и Transformers; для Transformers требуется подходящая операция pooling поверх контекстных представлений токенов. Максимальная длина контекста — 512 токенов. Модель принимает текст и выдаёт векторы; язык в карточке явно не указан. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Это копия модели sentence-transformers/paraphrase-MiniLM-L6-v2, а не отдельное дообучение Dataiku.
orenpereg/paraphrase-mpnet-base-v2_sst2_4samps — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости, семантического поиска и кластеризации. Контекст модели составляет 514 токенов; для работы доступны веса PyTorch и библиотека Sentence-Transformers. Модель обучалась с функцией потерь CosineSimilarityLoss. Её можно применять для поиска похожих высказываний и группировки текстов по смыслу. Языки обучения и лицензия в предоставленных данных не указаны.
pplx-embed-context-v1.3.1-4B — контекстная модель эмбеддингов предложений от seslami, представленная как предварительная закрытая версия. Она предназначена для текстового поиска и улучшает разрешение перефразировок, снижает влияние лексически похожих отвлекающих фрагментов и помогает находить связанные с запросом термины из глоссария. Модель использует плотную архитектуру bidirectional_pplx_qwen3, содержит 3,7 млрд параметров, принимает текст и поддерживает контекст длиной до 32 768 токенов. Модель загружается через Transformers и распространяется в формате safetensors. По карточке она является заменой версии v1.3-4B с той же архитектурой и кодом загрузки. Лицензия — Apache-2.0. Карточка называет выпуск закрытым предварительным просмотром; результаты и пригодность для конкретных коллекций документов следует проверять на собственных данных.
Карточка модели ehristoforu/qwen2.5-with-lora-think-3b-it на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.
Qwen2-UtK-7B-128K — языковая модель на основе Qwen2-7B, дообученная командой проекта Untie the Knots для работы с длинным контекстом. Это плотная авторегрессионная модель с 7,1 млрд параметров; её контекстное окно составляет до 131 072 токенов. Веса доступны в формате safetensors, лицензия — Apache-2.0. Модель предназначена для генерации текста и поиска нужной информации в длинных последовательностях. Метод Untie the Knots продолжает предобучение на перемешанных фрагментах документов, чтобы улучшить выделение релевантных сведений при большом контексте. В README приведены результаты оценки на RULER для 128K контекста; указанный пример обслуживания использует vLLM. Карточка сообщает о поддержке английского и китайского языков. Модель основана на Qwen2-7B с изменённым параметром RoPE theta: 5 000 000 вместо 1 000 000. README описывает отдельную инструктивную версию ChatQA2, но эта карточка относится к базовой модели UtK, поэтому её не следует считать чат-моделью ChatQA2. Практическое качество зависит от задачи и длины входа; результаты README не гарантируют такую же точность на других данных и сценариях.
trohrbaugh/Qwen3.8-27B-heretic-ara — производная версия мультимодальной модели Qwen3.8-27B, изменённая методом abliteration для снижения частоты отказов. По приведённому сравнению модель не отказала ни на одном из 100 запросов, тогда как исходная модель отказала на 99 из 100; это результат конкретного теста, а не гарантия поведения на любых запросах. Модель построена на архитектуре Qwen3.5: плотная причинная языковая модель с визуальным энкодером, 27 млрд параметров, 64 слоя. Она принимает текст и изображения и предназначена для диалогов, анализа изображений и выполнения многошаговых задач; README семейства также описывает понимание видео, но метаданные этой модели подтверждают только задачу image-text-to-text. Модель унаследовала от семейства Qwen3.8 режим рассуждений с настраиваемой глубиной, поддержку длинного контекста и применение в программировании, исследованиях и профессиональных сценариях. Для базовой Qwen3.8 указаны 262 144 токена контекста с расширением до 1 000 000, но метаданные не подтверждают эти пределы отдельно для данной производной версии. Доступны веса Safetensors для Transformers и совместимых средств инференса. Лицензия — Apache 2.0. Abliteration существенно меняет поведение отказов, поэтому следует учитывать риск ответов на запросы, которые исходная модель отклоняла.
Qwen3.8-27B-ROCmI4-MTP-GGUF — это конвертированная и квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем cafonez. Модель представлена в формате GGUF и предназначена для локального запуска через совместимые сборки ROCmFPX на оборудовании AMD, прежде всего Strix Halo с архитектурой gfx1151. Репозиторий содержит языковую модель и дополнительный мультимодальный проектор для обработки изображений и видео; для текстовых сценариев проектор не требуется. Модель имеет архитектуру qwen35, около 27,32 млрд параметров, контекст до 262 144 токенов и квантизацию весов Q4_0_ROCMI4. В основной файл встроена одноступенчатая голова NextN/MTP, поэтому отдельная draft-модель не нужна. Она ориентирована на генерацию и обработку текста, включая программирование, структурированные данные и диалоги, а при подключении mmproj также поддерживает мультимодальные входы с изображениями и видео. README не указывает перечень поддерживаемых языков. Сильными сторонами являются большой контекст, снижение требований к памяти благодаря четырёхбитной квантизации, встроенный MTP и возможность ускоренного пути W4A4 на совместимом оборудовании AMD. Ограничения связаны с экспериментальным характером ROCmI4/IU4, необходимостью специальной сборки ROCmFPX и совместимого GPU; стандартные сборки llama.cpp не ожидаются совместимыми. Путь W4A4 может быть быстрее, но добавляет потери из-за четырёхбитной квантизации активаций, а эффективность MTP зависит от характера текста. Модель распространяется по лицензии Apache-2.0.
Qwen3-Embedding-0.6B-GGUF — набор GGUF-квантизаций компактной мультиязычной embedding-модели Qwen3-Embedding-0.6B, разработанной Qwen. Квантизации подготовлены PeterAM4 с использованием llama.cpp и importance matrix, оптимизированной преимущественно для финансовых и технических текстов. Модель предназначена для построения RAG-систем, семантического поиска, извлечения документов и других задач сравнения предложений и текстов. Базовая модель содержит около 596 млн параметров, поддерживает контекст до 32 768 токенов, использует pooling по последнему токену и формирует embeddings размерностью 1024. Заявлена поддержка английского, китайского, японского, корейского, французского, немецкого, испанского, португальского, русского и арабского языков. Доступны варианты от 8-битных до 1-битных, что позволяет запускать модель на периферийных устройствах, ноутбуках и серверах с ограниченными ресурсами. Сильными сторонами являются небольшой размер, низкие требования к памяти и задержке, а также калибровка квантования на финансовых вопросах и ответах, документах SEC 10-K, финансовых данных, математических задачах и общем тексте. В README рекомендован вариант Q3_K_M-imat размером около 331 МБ; его показатель PPL близок к BF16-базовой версии на указанном тестовом корпусе. При этом агрессивное квантование снижает качество: особенно заметная деградация наблюдается у вариантов ниже примерно 3 BPW, а результаты приведённых тестов не гарантируют аналогичную точность в конкретной задаче поиска. Модель распространяется по лицензии Apache 2.0.
muflihimaduddin/sbert-finetuned-oe — дообученная модель Sentence Transformers на основе sentence-transformers/all-distilroberta-v1, разработанная автором репозитория. Она преобразует предложения и короткие абзацы в нормализованные плотные векторы размерностью 768, пригодные для семантического поиска, извлечения релевантных фрагментов и сравнения текстов по косинусному сходству. Архитектура включает RoBERTa, усредняющий pooling и нормализацию; модель принимает текст и имеет максимальную длину последовательности 512 токенов. Обучение проводилось на 6 798 парах предложений с оценками сходства с использованием CosineSimilarityLoss. Лицензия в предоставленных данных не указана.
semanlink_all_mpnet_base_v2 — модель Sentence Transformers на архитектуре MPNet, дообученная разработчиком raphaelsty на графе знаний Semanlink с помощью библиотеки MKB для задачи предсказания связей. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и подходит для семантического поиска и кластеризации терминов. Модель ориентирована на техническую и общую терминологию в машинном обучении, NLP и новостях; поддерживает английский и французский языки и принимает текст. Веса доступны в форматах PyTorch и safetensors, лицензия — Apache-2.0. Контекст модели — до 514 токенов.
Swift-Qwen3.8-27b-BF16-AMD — полноразмерная BF16-версия модели UkisAI Swift, производной от Qwen/Qwen3.8-27B. Это плотная мультимодальная модель с архитектурой Qwen3.5 и классом Qwen3_5ForConditionalGeneration; опубликована в формате safetensors для Transformers и предназначена для AMD/ROCm и рабочих процессов AMD Quark. Веса включают компонент обработки изображений и видео и MTP-голову. Модель ориентирована на диалоги и многошаговые рассуждения, включая программирование, решение математических задач, ответы на вопросы и генерацию структурированного JSON. Метод дообучения нацелен на сокращение избыточных рассуждений: в тестах UkisAI модель использовала на 58,3% меньше токенов мышления при потере качества менее 1% и ускорении до 1,95 раза на ряде задач. Эти результаты относятся к описанным в карточке испытаниям и не гарантируют аналогичных показателей в каждом сценарии. Модель принимает текст и изображения, а также поддерживает визуальные возможности базовой модели для анализа видео; выдаёт текст. Указанная в README длина контекста для приведённых тестов — 262 144 токена. Лицензия обозначена как other; карточка сообщает, что доступ к API бесплатен для исследований, но не задаёт полных условий лицензии весов. Для использования на AMD требуется совместимая среда ROCm; AMD/ROCm-развёртывание и его производительность на момент описания не проверены, а приведённые результаты получены не на оборудовании AMD.
ukr-paraphrase-multilingual-mpnet-base — модель sentence-transformers проекта lang-uk, дообученная для украинского языка на основе sentence-transformers/paraphrase-multilingual-mpnet-base-v2. Она кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель построена на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров и принимает текст; максимальная длина контекста составляет 514 токенов. Модель ориентирована прежде всего на украинский, сохраняя многоязычную основу. Её можно применять для поиска семантически близких фрагментов, группировки текстов и построения эмбеддингов. Распространяется по лицензии Apache-2.0.
YOYO-AI/ZYH-LLM-Qwen2.5-14B-V3 — третья версия модели серии ZYH-LLM от YOYO-AI, созданная с помощью слияния нескольких языковых моделей. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров в формате safetensors. В README описан первый этап слияния Qwen/Qwen2.5-14B-Instruct и Qwen/Qwen2.5-14B методом DELLA; метаданные также указывают среди исходных моделей Azure99/Blossom-V6-14B, arcee-ai/Virtuoso-Small-v2 и варианты Qwen2.5-14B. Модель предназначена для генерации текста и диалогов, включая структурированные ответы и взаимодействие через интерфейс вызова инструментов. Заявленная длина контекста — 1 010 000 токенов. Метаданные карточки указывают английский и китайский языки. В README приведены результаты Open LLM Leaderboard: среднее значение 41,63, IFEval — 85,78 и BBH — 48,18; эти результаты не описывают все сценарии применения. Модель распространяется по лицензии Apache-2.0.
Карточка модели avsolatorio/30-100-11-1-2-2-0-0-mean-normed-384-512_GIST_st_all-MiniLM-L6-v2-20240201131522-best на Hugging Face совпадает с карточкой valurank/MiniLM-L6-Keyword-Extraction, поэтому описание составлено по ней. valurank/MiniLM-L6-Keyword-Extraction — англоязычная модель для получения векторных представлений предложений и коротких абзацев. Это Sentence-Transformers-модель на архитектуре BERT с 25,9 млн параметров, создающая плотные эмбеддинги размерности 384. В README описано дообучение контрастивным методом на более чем миллиарде пар предложений на основе nreimers/MiniLM-L6-H384-uncased; метаданные указывают формат PyTorch и контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Эмбеддинги можно использовать для ранжирования кандидатов по близости векторных представлений, в том числе при извлечении ключевых слов из текста. По умолчанию тексты длиннее 256 WordPiece-токенов обрезаются. README не приводит отдельную лицензию, а метаданные обозначают её как other, поэтому условия использования следует сверить с карточкой репозитория. Модель обучалась преимущественно на англоязычных данных; качество для других языков не подтверждено.
Nhat1904/7_shot_STA_freezed_body_1e-5_batch_8 — модель Sentence-Transformers на архитектуре MPNet, разработчик которой в карточке не назван. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов и кластеризации. В метаданных указаны 136,7 млн параметров, контекст до 514 токенов и формат PyTorch. Модель обучалась с функцией потерь CosineSimilarityLoss; название репозитория указывает на эксперимент с few-shot настройкой, но точные данные обучения в карточке опущены. Для работы доступны Sentence-Transformers и Transformers с подходящей операцией pooling. Лицензия в предоставленных данных не указана.
airoboros-c34b-2.2 — экспериментальная инструкционная языковая модель, разработанная Jon Durbin и дообученная на преимущественно синтетических данных набора airoboros-2.2. Это плотная модель семейства LLaMA с 33,5 млрд параметров, рассчитанная на генерацию текста и следующие инструкции; заявленная длина контекста — 16 384 токена. Карточка описывает формат диалога с отдельными строками USER и ASSISTANT и рекомендует останавливать генерацию при начале следующей реплики USER. Модель ориентирована на ответы по предоставленному контексту, выполнение инструкций, викторины и вопросы с вариантами ответа, генерацию кода и планов для сценариев с инструментами. Она также умеет формировать JSON или YAML для запросов, похожих на вызов функций, но сама по себе не вызывает инструменты. Автор отмечает, что модель может следовать системным инструкциям, однако их можно переопределить; контекстное обучение призвано ограничивать ответы источником, но не гарантирует отсутствия галлюцинаций. Для весов указана лицензия Llama 2. Карточка называет модель экспериментальной и описывает обучение на синтетических данных; отдельные языки и специализированная предметная область не заявлены.
Модель flax-sentence-embeddings/all_datasets_v3_roberta-large разработана участниками Community Week Hugging Face в рамках проекта по обучению моделей эмбеддингов предложений на больших наборах данных. Это дообученная с контрастивной целью версия roberta-large с архитектурой RoBERTa и 454,1 млн параметров. Она кодирует входное предложение в вектор, отражающий его семантическое содержание, и рассчитана на извлечение признаков и сравнение предложений. В README описано обучение на более чем миллиарде пар предложений из объединённых датасетов; указаны длина последовательности обучения 128 токенов и использование SentenceTransformers. Метаданные указывают родной контекст в 514 токенов. Модель подходит для семантического поиска, группировки текстов и оценки сходства предложений. В карточке указана поддержка английского языка. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.
LeoChiuu/all-MiniLM-L6-v2-negations — дообученный разработчиком модели энкодер предложений на базе sentence-transformers/all-MiniLM-L6-v2. Архитектура Sentence Transformer включает BertModel, усреднение токенных представлений и нормализацию; модель содержит 25,9 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 384. README описывает дообучение на 77 376 парах предложений с CosineSimilarityLoss, включая примеры, где смысл меняется из-за отрицания. Модель предназначена для сравнения семантической близости текстов, семантического поиска, поиска перефразировок, кластеризации и извлечения признаков для классификации. Метаданные указывают максимум контекста 512 токенов, тогда как README задаёт максимальную длину последовательности 256 токенов; для практического использования следует учитывать лимит Sentence Transformers из карточки. Для сопоставления текстов используется косинусное сходство. В карточке нет отдельного указания лицензии или дополнительных ограничений. Базовая модель описана как англоязычный энкодер; поддержка других языков не подтверждена.
textattack/distilbert-base-uncased-QQP — модель классификации текста, созданная TextAttack на основе DistilBERT. Она дообучена для определения, задают ли два вопроса на английском языке один и тот же вопрос; подходит для поиска дубликатов и выявления перефразированных вопросов. Архитектура — DistilBertForSequenceClassification, контекст — до 512 токенов. Модель доступна в формате PyTorch. Карточка Hugging Face не содержит описания лицензии, поэтому условия использования здесь не уточняются.
Карточка модели brahim-23/eu-pii-anonimization-multilang на Hugging Face совпадает с карточкой bardsai/eu-pii-anonimization-multilang, поэтому описание составлено по ней. Многоязычная модель bards.ai для обнаружения и разметки персональных и чувствительных данных в тексте, предназначенная для последующего обезличивания. Она основана на XLM-RoBERTa-base и дообучена для классификации токенов с BIO-метками; охватывает 36 классов сущностей, включая идентификационные и контактные данные, финансовые и технические идентификаторы, сведения о здоровье, биометрические и генетические данные, а также специальные категории GDPR. Модель рассчитана на 24 официальных языка ЕС. Доступны веса Safetensors и ONNX, включая версию ONNX с INT8-квантизацией для CPU; размер модели — 305,2 млн параметров, контекст — до 514 токенов. Подходит для поиска данных перед сохранением документов, писем, обращений и переписок, очистки наборов данных и фильтрации текста в RAG-конвейерах и поисковых индексах. Лицензия — Apache-2.0. Точность зависит от языка, предметной области и качества входа; OCR-ошибки, смешение языков и неоднозначные упоминания могут ухудшать обнаружение. Для соответствия требованиям модель следует использовать как часть процесса проверки и обезличивания, а не как самостоятельную гарантию юридической достаточности.
EXAONE-4.5-33B-GGUF — квантованная версия открытой мультимодальной модели EXAONE 4.5, разработанной LG AI Research. Модель объединяет причинную языковую модель и специализированный визуальный энкодер и предназначена для работы с текстом и изображениями, включая понимание документов, визуальные вопросы и ответы, мультимодальное рассуждение и задачи на корейском языке. Модель имеет 33 млрд параметров, из которых 31,7 млрд приходятся на языковую часть и 1,29 млрд — на визуальный энкодер. Используется плотная архитектура с 64 основными слоями и одним MTP-слоем, гибридным вниманием, включающим локальное sliding window attention и глобальное внимание, а также Grouped Query Attention в визуальном энкодере. Контекст поддерживает до 262 144 токенов, размер скрытого представления составляет 5120, словарь — 153 600 токенов. Заявлены языки: английский, корейский, испанский, немецкий, японский и вьетнамский. Дата отсечения знаний — декабрь 2024 года. Сильными сторонами модели являются мультимодальность, понимание документов, корейское контекстное рассуждение и конкурентные результаты на общих и визуально-языковых бенчмарках. Версия GGUF доступна с квантованиями языковой модели Q8_0, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS; веса визуального энкодера представлены в форматах F32, F16 и BF16. Ограничения включают зависимость качества от выбранного уровня квантования и значительные требования к вычислительным ресурсам из-за размера модели. Лицензия указана как exaone; конкретные условия следует уточнять в файле LICENSE.
GLiClass large v1.0 — компактная модель классификации последовательностей, разработанная Knowledgator. Она выполняет классификацию текста без предварительного обучения на конкретных целевых наборах данных: пользователь задаёт категории, а модель относит к ним текст. По описанию автора, классификация выполняется за один проход модели, что снижает вычислительные затраты по сравнению с cross-encoder при сопоставимой производительности. Модель основана на архитектуре GLiClass и содержит 438 млн параметров. Модель предназначена для классификации тем и тональности, а также для ранжирования документов в RAG-системах. В карточке приведены результаты zero-shot оценки на наборах данных для отзывов, новостей и эмоций; качество зависит от задачи и категорий. Обучение проводилось на синтетических данных, заявлена поддержка коммерческого применения. Модель распространяется под лицензией Apache-2.0; доступны форматы Safetensors и ONNX.
GLiClass X-Base — компактная мультиязычная модель классификации последовательностей от Knowledgator, построенная на основе mdeberta-v3-base. Она выполняет классификацию по заданным категориям в zero-shot режиме, используя один проход модели; разработчики отмечают вычислительную эффективность на уровне cross-encoder-подхода. Модель предназначена для классификации тем и тональности, а также для ранжирования текстов в RAG-системах. В README приведены результаты zero-shot оценки на общих и мультиязычных наборах данных. Обучение проводилось на синтетических и лицензированных данных, разрешающих коммерческое использование; лицензия репозитория — Apache-2.0. Модель принимает текст и возвращает оценки классов, поэтому качество зависит от формулировки категорий и языка входа. Показатели на приведённых наборах различаются; перед применением в конкретной предметной области их следует проверить на собственных данных.
Hermes-2-Pro-Mixtral-4x7B — разговорная языковая модель, собранная Isotonic как смесь экспертов (MoE) с помощью LazyMergekit из четырёх копий NousResearch/Hermes-2-Pro-Mistral-7B. Модель предназначена для диалогов по инструкциям и генерации текста; поддерживает формат чата ChatML, многошаговое общение, вызов функций и структурированные ответы в JSON. В карточке указано 7,1 млрд параметров и контекст длиной до 32 768 токенов. Репозиторий содержит веса Safetensors; для 4-битного инференса README приводит ориентир около 5 ГБ видеопамяти. Модель может подойти для чат-ботов, ассистентов и сценариев с вызовом инструментов. Лицензия — Apache-2.0. Данных о поддерживаемых естественных языках и конкретных оценках качества в карточке нет.
Это турецкоязычная модель эмбеддингов предложений с двухэнкодерной архитектурой, разработанная на основе intfloat/multilingual-e5-base и дообученная контрастивным обучением на турецких NLI-триплетах. Она использует XLM-RoBERTa, mean pooling и косинусное сходство; размерность векторов — 768. Метаданные указывают 305,2 млн параметров, а базовая модель поддерживает контекст до 514 токенов; при обучении использовалась длина последовательности до 256 токенов. Модель предназначена для семантического поиска и извлечения фрагментов для RAG, оценки сходства предложений, поиска перефразировок и дубликатов, кластеризации и получения признаков для классификаторов на турецком языке. Для запросов используется префикс «query: », для документов — «passage: »; в задачах с симметричным сравнением обеим сторонам задают «query: ». Модель лучше приспособлена к турецким текстам, чем к другим языкам, несмотря на многоязычную основу. Обучающие данные получены машинным переводом набора AllNLI, поэтому в модели могут сохраняться артефакты перевода. Для длинных документов рекомендуется разбивать текст на фрагменты; для переранжирования с перекрёстным вниманием эта модель не предназначена. Результаты на научных и финансовых текстах слабее, а в чувствительных сценариях необходима проверка человеком. Лицензия — CC BY-SA 4.0.