I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельBonsai-2-27B-Ternary-JANG — мультимодальная модель с плотной архитектурой Qwen3.8-27B, подготовленная OsaurusAI как JANG-affine-перепаковка тернарных весов Prism ML. Модель предназначена для диалогов и рассуждений с текстом, а также обработки изображений и видео; в комплекте сохранены шаблон чата Qwen3.8, обработчики изображений и видео и интерфейс вызова инструментов. Текстовые веса исходной модели сохранены без повторной квантизации: 402 модуля используют тернарные значения в 2-битных слотах с группами размера 128. Некоторые линейные слои зрения хранятся в 6-битном формате, а ряд других параметров — в исходной точности. Архитектура включает 64 блока: 48 GatedDeltaNet и 16 блоков полного внимания. Для корректной работы необходим загрузчик с поддержкой JANG Hadamard; стандартные загрузчики mlx_lm и mlx_vlm могут выдавать неверные результаты. Модель распространяется по лицензии Apache-2.0.
cadet-embed-base-v1 — плотная BERT-base модель для создания текстовых эмбеддингов и поиска релевантных фрагментов. Разработана Manveer Singh Tamber и соавторами; дообучена на базе intfloat/e5-base-unsupervised с помощью листовой дистилляции от cross-encoder моделей RankT5-3B и BAAI/bge-reranker-v2.5-gemma2-lightweight. Для обучения использованы синтетические запросы, созданные Llama 3.1 8B, и более 400 тысяч фрагментов из MSMARCO, DBPedia и Wikipedia. Модель предназначена для плотного поиска: сопоставления запросов с документами и отбора релевантных фрагментов. Она содержит 136,7 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Карточка указывает английский язык. Веса опубликованы в формате safetensors по лицензии Apache-2.0. README характеризует качество поиска как высокое, но не приводит количественных результатов оценки.
anaghaj111/codebert-base-code-embed-mrl-langchain-langgraph — англоязычная модель Sentence Transformers, дообученная на базе shubharuidas/codebert-embed-base-dense-retriever. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для вычисления семантического сходства и поиска по смыслу. Архитектура основана на RoBERTa с усреднением токенных представлений; сходство оценивается косинусной мерой. Модель содержит 151,8 млн параметров и принимает последовательности длиной до 514 токенов по метаданным; в README указан предел 512 токенов. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и подготовки признаков для классификации текста. Обучение с Matryoshka Loss позволяет использовать усечённые векторы меньшей размерности; в README приведены результаты поиска для размерностей от 64 до 768 на небольшом наборе из 180 обучающих примеров. Лицензия — Apache-2.0. Результаты на малом наборе не гарантируют качество на других данных; заявленная поддержка языка — английский.
Карточка модели Tool-COLT/contriever-base-msmarco-v1-ToolBenchG2 на Hugging Face совпадает с карточкой MassTool/contriever-base-msmarco-v1-ToolBenchG2, поэтому описание составлено по ней. MassTool/contriever-base-msmarco-v1-ToolBenchG2 — модель Sentence-Transformers на базе архитектуры BERT, преобразующая предложения и абзацы в плотные векторы размерности 768. Она предназначена для поиска семантически близких текстов, семантического поиска и кластеризации. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторные представления; в README также описано обучение с MultipleNegativesRankingLoss и косинусным сходством. Данных о целевых языках и специализации на конкретной предметной области нет.
Это GGUF-квантизированная версия языковой модели cogito-v1-preview-qwen-32B, разработанной deepcogito и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Она может применяться для диалогов, написания и преобразования текста, а также других сценариев текстовой генерации, поддерживаемых базовой моделью. Модель содержит около 32 млрд параметров и доступна в вариантах от BF16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix, что позволяет уменьшить требования к памяти при сохранении высокого качества; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены автором как рекомендуемые, а Q3 предназначены для систем с ограниченным объёмом RAM и дают более низкое качество. В README не указаны поддерживаемые языки, размер контекста, мультимодальные возможности и специализированные ограничения базовой модели. Для работы следует использовать формат prompt с маркерами ролей ChatML. Модель распространяется по лицензии Apache-2.0.
DETree Embedding — дообученный энкодер RoBERTa-large для получения векторных представлений предложений. Модель разработана автором репозитория heyongxin233 на основе FacebookAI/roberta-large и формирует эмбеддинги размерности 1024. Модель предназначена для извлечения признаков и представления текста в виде эмбеддингов, которые можно использовать в задачах поиска и сравнения предложений. Максимальная длина последовательности составляет 512 токенов; в метаданных указан контекст 514 токенов. Модель принимает текст и выдаёт векторы. Лицензия — MIT.
Danica Fisher дообучила англоязычный Sentence Transformer на базе sentence-transformers/all-MiniLM-L6-v2. Модель кодирует предложения и абзацы в плотные семантические векторы размерности 384; архитектура включает энкодер BERT, усреднение токенов и нормализацию. Для сравнения векторов используется косинусное сходство. В метаданных указаны 25,9 млн параметров и контекст до 512 токенов, а в README — максимальная длина последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и получения признаков для классификации. Обучение описано как дообучение на 180 парах предложений с MultipleNegativesRankingLoss. Карточка не сообщает о специализированной поддержке русского языка, поэтому основное применение следует ориентировать на английский текст. Лицензия в предоставленных данных не указана.
Dolphin 2.6 Mistral 7B GGUF — это квантизированная версия языковой модели Dolphin 2.6 Mistral, разработанной Cognitive Computations и преобразованной в формат GGUF компанией Second State Inc. Модель основана на cognitivecomputations/dolphin-2.6-mistral-7b и предназначена для локального запуска в приложениях и сервисах, поддерживающих GGUF, включая LlamaEdge. Модель относится к текстовым языковым моделям, работает на английском языке и поддерживает контекст до 4096 токенов. Для взаимодействия используется шаблон ChatML. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 3,08 до 7,7 ГБ. Вариант Q4_K_M заявлен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S обеспечивают меньшее снижение качества при большем размере. К сильным сторонам относятся возможность локального развертывания, широкий выбор уровней квантования и адаптация для диалоговых и инструкционных сценариев. Ограничения включают англоязычную специализацию, контекст в 4096 токенов и неизбежную потерю качества при более агрессивном квантовании; вариант Q2_K прямо не рекомендуется для большинства задач. Модель распространяется по лицензии Apache-2.0.
DoubleBagel-57B-v1.0 — объединённая языковая модель семейства Llama, созданная с помощью mergekit из предварительно обученной модели jondurbin_bagel-34b-v0.2. Модель содержит 56,2 млрд параметров, использует архитектуру LlamaForCausalLM и рассчитана на генерацию текста и диалоговое взаимодействие с контекстом до 200 000 токенов. Модель можно применять для диалогов и генерации текста с длинным контекстом. Веса опубликованы в формате safetensors, библиотека для работы — Transformers. Лицензия — Apache-2.0.
Dracarys-Llama-3.1-70B-Instruct-GGUF — это квантованные версии инструкционной языковой модели Dracarys-Llama-3.1-70B-Instruct, разработанной AbacusAI. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на запросы и другие задачи, поддерживаемые текстовыми LLM. Варианты подготовлены пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix; запуск рекомендуется через LM Studio или совместимое программное обеспечение. Модель основана на архитектуре Llama 3.1 и содержит 70 миллиардов параметров. Доступны уровни квантования от Q8_0 до IQ1_M, что позволяет выбирать между качеством ответов и требованиями к оперативной памяти: наиболее качественными считаются Q6_K, Q5_K_M и ряд вариантов Q4, тогда как версии Q2 и Q3 заметно уступают по качеству, хотя некоторые из них остаются пригодными для использования. Размер файлов составляет примерно от 16,75 до 74,98 ГБ. Мультимодальность, поддерживаемые языки и размер контекстного окна в README не указаны. Основные преимущества — большой размер модели, инструкционная настройка и широкий выбор квантований для локального запуска. Ограничения связаны с высокими требованиями к памяти, особенно для качественных вариантов, а также с потерей качества при сильном квантовании. Для корректной работы следует использовать указанный формат prompt с системным, пользовательским и ассистентским сообщениями. Лицензия указана как llama3; дополнительные условия лицензии в README не приведены.
E5-small-v2-4096 — версия модели текстовых эмбеддингов intfloat/e5-small-v2 с архитектурой Local-Sparse-Global, опубликованная efederici. Модель кодирует запросы и фрагменты текста в векторы для сравнения семантической близости и ранжирования; в README приведён пример для набора MS MARCO Passage Ranking. Модель основана на BERT и содержит около 40 млн параметров. Заявлена поддержка контекста до 4096 токенов и английского языка. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
EuroLLM-9B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели EuroLLM-9B-Instruct, разработанной проектом utter-project и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение инструкций и локальный запуск через совместимые приложения, например LM Studio. Модель имеет около 9 миллиардов параметров и поддерживает широкий набор языков, включая английский, немецкий, испанский, французский, итальянский, португальский, польский, русский, украинский, китайский, японский, корейский, арабский и хинди. Мультимодальные возможности и размер контекста в README не указаны. Доступны варианты от F16 до Q2_K_L, различающиеся размером файлов, требованиями к памяти и качеством: старшие варианты обеспечивают качество, близкое к исходной модели, а младшие подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. Модель удобна для локального инференса благодаря большому выбору квантизаций; рекомендованным вариантом по умолчанию назван Q4_K_M, а для максимального качества — Q6_K или Q6_K_L. Некоторые варианты оптимизированы для ARM или AVX и имеют ограничения совместимости, в частности отдельные сборки не рекомендуются для Mac или GPU. Лицензия — Apache-2.0.
Это версия Whisper large-v3, дообученной автором базовой модели и преобразованной в формат CTranslate2 для запуска через библиотеку faster-whisper. Модель предназначена для автоматического распознавания речи и транскрибирования аудиозаписей, в том числе в сценариях реального времени, пакетной обработки и высоконагруженных API. В карточке заявлены ускорение вывода до 4 раз и снижение потребления памяти; фактические показатели зависят от оборудования и длины аудио. Используется точность float16. README связывает исходное дообучение с Common Voice и L2 Arctic, но не приводит метрик качества или подробностей языкового и акцентного покрытия. Метаданные указывают английский язык. Лицензия — Apache-2.0.
kimquynh/finetuned_sbert_2 — модель Sentence Transformers, дообученная автором на базе BAAI/bge-base-en-v1.5 для получения эмбеддингов предложений и абзацев. Архитектура основана на BERT: векторное представление размерности 768 формируется с помощью CLS-пулинга и нормализации; сходство можно оценивать косинусной мерой. Модель принимает текст, поддерживает последовательности длиной до 512 токенов и предназначена, в частности, для поиска по смыслу и извлечения релевантных текстов. В README приведены оценки на задаче сравнения резюме и вакансий: Spearman для косинусного сходства — 0,4624, точность бинарной классификации — 0,711, F1 — 0,767. Базовая модель англоязычная, поэтому основное применение рассчитано на английский текст. Лицензия в предоставленных данных не указана.
SanctumAI/gemma-2-9b-it-GGUF — квантизированная GGUF-версия Gemma 2 9B IT, разработанной Google и подготовленной SanctumAI. Это текстовая decoder-only языковая модель с instruction tuning, предназначенная для генерации текста, диалогов, ответов на вопросы, суммирования и задач, требующих рассуждений. Модель работает с текстом и, согласно README, доступна на английском языке. Модель содержит около 9 млрд параметров. Доступны варианты квантизации Q2_K–Q8_0, а также f16; размер файлов составляет примерно от 3,81 до 18,49 ГБ, а оценочная потребность в RAM или VRAM — от 15,14 до 28,82 ГБ в зависимости от варианта. Квантизация позволяет запускать модель на ноутбуке, настольном компьютере или собственной облачной инфраструктуре при выборе подходящего формата, но более компактные варианты могут уступать по качеству менее квантизированным. Модель распространяется по лицензии Gemma. Для корректного диалога следует использовать шаблон Gemma с маркерами начала и конца хода пользователя и модели. README не указывает размер контекстного окна, мультимодальные возможности или поддержку языков помимо английского; также конкретные ограничения качества не описаны. Как и другие языковые модели, она может генерировать неточный, вредный или неподходящий контент, поэтому результаты требуют проверки.
German-RAG-UAE-LARGE-V1-TRIPLES-HESSIAN-AI — модель Sentence Transformers, разработанная командой German-RAG AI и дообученная на примерно 300 тысячах троек из набора German-RAG-EMBEDDING-TRIPLES-HESSIAN-AI. Она преобразует предложения и абзацы в плотные векторы размерности 1024; архитектура основана на BERT с объединением CLS-токена и нормализацией векторов. Максимальная длина последовательности — 512 токенов, сходство оценивается косинусной мерой. Модель предназначена для семантического поиска по немецким текстам и другим задачам сравнения и группировки текстов: поиска похожих предложений, обнаружения перефразировок, кластеризации и извлечения признаков для классификации. В карточке приведены результаты оценок на немецких наборах для поиска, классификации и семантического сходства. Модель поддерживает немецкий и английский языки; лицензия — MIT.
GLiClass Base v1.0 — компактная модель классификации последовательностей от разработчиков семейства GLiClass, вдохновлённая GLiNER. Она выполняет классификацию текста без дообучения на конкретной разметке: пользователь задаёт категории, а модель оценивает текст за один проход. В карточке указана архитектура GLiClass; веса доступны в форматах Safetensors и ONNX. Размер версии Base в README — 186 млн параметров. Модель подходит для классификации тем и тональности, а также для оценки релевантности документов в RAG-сценариях. В тестах zero-shot она показала результаты на наборах IMDB, AG_NEWS и Emotions; точность зависит от задачи и формулировок категорий. Обучение проводилось на синтетических данных. Карточка заявляет возможность коммерческого использования, а метаданные указывают лицензию Apache-2.0.
GLiClass Multilang Ultra — мультиязычная модель классификации текста от Knowledgator на архитектуре GLiClass. Она предназначена для zero-shot и few-shot классификации по заданным пользователем меткам, а также для оценки соответствия текста меткам при решении задач NLI и ранжирования релевантности. Модель поддерживает 20 языков: шведский, норвежский, чешский, польский, литовский, эстонский, латышский, испанский, финский, немецкий, французский, румынский, итальянский, португальский, нидерландский, украинский, хинди, китайский, арабский и иврит. Текст и метки могут быть на разных языках. В README указано около 1,72 млрд параметров; доступны иерархические метки, их описания и примеры для few-shot настройки. Модель подходит для тематической и тональной классификации, определения намерений, проверки следования правилам и классификации безопасности LLM. В README приведены оценки на нескольких наборах данных и сравнительные замеры скорости; фактическая производительность зависит от оборудования и задачи. Русский язык среди заявленных языков отсутствует. Лицензия — Apache-2.0.
GLM-5.3-Flash-NVFP4-FTW — подготовленный к запуску артефакт модели GLM-5.3 Flash, первоначально разработанной и опубликованной Z.ai. Версию NVFP4 выпустила Red Hat AI, FreeToken предоставил формат FTW и runtime-компоненты, SparkLab — средства подготовки и развёртывания на NVIDIA DGX Spark, а OakMind AI выполнила конвертацию, измерения и публикацию артефакта. Повторного обучения не проводилось. Модель предназначена для генерации текста и диалоговых сценариев с текстовым вводом и выводом. Она основана на Mixture-of-Experts архитектуре: содержит 320 млрд параметров, из которых 18 млрд активируются для отдельного запроса. Артефакт оптимизирован для одного NVIDIA DGX Spark с чипом Grace Blackwell GB10 и использует unified memory, хранение экспертных блоков на локальном NVMe и разреженное выполнение MoE. В исходной модели присутствуют компоненты для работы с изображениями, но в данном пути SparkLab они отключены. Приведённый профиль демонстрирует около 4,98 токена в секунду при пакетном размере 1, однако задержка зависит от NVMe-доступа и состояния кэша экспертов. К сильным сторонам относятся возможность запуска полной модели на одном DGX Spark, снижение объёма резидентных весов за счёт сочетания NVFP4 и FP8 W8A16, а также совместимые с OpenAI и Anthropic API сценарии обслуживания через SparkLab. Ограничения включают зависимость производительности от дискового ввода-вывода, заметную задержку первого запроса при холодном кэше, отсутствие активной поддержки vision-компонентов и то, что опубликованные показатели являются единичным performance-тестом, а не гарантией качества или ёмкости в любых сценариях. Лицензия в README не указана.
gte-base-zh — модель текстовых эмбеддингов семейства General Text Embeddings (GTE), разработанная Alibaba DAMO Academy на основе архитектуры BERT. Она предназначена для получения векторных представлений китайских текстов и подходит для информационного поиска, сравнения смысловой близости предложений и ранжирования текстов. Модель содержит 129,5 млн параметров и принимает последовательности длиной до 512 токенов; более длинные тексты обрезаются. Метаданные указывают на векторные представления и задачи извлечения признаков и сравнения предложений. Репозиторий содержит веса PyTorch и Safetensors. Модель распространяется по лицензии MIT.
Abiray/harrier-oss-v1-27b-GGUF — это GGUF-квантизированные версии модели эмбеддингов microsoft/harrier-oss-v1-27b, разработанные для генерации текстовых представлений и семантических векторов. Модель предназначена для задач семантического поиска, сопоставления текстов, кластеризации, классификации и других сценариев, где требуется преобразование текста в embedding-векторы. Запуск ориентирован на стандартное потребительское оборудование и CPU с использованием совместимых инструментов, включая llama.cpp. Модель содержит 27 миллиардов параметров. Доступны варианты квантизации с разрядностью 4, 5, 6 и 8 бит: Q4_K_M, Q5_K_M, Q6_K и Q8_0. Восьмибитная версия обеспечивает наиболее высокое качество и близка к FP16, а четырёхбитная имеет наименьший размер — около 16,6 ГБ — и рассчитана на запуск на системах с 24–32 ГБ оперативной памяти. С README не указаны поддерживаемые языки, максимальная длина контекста, точная архитектура, набор обучающих данных, численные показатели качества или лицензия. Сильными сторонами являются возможность локального запуска крупной embedding-модели на CPU и выбор между несколькими вариантами размера и качества. К ограничениям относятся значительные требования к памяти, особенно для старших вариантов квантизации, а также потенциальное снижение качества в более компактных версиях. Условия лицензирования в предоставленных данных не указаны.
Hermes-Mistral-Saul-Slerp — объединённая модель генерации текста, созданная с помощью mergekit из Equall/Saul-Instruct-v1 и NousResearch/Nous-Hermes-2-Mistral-7B-DPO. Она основана на архитектуре Mistral, содержит 7,1 млрд параметров и предназначена для диалогов и генерации ответов по текстовым инструкциям; поддерживает контекст длиной до 32 768 токенов. Модель объединяет навыки двух исходных чекпойнтов методом slerp. Подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста на основе инструкций. Репозиторий содержит веса в формате safetensors. Лицензия Apache-2.0.
InternLM3-8B-Instruct GGUF — квантизированная версия инструкционной языковой модели InternLM3-8B-Instruct, представленная в формате GGUF для запуска через llama.cpp. В предоставленных данных разработчик явно не указан. Модель предназначена для генерации текста и диалогового взаимодействия, включая решение математических задач, рассуждения и развёрнутые ответы в локальных или облачных средах на различном аппаратном обеспечении. Модель имеет размер 8 млрд параметров и относится к текстовым LLM; сведения о конкретной архитектуре и длине контекста не приведены. Репозиторий содержит варианты с разной точностью и уровнем квантизации, включая FP16, q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью инференса. В метаданных указан английский язык. Для работы требуется совместимый runtime, например llama.cpp, а доступные параметры запуска позволяют настраивать размер контекста, число GPU-слоёв и длину генерируемого ответа. Сильными сторонами модели являются возможность локального запуска, поддержка широкого спектра аппаратных платформ и наличие нескольких вариантов квантизации. Ограничения включают зависимость качества и скорости от выбранной точности и оборудования, а также отсутствие в предоставленных материалах подробных результатов тестирования, перечня поддерживаемых языков и характеристик безопасности. Модель распространяется по лицензии Apache-2.0.
Kazakh Whisper Large-v3 Turbo — модель распознавания речи на казахском языке, созданная автором репозитория shyngys879 путём дообучения Whisper Large-v3 Turbo от OpenAI. Это модель семейства Whisper с архитектурой encoder-decoder; она принимает аудио и выдаёт текстовую расшифровку. Чекпойнт предназначен для использования через Transformers и Hugging Face pipelines без LoRA-адаптера или специального кода загрузки. Модель обучена на смеси публичных казахских речевых наборов: README сообщает о 841 113 обучающих примерах и более чем 1 500 часах речи. Среди сценариев — транскрибация записей, создание субтитров, расшифровка подкастов, интервью и встреч, а также подготовка речевых данных и обработка звонков. В тесте FLEURS для казахского языка указаны WER 11,80% и CER 4,98%; результаты относятся к описанному набору оценивания. Качество может снижаться при сильном фоновом шуме, перекрывающихся голосах, выраженных акцентах и диалектах, смешении казахского с русским, записях с преобладанием музыки и обработке очень длинного аудио без сегментации. README рекомендует подавать аудио с частотой 16 кГц и разбивать длинные записи на фрагменты. Модель распространяется по лицензии Apache-2.0.
kimbyl разработал Sentence Transformer на основе kimbyl/klue-roberta-base-klue-sts, дообучив его для получения векторных представлений предложений и абзацев. Модель использует энкодер RoBERTa с усреднением токенных представлений и формирует плотные векторы размерности 768; сходство между ними можно оценивать косинусной мерой. Максимальная длина последовательности — 512 токенов. Модель предназначена для семантического сравнения текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Примеры обучающих данных и описание датасета указывают на поддержку корейского языка; в README приведена оценка сходства с коэффициентом Спирмена 0,8304 на использованной оценке. Лицензия в предоставленных данных не указана.
Это Sentence Transformer на базе RoBERTa, разработанный автором byKim93 и дообученный на базе byKim93/klue-roberta-base-klue-sts-2. Модель преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения смысловой близости текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Для оценки близости используется косинусное сходство. Архитектура включает RobertaModel и усредняющий пулинг токенов; число параметров — 137,8 млн. Максимальная длина последовательности составляет 512 токенов в README и 514 контекстных токенов по метаданным. README приводит результаты оценки сходства: Spearman 0,8454 и Pearson 0,8517. Данные обучения и примеры в карточке на корейском языке; метаданные не подтверждают поддержку других языков. Репозиторий содержит веса в формате safetensors и опубликован под лицензией, указанной в метаданных Hugging Face.
jeongeunKJ/ko-sbert-custom-v1 — корейская модель Sentence-Transformers на архитектуре BERT, дообученная на snunlp/KR-SBERT-V40K-klueNLI-augSTS. Она преобразует предложения и абзацы в плотные векторы размерности 768, используя усреднение токенных представлений; сходство векторов оценивается косинусной мерой. Модель содержит 144 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска и сравнения корейских текстов, поиска перефразирований, кластеризации и классификации. В README указана небольшая обучающая выборка из 4361 пары предложений с оценками сходства и обучение с CosineSimilarityLoss. Лицензия в предоставленных данных не указана.
thumbCrush/ko-sroberta-base-longformer — дообученная модель Sentence Transformers на базе cateto/longformer-ko-sroberta-multitask-23040. Она использует архитектуру RoBERTa с усреднением токенных представлений и преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения по косинусному сходству. Модель содержит 137,8 млн параметров и рассчитана на длинный контекст: метаданные указывают 23 042 токена, а README — максимальную длину последовательности 10 000 токенов. Модель предназначена для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и классификации текстов. Название и базовая модель указывают на ориентацию на корейский язык; отдельные языки в метаданных не перечислены. Модель принимает текст и выдаёт векторы, пригодные для поиска и сравнения. Лицензия в предоставленных данных не указана.
ko-sroberta-multitask — корейская модель эмбеддингов предложений на базе архитектуры RoBERTa, опубликованная jhgan. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 137,8 млн параметров и принимает контекст до 514 токенов. Модель обучалась в режиме нескольких задач на наборах KorSTS и KorNLI; в README приведены результаты оценки на KorSTS. Она предназначена прежде всего для корейского языка. Для использования в Transformers поверх выходов модели требуется применить подходящую операцию pooling; доступны форматы PyTorch, TensorFlow, ONNX и OpenVINO. Сведения о лицензии в предоставленных материалах отсутствуют.
djuna/L3.1-Purosani — языковая чат-модель на архитектуре Llama, созданная объединением нескольких предварительно обученных моделей с помощью mergekit и метода della_linear. В основу слияния вошли arcee-ai/Llama-3.1-SuperNova-Lite и grimjim/Llama-3-Instruct-abliteration-LoRA-8B; также в объединении использованы модели для вычислений, длинных текстов и диалогов. Число параметров составляет 7,5 млрд, заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста в диалоге и выполнения инструкций. Она работает с текстом и может применяться для ответов на вопросы, составления и продолжения текстов, а также обработки длинных запросов. В метаданных указаны библиотека Transformers и формат весов safetensors. Лицензия в предоставленных данных не указана.