I.14Автоматизация процессов и AI-агенты

embeddinggemma-300m-GGUF — это модель для создания векторных представлений текста, основанная на google/embeddinggemma-300m. Исходную модель разработала Google, а GGUF-версии подготовила Second State Inc. Модель предназначена для задач семантического сходства и других сценариев, где требуется сравнивать тексты по смыслу, включая поиск и работу с векторными индексами. Модель поддерживает запуск через sentence-transformers и LlamaEdge, использует специальный режим embedding и имеет контекстное окно 2048 токенов. Доступны варианты размерности эмбеддингов 128, 256, 512 и 768. Репозиторий содержит квантованные GGUF-файлы размером примерно от 212 до 329 МБ, а также версию f16 размером 616 МБ. Квантование уменьшает требования к ресурсам, но может снижать качество: Q4_K_M, Q5_K_M и Q5_K_S обозначены как сбалансированные или рекомендуемые варианты, тогда как наиболее компактные версии имеют существенные потери качества. README не содержит сведений о поддерживаемых языках, точной архитектуре, составе модальностей или конкретных наборах данных обучения. Модель распространяется по лицензии Gemma; условия лицензии следует учитывать при использовании.

EvaByte-Phase1 — базовая авторегрессионная языковая модель на 6,5 млрд параметров от команды авторов EvaByte. Она использует байтовое представление текста, улучшенную архитектуру с предсказанием нескольких байтов и эффективный механизм внимания EVA. Модель предварительно обучена на 1,2 трлн байтов данных; в обучающий корпус входили естественные языки, математика и код. Модель предназначена для генерации продолжений текста, ответов в диалоге и задач с кодом. Она поддерживает контекст до 32 768 токенов и может генерировать по одному байту или использовать режим многобайтовой генерации. По данным карточки, EvaByte показывает результаты, сопоставимые с открытыми токенизаторными языковыми моделями при меньшем объёме обучающих данных и обеспечивает более быстрое декодирование. Лицензия — Apache-2.0. Это чекпойнт первой фазы обучения: последующие версии EvaByte прошли дополнительные этапы дообучения и объединения, поэтому возможности финальной версии не следует автоматически приписывать Phase1.

Parallia разработала FMMB-BE-NL — одноязычную нидерландскую версию модели Sentence Transformers для получения эмбеддингов текста. Она основана на ModernBERT и содержит 148,7 млн параметров. Модель преобразует предложения и абзацы длиной до 8192 токенов в плотные векторы размерности 768; для сравнения векторов подходит косинусная близость. В README указано, что веса совпадают с исходной многоязычной моделью FMMB-BE, а эта версия использует нидерландский токенизатор и соответствующую таблицу эмбеддингов. Модель обучена на параллельных предложениях на английском, французском, нидерландском и немецком языках. Её можно применять для семантического поиска, сравнения сходства предложений, поиска перефразировок, кластеризации и классификации текста. Лицензия — Apache-2.0. Карточка рекомендует использовать актуальную версию библиотеки Transformers с поддержкой ModernBERT.

Nhat1904/Final-32shots-Twitter-Skhead-Train — модель Sentence Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений. Обучение использовало CosineSimilarityLoss. Модель принимает текст и выдаёт векторные представления, которые можно использовать для семантического поиска и оценки сходства. Контекст ограничен 514 токенами. Репозиторий содержит веса PyTorch; сведения о лицензии и целевых языках в предоставленных данных отсутствуют.

Это Sentence Transformer на архитектуре MPNet, созданный Sahith Kumar дообучением microsoft/mpnet-base на наборе из 800 примеров с тройками anchor, positive и negative. Модель преобразует предложения и абзацы в плотные векторы размерности 768 и сравнивает их с помощью косинусного сходства; максимальная длина входа составляет 512 токенов (метаданные указывают 514 токенов). В репозитории веса представлены в формате safetensors, для работы используется библиотека Sentence Transformers. Модель предназначена для поиска семантически близких текстов, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. README сообщает о точности cosine_accuracy 0,98 на двух тестовых наборах, однако описание не уточняет состав и размер этих наборов. Обучающие примеры связаны с научными текстами о тактильных датчиках, поэтому качество на иных темах и языках может отличаться; сведения о лицензии в предоставленных данных отсутствуют.

Nessrine9/finetuned2-snli-MiniLM-L12-v2 — дообученная модель Sentence Transformers на базе sentence-transformers/all-MiniLM-L12-v2. Она кодирует предложения и абзацы в нормализованные плотные векторы размерности 384; архитектура включает BertModel, усреднение токенных представлений и нормализацию. Модель предназначена для оценки семантического сходства по косинусному расстоянию, семантического поиска, поиска перефразировок, кластеризации и классификации текста. В карточке указано обучение на 100 000 пар предложений с оценками сходства; максимальная длина последовательности в README — 128 токенов, а метаданные указывают контекст 512 токенов. Базовая модель англоязычная, поэтому основное применение — англоязычный текст. Модель подходит для создания эмбеддингов коротких текстов и сравнения их смысла, но доступные результаты на SNLI-dev умеренные: Spearman cosine 0,4779. Лицензионные условия в предоставленных данных не описаны.

DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-MISTRAL-notrescaled_28000 — модель Sentence-Transformers на основе RoBERTa, разработанная DragosGorduza. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель содержит 151,8 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Модель подходит для построения поиска по смыслу и группировки текстов по семантической близости. В README указано обучение с MarginDistillationLoss. Доступны веса в формате safetensors; для использования README рекомендует Sentence-Transformers либо Transformers с соответствующим pooling. Лицензия в предоставленных данных не указана.

Gemini 3.1 Flash Lite Preview — предварительная высокоэффективная модель Google, оптимизированная для сценариев с большим объёмом запросов. По карточке она превосходит Gemini 2.5 Flash Lite по общему качеству и приближается к Gemini 2.5 Flash. Модель предназначена для задач с текстом и изображениями; в метаданных каталога её задача указана как image-text-to-text. Слово Preview указывает на предварительный статус версии. Сведения о размере, длине контекста, поддерживаемых языках и лицензии в предоставленных данных отсутствуют.

Карточка модели Mimoniske/gemma-3-it-vl-40B-Gemini-Heretic-Uncensored-Thinking на Hugging Face совпадает с карточкой DavidAU/gemma-3-it-vl-40B-Gemini-Heretic-Uncensored-Thinking, поэтому описание составлено по ней. Это мультимодальная чат-модель DavidAU на архитектуре Gemma 3: исходную Gemma 3 27B IT-VL расширили до плотной модели на 40 млрд параметров, а затем дообучили с помощью Unsloth на наборе Gemini reasoning. По описанию автора, дообучение добавляет пошаговое рассуждение; модель также рассчитана на творческое письмо, ролевые сценарии, генерацию кода и работу с изображениями. Карточка заявляет контекст до 128K токенов и проверку обработки изображений и генерации кода. Модель принимает текст и изображения, отвечает текстом и ориентирована прежде всего на английский и китайский языки. Автор позиционирует её как модель с ослабленными ограничениями на генерируемый контент; ответы могут быть резкими, содержать ненормативную лексику или графические описания. В отдельных случаях модель может переключаться в режим инструкций; автор рекомендует явно просить её рассуждать, если это происходит. Распространяется по лицензии Apache-2.0.

akot/german-semantic-bmf-matryoshka — Sentence Transformers-модель, дообученная на основе aari1995/German_Semantic_V3. Архитектура использует JinaBertModel с пулингом CLS-токена; модель преобразует немецкие предложения и абзацы в плотные векторы размерностью 1024 для сравнения по косинусному сходству. В README максимальная длина последовательности указана как 1024 токена, а метаданные каталога указывают нативный контекст до 8192 токенов. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразирований, кластеризации и классификации текста. Обучение использовало MatryoshkaLoss и MultipleNegativesRankingLoss на наборе из 4 957 примеров; поддерживаются сокращённые размерности эмбеддингов. В README приведены результаты оценки поиска для нескольких размерностей, но качество зависит от данных и сценария применения. Лицензия в предоставленных данных не указана.

Tech2wild/GLM-5.3-Int4-Int8Mix — это смешанная квантованная версия GLM-5.3, разработанной zai-org. Модель основана на архитектуре glm5_next и представляет собой MoE-модель общим размером 743 млрд параметров, из которых около 40 млрд активируются для одного запроса. Она предназначена для генерации текста и запуска через Transformers и vLLM в формате compressed-tensors, прежде всего на конфигурации из четырёх NVIDIA DGX Spark с графическими процессорами GB10. Квантование выполнено без калибровочных данных по схеме статического симметричного weight-only mixed precision с размером группы 128. Основная масса MoE-экспертов использует W4A16, а плотные слои и attention — W8A16; маршрутизаторы, компоненты sparse attention, выходная голова и ряд служебных блоков сохранены в полной точности. Исходная модель поддерживает контекст до 1 млн токенов, однако в приведённой конфигурации заявлен запуск с длиной до 131 072 токенов и возможность расширения примерно до 600 000 токенов с Decode Context Parallel. Модель ориентирована на длинноконтекстную генерацию, многопоточную подачу запросов и speculative decoding с совместимым DFlash2-драфтером. Ключевое преимущество — уменьшенный объём весов около 378 ГБ, что позволяет обслуживать модель на четырёх DGX Spark с запасом памяти под KV-кэш; заявлена производительность до 46,03 токена в секунду при шести одновременных потоках. Ограничения включают очень высокие требования к памяти и необходимость tensor parallelism, а для GB10/sm121 — специальных kernel overlays для sparse MLA и FP8 KV. Четырёхбитное квантование даёт заметную численную погрешность, поэтому сохранение критичных компонентов в BF16 важно для качества. Лицензия указана как glm-5.3; подробные условия доступны по ссылке на лицензию базовой модели zai-org/GLM-5.3.

majentik/harrier-oss-v1-270m-MLX-4bit — 4-битная квантованная версия мультиязычной модели текстовых эмбеддингов Microsoft microsoft/harrier-oss-v1-270m, подготовленная для Apple Silicon и запуска через mlx-embeddings. Модель основана на декодерной архитектуре Gemma3 с 257 млн параметров по метаданным и контекстом до 32 768 токенов. Для получения эмбеддингов используются pooling по последнему токену и L2-нормализация. Модель предназначена для поиска по смыслу, сравнения предложений, семантического поиска и межъязыкового сопоставления текстов. Базовая модель обучена с инструкционными префиксами для поисковых запросов, семантической текстовой близости и поиска параллельных текстов; заявлена поддержка более 100 языков. Для базовой версии указана оценка MTEB v2 66,5, однако квантованная версия независимо не оценивалась, поэтому её результаты могут отличаться. В README описан локальный патч совместимости для обработки отсутствующей проекционной головы. Репозиторий распространяется по лицензии MIT.

RabidUmarell/hubert-embedding-paraphrase-multilingual — модель на базе архитектуры BERT, созданная для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений; использовать её можно через Sentence-Transformers или Transformers с подходящей операцией pooling. Модель содержит 137,8 млн параметров и принимает последовательности длиной до 512 токенов. Модель выдаёт текстовые эмбеддинги, пригодные для семантического поиска и группировки похожих высказываний. В карточке она названа многоязычной, однако конкретные языки и результаты оценки не приведены. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

danfeg/IF-E5-L-M_Finetuned-FR-1000 — модель эмбеддингов предложений на архитектуре XLM-RoBERTa, опубликованная в формате Sentence-Transformers. Она кодирует предложения и абзацы в плотные векторы размерности 1024 для поиска по смыслу, кластеризации и сравнения текстов. В метаданных указано около 658,7 млн параметров и контекст длиной 514 токенов. Модель обучалась с функцией потерь CosineSimilarityLoss; название репозитория указывает на дообучение для французского языка, но README не уточняет состав обучающих данных или результаты оценки. Она принимает текст и возвращает векторы, которые можно использовать для семантического поиска и группировки похожих фрагментов. Лицензия в предоставленных данных не указана.

carles-undergrad-thesis/indoBERT-Knowledge-distillation-en-id-SBERT — модель Sentence-Transformers на архитектуре BERT, которая преобразует предложения и абзацы в плотные векторы размерности 768. Её можно применять для семантического поиска, кластеризации и сравнения сходства текстов. Модель принимает текст и выдаёт эмбеддинги; в метаданных также указаны задачи извлечения признаков и сравнения сходства предложений. Максимальная длина контекста — 512 токенов, всего 194,6 млн параметров. Для использования через Transformers после получения контекстных представлений требуется подходящая операция pooling. Репозиторий содержит веса в формате safetensors. Название указывает на дистилляцию IndoBERT для английского и индонезийского языков и на применение SBERT, однако базовая модель и языковая область прямо не подтверждены приведёнными метаданными и README. Лицензия в предоставленных данных не указана.

Jan-v3-4B-base-instruct-gguf — компактная каузальная языковая модель примерно на 4 млрд параметров, разработанная Jan (Jan HQ). Модель получена методом дистилляции после обучения от более крупной модели-учителя с последующим предварительным и постобучением. Она предназначена для общего использования, улучшенного следования инструкциям, локального развёртывания, дообучения под прикладные задачи и лёгкой помощи в программировании. Модель содержит 36 слоёв и использует Grouped-Query Attention (GQA) с 32 головами для запросов и 8 для ключей и значений. Заявлена нативная длина контекста до 262 144 токенов. Указан английский язык; модель работает с текстом, а тег code и описание допускают сценарии кодирования, однако специализированная кодовая версия Jan-Code в README ещё не выпущена. GGUF-версия предназначена для запуска через llama.cpp и интеграции с Jan Desktop; также описан вариант использования через vLLM. Сильными сторонами являются компактный размер, пригодность для локального использования и дообучения, улучшенное следование инструкциям и большой контекст. Ограничения включают отсутствие подробных данных о качестве на конкретных бенчмарках, языковой поддержке за пределами английского и мультимодальных возможностях. Модель распространяется по лицензии Apache 2.0.

KatzBot MiniLLM ST — компактная модель эмбеддингов на базе архитектуры BERT, опубликованная пользователем codegood. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для поиска семантически близких текстов, кластеризации и измерения сходства предложений. Модель обучалась с BatchHardTripletLoss на датасете codegood/Katzbot. Модель содержит 25,9 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторы. Доступна в формате safetensors для библиотеки sentence-transformers. README не уточняет поддерживаемые естественные языки и лицензию, поэтому область применения по языкам и условия использования определить нельзя.

Это производный чекпойнт DeepSeek-V4.1-Flash, опубликованный drowzeys и подготовленный для запуска на компьютере Mac Studio с M3 Ultra и 256 ГБ памяти через oMLX и MLX. В README описана модель DeepSeek-V4.1-Flash размером 763 млрд параметров с архитектурой MoE и разреженным вниманием; для этого варианта веса маршрутизируемых экспертов в 27 из 40 слоёв переквантованы с 3 до 2 бит, чтобы снизить занимаемую память. Метаданные указывают формат safetensors и базовый репозиторий Jundot/DeepSeek-V4.1-Flash-oQ3e-mtp. Модель предназначена для генерации текста, в том числе кода и длинных ответов, с запуском локально на Apple Silicon. README сообщает о проверке контекста до 404 805 токенов и приводит замеры скорости для прозы и кода на конкретной конфигурации M3 Ultra. Для работы требуются значительный объём объединённой памяти и настройка системного лимита памяти GPU; описаны также ограничения пропускной способности при параллельных запросах и снижение точности спекулятивного декодирования из-за квантизации. Лицензия в предоставленных данных не указана.

Luminea — объединённая диалоговая языковая модель на архитектуре Llama, созданная автором репозитория с помощью mergekit и метода Model Stock. В качестве базовой модели использована NousResearch/Meta-Llama-3.1-70B-Instruct; в объединение также вошли NeverSleep/Lumimaid-v0.2-70B и nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Модель содержит 69,5 млрд параметров, принимает текстовые запросы и генерирует текст. Она предназначена для диалогов, ответов на инструкции и запросы; заявленная длина контекста — 131 072 токена. Репозиторий использует Transformers и формат safetensors. Качество ответов и ограничения отдельно в карточке не описаны. Лицензия в предоставленных данных отсутствует.

unsloth/Llama-3.2-1B-Instruct-unsloth-bnb-4bit — это 4-битная динамически квантованная версия инструкционной модели Meta Llama 3.2 1B Instruct, подготовленная Unsloth и совместимая с Transformers. Базовая модель разработана Meta; вариант предназначен для генерации текста и диалоговых сценариев, включая мультиязычные чаты, извлечение данных агентами и суммаризацию. Модель использует авторегрессионную архитектуру оптимизированного Transformer с Grouped-Query Attention (GQA). Она относится к семейству моделей размером 1B параметров, работает в режиме текст на входе — текст на выходе и официально поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Инструкционная версия дополнительно обучалась с помощью SFT и RLHF для повышения полезности и безопасности. Размер контекста в README не указан. Ключевое преимущество варианта — динамическое 4-битное квантование Unsloth, при котором отдельные параметры сохраняются без квантования для улучшения точности по сравнению со стандартным 4-битным форматом и снижения требований к памяти. Ограничения включают меньший размер и, соответственно, более ограниченные возможности по сравнению с крупными моделями, а также отсутствие данных о контекстном окне и подробных результатах оценки именно этой квантованной версии. Использование регулируется Llama 3.2 Community License и Acceptable Use Policy; точные условия следует проверять в лицензии Meta.

Карточка модели alpindale/Llama-3.2-90B-Vision на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-90B-Vision, поэтому описание составлено по ней. Llama 3.2 90B Vision — мультимодальная модель Meta для анализа изображений и генерации ответов на текстовые запросы о них. Она построена на авторегрессионной архитектуре Transformer семейства Llama 3.1 и использует отдельно обученный адаптер зрения с cross-attention, который передаёт представления изображений в языковую модель. Размер модели — 90B параметров; она принимает текст и изображения и выдаёт текст, поддерживает контекст длиной до 128 тыс. токенов. Модель предназначена для визуального распознавания и рассуждений, описания изображений, ответов на вопросы по изображениям и диалогов с визуальным содержимым. Также в карточке указаны сценарии DocVQA, поиска соответствий между изображениями и текстом, а также визуального заземления языковых описаний на объекты или области изображения. Для приложений с изображениями и текстом официально поддерживается английский язык; в текстовых задачах поддерживаются также немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель выпущена Meta в сентябре 2024 года и доступна по лицензии Llama 3.2 Community License — специальному соглашению, условия которого следует учитывать при коммерческом и исследовательском применении. Это статическая модель, обученная на офлайн-данных; сведения о дате отсечения знаний — декабрь 2023 года.

Llama3.3-70B-CogniLink-i1-GGUF — квантизированная GGUF-версия модели Daemontatox/Llama3.3-70B-CogniLink, подготовленная mradermacher. Это текстовая языковая модель семейства Llama с 70 миллиардами параметров, ориентированная на генерацию текста, выполнение инструкций и задачи, требующие рассуждений. Модель обучалась с использованием наборов данных Daemontatox/Deepthinking-COT и gghfez/QwQ-LongCoT-130K-cleaned; заявленный язык — английский. Поддержка других языков, мультимодальность и размер контекстного окна в README не указаны. Модель предназначена для локального запуска в приложениях и средах, совместимых с форматом GGUF. Доступно множество вариантов квантизации размером примерно от 15,4 до 58 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством; README отмечает, что вариант i1-Q4_K_M является быстрым и рекомендуемым, а некоторые низкобитные варианты имеют пониженное качество. К ограничениям относятся возможная потеря качества из-за квантизации, высокие требования к ресурсам у 70B-версии и отсутствие опубликованных в README количественных результатов тестирования. Модель распространяется по лицензии Apache-2.0.

llm-jp-4-32b-a3b-thinking — языковая модель семейства LLM-jp-4, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это Transformer-модель с архитектурой Qwen3 MoE: 32 слоя, 128 экспертов, из которых активируются 8; общий размер составляет около 32,1 млрд параметров, а число активных параметров — около 3,8 млрд. Модель предназначена для генерации текста и диалогового общения, в том числе для задач, требующих рассуждений. Контекстное окно составляет 65 536 токенов. Модель обучалась на 11,7 трлн токенов, а постобучение включало SFT и DPO без обучения с подкреплением. Карточка указывает японский и английский языки. Для корректного использования следует применять прилагаемый токенизатор: хотя шаблон чата совместим с форматом OpenAI Harmony, токенизация библиотекой openai-harmony напрямую не поддерживается. Разработчики предупреждают, что модель находится на ранней стадии исследований и разработки и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

Marco-o1 — языковая модель команды MarcoPolo Team из AI Business, Alibaba International Digital Commerce. Это дообученная на основе Qwen2-7B-Instruct модель с архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров. Она предназначена для диалогов и сложных рассуждений, в том числе для открытых задач, где нет однозначного ответа, а также для математики, физики, программирования и перевода. Модель обучали с использованием данных Chain-of-Thought, включая открытые и синтетические наборы. В исследовательском подходе команды также применяются поиск по дереву Монте-Карло, оценка уверенности и саморефлексия для исследования нескольких вариантов решения. Контекст составляет до 32 768 токенов. В README приведены результаты на английской и китайской версиях MGSM и примеры перевода разговорных выражений; упоминаются также мультиязычные сценарии. Авторы отмечают, что возможности рассуждения пока уступают полноценной модели OpenAI o1, а работа над улучшениями продолжается. Модель распространяется по лицензии Apache-2.0.

mDeBERTa-v3-base — многоязычная модель Microsoft на архитектуре DeBERTa V3, предназначенная для задач понимания текста и предсказания замаскированных токенов. Вариант base содержит 12 слоёв, скрытый размер 768 и 306 млн параметров; словарь включает 250 тыс. токенов. Модель обучена на многоязычных данных CC100 с использованием предобучения в стиле ELECTRA и механизма разделения градиентов при совместном использовании эмбеддингов. Контекст ограничен 512 токенами. Модель поддерживает английский, русский и другие языки, перечисленные в метаданных. В README приведены результаты переноса с обучением только на английских данных и тестированием на 15 языках XNLI; в этой оценке mDeBERTa-base показала более высокий средний результат, чем XLM-R-base. Модель подходит как основа для дообучения на классификацию и другие задачи понимания естественного языка, однако сама карточка задаёт основную задачу fill-mask. Распространяется по лицензии MIT.

marianodo/MegaBatchMarginLoss-10 — модель на базе MPNet, подготовленная в формате Sentence-Transformers для преобразования предложений и абзацев в плотные векторы размерностью 768. Она предназначена для семантического поиска, сравнения сходства текстов и кластеризации. В метаданных указано 136,7 млн параметров и контекст до 514 токенов; модель работает с текстом и выдаёт эмбеддинги. При обучении использовалась функция потерь MegaBatchMarginLoss. Модель подходит для получения векторных представлений отдельных текстов, которые можно сравнивать или использовать в поисковых и кластеризационных системах. README не сообщает, на каких языках и данных она обучалась, поэтому языковую специализацию определить нельзя. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

miCSE — модель для получения семантических векторных представлений предложений и коротких абзацев, разработанная Tassilo Klein и Moin Nabi. Она использует архитектуру BERT и обучена контрастивным методом с регуляризацией распределения self-attention: согласование представлений разных dropout-аугментированных вариантов текста помогает эффективнее обучаться на небольших наборах данных. Векторы извлекаются из токена [CLS] и подходят для сравнения сходства предложений, поиска и кластеризации. Модель обучалась на английских предложениях из Википедии; в статье также исследуется обучение на малых выборках корпуса SimCSE. Контекст составляет 512 токенов, размер модели — 136,7 млн параметров. Для адаптации few-shot подхода к собственным данным README указывает на необходимость обучения модели на этих данных. Лицензия — Apache-2.0.

Mini-GTE — компактная модель эмбеддингов предложений от QTACK, созданная как подтверждение концепции их подхода к дистилляции. Это Sentence Transformer на архитектуре DistilBERT, дообученный на базе distilbert/distilbert-base-uncased и дистиллированный из GTE. Модель содержит 66 млн параметров и формирует векторы размерности 768; для сравнения предложений используется косинусное сходство. Mini-GTE предназначена для быстрого кодирования запросов, семантического поиска и оценки сходства текстов. Максимальная длина входной последовательности — 512 токенов. В README указано второе место в классическом рейтинге MTEB среди моделей менее чем со 100 млн параметров и 63-е место в общем рейтинге; это заявление разработчика. Модель ориентирована на английский язык. Доступна по лицензии Apache-2.0. Как и другие модели эмбеддингов, она выдаёт векторы, а не готовые ответы; качество зависит от языка и предметной области, а README не приводит подробных оценок по отдельным наборам данных.

Mistral-10.7B-Instruct-v0.2 — плотная языковая модель семейства Mistral с примерно 10,6 млрд параметров, созданная увеличением глубины модели mistralai/Mistral-7B-Instruct-v0.2. Она предназначена для диалоговой генерации текста и может использоваться как замена исходной 7-миллиардной версии или как основа для дальнейшего дообучения. Модель принимает текст и генерирует текст; заявленное контекстное окно составляет 32 768 токенов. Модель опубликована под лицензией Apache 2.0. В карточке не описаны языковое покрытие и результаты сравнительных оценок, поэтому её качество для конкретных языков и задач следует проверять отдельно.

MaziyarPanahi/mistral-7b-finetuned-orca-dpo-v2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная с помощью слияния SLERP весов mistralai/Mistral-7B-Instruct-v0.1 и lvkaokao/mistral-7b-finetuned-orca-dpo-v2. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы; поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст. В метаданных указана лицензия Apache-2.0. Карточка не описывает отдельную специализацию по языкам или предметным областям.