II.6Документация и сопровождение разработки

GLiNER small-v2.1 — модель для распознавания именованных сущностей, разработанная Урчаде Заратианой, Нади Томе, Пьером Ола и Тьерри Шарно. Она использует двунаправленный энкодер на основе трансформера, похожий на BERT, и позволяет извлекать из текста сущности разных типов, заданных пользователем, вместо работы только с фиксированным набором категорий. Модель предназначена для разметки текста и сценариев извлечения информации, в том числе там, где важно обойтись без крупных и ресурсоёмких LLM. Вариант small-v2.1 содержит 166 млн параметров, работает с английским языком и использует библиотеку GLiNER. Модель принимает текст и выдаёт найденные сущности с их типами. Для запуска требуется библиотека GLiNER. Распространяется по лицензии Apache-2.0.

GLM-5.3-Flash — EXL3 4.65bpw — это квантизированная версия модели GLM-5.3-Flash-BF16, разработанной Z.ai. Квантизация выполнена в формате EXL3 с использованием инструментария exllamav3; модель предназначена для запуска через ExLlamaV3 версии 1.4.5 или новее. В сборку включены vision tower и компонент MTP для ускорения генерации. Модель рассчитана на задачи обработки и генерации текста, а также на мультимодальные сценарии с изображениями. В карточке заявлены английский и китайский языки, а максимальный контекст составляет 262 144 токена. Размер модели на диске — около 189,6 ГБ, эффективная разрядность — 4,67 bpw; для загрузки требуется примерно 210 ГиБ VRAM плюс значительный объём памяти под кеш. Конфигурация содержит 45 декодерных слоёв и 35 файлов-шардов. К сильным сторонам относятся существенное снижение требований к памяти по сравнению с исходной BF16-версией, включённая поддержка MTP и vision tower, а также высокая скорость обработки длинных контекстов на многокарточной конфигурации. Ограничения — очень высокие аппаратные требования, необходимость совместимого рантайма ExLlamaV3 и корректной настройки распределения GPU; приведённые показатели производительности относятся к конкретной конфигурации из четырёх ускорителей CMP 170HX. Модель и её квантизированная версия распространяются по лицензии MIT.

jina-embeddings-v5-text-nano-text-matching — компактная модель для получения текстовых эмбеддингов, разработанная Jina AI и являющаяся квантованной версией базовой модели jina-embeddings-v5-text-nano. Она предназначена для сопоставления текстов, оценки семантической схожести, поиска и других сценариев, где требуется сравнивать смысловое содержание запросов и документов. Модель поддерживает мультиязычные тексты; в README приведены примеры на английском, арабском, китайском, французском, немецком, греческом, хинди, итальянском, японском и корейском языках. Модель содержит 239 млн параметров, обрабатывает последовательности длиной до 8192 токенов и формирует эмбеддинги размерностью 768. Используется pooling по последнему токену, предусмотрены матрёшечные размерности 32, 64, 128, 256, 512 и 768, что позволяет выбирать компромисс между качеством и эффективностью хранения или поиска. Модель ориентирована на высокую производительность при небольшом размере и доступна для интеграции через sentence-transformers, vLLM и специальную ветку llama.cpp с поддержкой формата GGUF. README не содержит подробных сведений о конкретных ограничениях качества, кроме ориентации исключительно на задачу text-matching, поэтому применимость к другим задачам эмбеддингов не гарантируется. Модель распространяется по лицензии CC BY-NC 4.0, предусматривающей некоммерческое использование.

jina-reranker-v1-turbo-en — англоязычный реранкер от Jina AI на основе архитектуры JinaBERT, варианта BERT с двунаправленным ALiBi. Модель оценивает релевантность пар «запрос — документ» и переупорядочивает результаты поиска. Она предназначена для ускорения семантического поиска и улучшения отбора контекста в системах RAG. Это компактная дистиллированная модель с 6 слоями и примерно 37,6 млн параметров; она поддерживает последовательности длиной до 8192 токенов. По данным карточки, в тестах на поисковых наборах она сочетает высокую скорость с конкурентным качеством, хотя в отдельных оценках уступает более крупной версии jina-reranker-v1-base-en. Доступны веса PyTorch и ONNX. Лицензия — Apache-2.0.

jinaai/jina-reranker-v3.5 — многоязычная модель-реранкер от Jina AI для повторной сортировки списка документов по релевантности запросу. Она дообучена на Qwen/Qwen3-0.6B и содержит около 508 млн параметров. Архитектура Qwen3 дополнена проектором MLP; модель оценивает кандидатов совместно в одном проходе, используя listwise-подход и косинусное сравнение. Контекст — до 131 072 токенов. Модель предназначена для второго этапа поиска: она уточняет порядок документов, уже найденных поисковой системой, и рассчитана на многоязычный поиск, устойчивую работу в разных предметных областях и ранжирование структурированных данных. По результатам сравнений в карточке она превосходит предыдущую jina-reranker-v3 на ряде наборов тестов, включая BEIR и Struct-IR; скорость инференса также улучшена для списков разной длины. Для локального запуска карточка рекомендует Transformers; также доступен API Jina AI. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование без отдельного разрешения. Модель выдаёт оценки и порядок релевантности, а не готовые ответы на запросы.

Карточка модели SissyTrixie/Kimi-K2.7-Code на Hugging Face совпадает с карточкой moonshotai/Kimi-K2.7-Code, поэтому описание составлено по ней. Kimi K2.7 Code — ориентированная на программирование агентная модель компании Moonshot AI, основанная на Kimi K2.6. Она предназначена для выполнения длительных задач разработки ПО и многоэтапных инженерных процессов: от создания и изменения кода до работы с проектами и инструментами. Архитектура — Mixture-of-Experts с общим числом параметров около 1 трлн и 32 млрд активируемых параметров; модель представлена в safetensors и использует нативную квантизацию INT4. Для тестирования заявлен контекст длиной 262 144 токена. Модель поддерживает диалог, вызов инструментов и визуальный ввод изображений и видео; основная специализация — агентное программирование и решение сложных задач разработки. Разработчик сообщает о повышении эффективности на длительных задачах и примерно на 30% меньшем расходе токенов на рассуждения по сравнению с Kimi K2.6. В карточке указана лицензия other; конкретные условия следует сверить с лицензией репозитория и условиями API.

Карточка модели rbinrs/Laguna-XS-2.1 на Hugging Face совпадает с карточкой poolside/Laguna-XS-2.1, поэтому описание составлено по ней. Laguna XS 2.1 — текстовая модель семейства Laguna от Poolside, предназначенная прежде всего для агентного программирования и длительных задач разработки ПО. Это архитектура Mixture-of-Experts с 33 млрд параметров в общей сложности и примерно 3 млрд активируемых на токен; в репозитории Hugging Face указано 2,6 млрд параметров. Модель состоит из 40 слоёв, использует смесь скользящего и глобального внимания, поддерживает контекст до 262 144 токенов и интерфейс вызова инструментов. Модель подходит для работы с кодом, выполнения терминальных задач и взаимодействия с инструментами в агентных сценариях. README сообщает об улучшении результатов относительно Laguna XS.2 на SWE-bench Multilingual и терминальных задачах, однако бенчмарки не гарантируют аналогичного качества на конкретных проектах. Модель принимает и выдаёт текст; карточка не указывает поддерживаемые естественные языки. Веса доступны под лицензией OpenMDW-1.1, которую разработчик описывает как разрешающую коммерческое и некоммерческое использование и модификацию. Для применения следует учитывать условия лицензии и политики допустимого использования Poolside. Для локального запуска заявлена поддержка Transformers, vLLM, SGLang, Llama.cpp, Ollama и других перечисленных в карточке средств.

LFM2-2.6B — компактная языковая модель Liquid AI для запуска ИИ на устройствах и периферийном оборудовании. Это плотная гибридная авторегрессионная модель семейства LFM2 с 2,4 млрд параметров по метаданным и 30 слоями: 22 блока коротких свёрток и 8 блоков внимания GQA. Модель принимает текст и генерирует текст; поддерживает контекст до 128 000 токенов по метаданным. Карточка также указывает, что эта версия использует динамический гибридный режим рассуждений для сложных и многоязычных запросов. Модель предназначена для диалогов, извлечения данных, RAG, творческого письма и агентных сценариев, в том числе на смартфонах, ноутбуках и в автомобилях. В карточке заявлены высокая скорость обучения и вывода, а также работа на CPU, GPU и NPU. Для узких задач разработчик рекомендует дополнительную настройку. Модель не рекомендуется для задач, требующих обширных знаний или программирования. Поддерживаемые языки: английский, арабский, китайский, французский, немецкий, японский, корейский и испанский; основного языка среди них не выделено. Лицензия указана как other, поэтому конкретные условия следует проверять на странице репозитория Hugging Face.

Unsloth/Liquid AI LFM2-350M — компактная плотная гибридная языковая модель для генерации текста и диалогов, рассчитанная на запуск на периферийных устройствах. В этой карточке представлены веса постобученной модели LiquidAI/LFM2-350M в формате safetensors; архитектура сочетает 10 блоков коротких LIV-свёрток и 6 блоков группового внимания. Размер по метаданным — 444,6 млн параметров, контекст — до 32 768 токенов. Модель предназначена для локальных приложений с ограниченными ресурсами, включая многошаговые диалоги, извлечение данных, RAG, творческое письмо и агентные сценарии с вызовом инструментов. Заявлена поддержка английского, арабского, китайского, французского, немецкого, японского, корейского и испанского языков. Разработчик отмечает скорость и эффективность на CPU, GPU и NPU, а также рекомендует дообучать модель для узких задач. Она не рекомендуется для задач, требующих обширных знаний или навыков программирования. В README указаны дистилляция от LFM1-7B, масштабное дообучение с учителем, DPO и итеративное объединение моделей в ходе подготовки семейства LFM2; однако метаданные этой конкретной карточки обозначают её как finetune от LiquidAI/LFM2-350M. Лицензия указана как other, поэтому условия использования следует сверить с лицензией в репозитории перед внедрением.

LRM-3.2 — модель рассуждений, разработанная Orion Research и дообученная на базе Qwen3.6-27B. Она предназначена для диалогов, решения задач и многошаговой работы, включая агентные сценарии. Модель сокращает рассуждения во внутреннем ходе мыслей: их длина адаптируется к сложности задачи, а ответы пользователю сохраняют обычную полноту и естественность. Заявленная цель — снизить задержку и расход токенов без ухудшения качества итоговых ответов. Архитектура — плотная Qwen3.5, базовая модель содержит 27 млрд параметров. Дообучение выполнено на наборах ProCreations/grug-think и ProCreations/grug-think-v3-10k с акцентом на траектории рассуждений; README указывает, что токенизатор и длина контекста базовой модели не менялись, но числовое значение контекста не приводит. Модель распространяется в формате safetensors по лицензии Apache-2.0. Описание и примеры сосредоточены на английском языке; поддержка других языков отдельно не заявлена.

marianodo/MegaBatchMarginLoss-10 — модель на базе MPNet, подготовленная в формате Sentence-Transformers для преобразования предложений и абзацев в плотные векторы размерностью 768. Она предназначена для семантического поиска, сравнения сходства текстов и кластеризации. В метаданных указано 136,7 млн параметров и контекст до 514 токенов; модель работает с текстом и выдаёт эмбеддинги. При обучении использовалась функция потерь MegaBatchMarginLoss. Модель подходит для получения векторных представлений отдельных текстов, которые можно сравнивать или использовать в поисковых и кластеризационных системах. README не сообщает, на каких языках и данных она обучалась, поэтому языковую специализацию определить нельзя. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

MiniCPM-o 2.6 — мультимодальная модель команды OpenBMB для понимания изображений, аудио и видео, а также голосового общения и потоковых сценариев. По карточке она построена как сквозная система на основе SigLip-400M, Whisper-medium-300M, ChatTTS-200M и Qwen2.5-7B; в метаданных указано 7,1 млрд параметров, плотная архитектура MiniCPMO и контекст 32 768 токенов. Модель доступна через Transformers и распространяется по лицензии Apache-2.0. Модель принимает текстовые запросы, изображения, аудио и непрерывные аудио-видеопотоки. Она отвечает текстом и может вести голосовой диалог с настраиваемыми голосом, эмоцией, скоростью и стилем; также поддерживает клонирование голоса. README описывает распознавание речи, анализ говорящих, аудиоподписи, классификацию звуковых сцен, OCR, понимание нескольких изображений и видео, а также мультимодальное общение в реальном времени. Заявлена поддержка более 30 языков для мультимодальных задач и двуязычный речевой диалог на английском и китайском. Среди заявленных сильных сторон — обработка изображений с разными пропорциями сторон, высокая плотность визуальных токенов и возможность локального запуска на устройствах с ограниченными ресурсами в подходящих сборках. README указывает на совместимость с Transformers 4.44.2 и предупреждает о возможных проблемах совместимости с другими версиями; работа с потоковыми аудио-видео данными требует соответствующей реализации и оборудования. Заявленные результаты бенчмарков приведены авторами модели и зависят от условий оценки.

gabrielloiseau/ModernBERT-base-authorship-verification — модель Sentence Transformers, дообученная на основе answerdotai/ModernBERT-base. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения текстов по смыслу с помощью косинусного сходства. Модель подходит для семантического поиска, поиска перефразирований, кластеризации и классификации текстов, а также для проверки сходства авторского стиля. Она содержит 149 млн параметров, использует архитектуру ModernBERT и обрабатывает последовательности длиной до 8192 токенов. В метаданных указан английский язык базовой модели; отдельные сведения о языках обучения этой версии не приведены. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

NegMPNet — модель эмбеддингов предложений на базе MPNet, разработанная TUM NLP. Это версия all-mpnet-base-v2, дообученная с повышенной чувствительностью к отрицаниям. Модель преобразует предложения и абзацы в плотные векторы размерности 768 и подходит для семантического поиска, кластеризации и сравнения текстов с учётом отрицаний. Модель принимает текст и выдаёт векторные представления. Она содержит 136,7 млн параметров, имеет контекст до 514 токенов и предназначена прежде всего для англоязычных текстов. По карточке, обучение использовало MultipleNegativesRankingLoss с косинусным сходством. Модель распространяется по лицензии CC BY-SA 4.0.

Карточка модели hotchpotch/open-provence-reranker-v1 на Hugging Face совпадает с карточкой hotchpotch/open-provence-reranker-xsmall-v1, поэтому описание составлено по ней. OpenProvence reranker xsmall v1 — компактная двуязычная модель переранжирования и отбора предложений для подготовки контекста в системах поиска и RAG. Модель разработана hotchpotch и содержит 30 млн параметров; архитектура — OpenProvence для классификации последовательностей, веса представлены в формате safetensors. Модель принимает вопрос и текстовый контекст, оценивает релевантность предложений и удаляет фрагменты, не относящиеся к запросу. Она предназначена для ускорения поиска нужной информации и сокращения контекста перед передачей его генеративной модели. Поддерживаются английский и японский языки; согласно карточке, xsmall рассчитана на низкую задержку и может работать на CPU. В опубликованных оценках модель сокращала объём контекста, сохраняя ответы на контрольных примерах, но результаты зависят от языка, порога отсечения и набора данных. Модель опубликована под лицензией MIT.

PeppX/Ornith-1.0-9B-Uncensored-GGUF — GGUF-квантизированная версия модели PeppX/Ornith-1.0-9B-Uncensored, разработанная PeppX. Это текстовая генеративная модель для локального запуска, ориентированная на программирование, рассуждения, агентские сценарии, генерацию текста, кибербезопасность и red-team-задачи. Модель позиционируется как uncensored и abliterated: из базовой модели удалено направление, связанное с отказами, без дополнительного обучения и тонкой настройки. Модель имеет плотную архитектуру Qwen 3.5 с 32 слоями и примерно 9 млрд параметров, поддерживает контекст до 262 144 токенов и английский язык. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 5,6 до 9,5 ГБ; они рассчитаны на локальный запуск с помощью llama.cpp, LM Studio или Ollama. Заявлены сохранение исходных возможностей в кодировании, математике, рассуждениях и следовании инструкциям, а также низкое расхождение с базовой моделью по KL-дивергенции 0,0827, однако приведённые показатели зависят от методики оценки. Ключевая особенность модели — заявленный авторами нулевой уровень отказов, что может быть полезно для исследовательских, тестовых и red-team-сценариев, но одновременно повышает риск генерации небезопасного или вредоносного контента. Ограничения включают зависимость качества и скорости от выбранной квантизации и оборудования, а также отсутствие в README подробных данных о мультимодальности, обучающем наборе и результатах независимых бенчмарков. Модель распространяется по лицензии MIT.

Карточка модели infgrad/Prism-Qwen3-Reranker-4B-exp на Hugging Face совпадает с карточкой infgrad/Prism-Qwen3.5-Reranker-4B, поэтому описание составлено по ней. Prism-Qwen3.5-Reranker-4B — модель-реранкер от infgrad на основе архитектуры Qwen3.5, дообученная для поиска и RAG-сценариев. Она оценивает релевантность пары «запрос — документ» и может дополнительно выдать краткий вклад документа в ответ на запрос и самостоятельный фрагмент с релевантными свидетельствами. Для нерелевантных документов возвращает отрицательный результат без этих пояснений. Модель предназначена для переупорядочивания результатов поиска, в том числе в агентных системах, и обработки запросов в форме ключевых слов. Веса содержат 3,4 млрд параметров; архитектура плотная, контекстное окно по метаданным — 262 144 токена. Однако обучение ограничивало примеры 10 тысячами токенов, поэтому на более длинных входах качество может снижаться. Основные языки — английский и китайский; другие языки также поддерживаются, но обучающих данных для них меньше. Модель распространяется под лицензией MIT.

Модель q25sftrphardlam1 — готовый для инференса чекпойнт дообучения Qwen2.5-3B, подготовленный проектом RL-Forgetting-Experiments-3 для генерации кода. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров, основанная на Qwen/Qwen2.5-3B и обученная на данных qwen3b_code_sft_data_s300. В README указаны упорядоченная подача данных, стратегия replay hard и коэффициент replay 1,0; чекпойнт зафиксирован на шаге оптимизатора 102. Модель подходит для генерации кода и диалоговых сценариев с программированием. Она принимает текст и выдаёт текст; максимальная длина контекста составляет 32 768 токенов. Репозиторий использует Transformers и формат весов safetensors. Лицензия в предоставленных данных не указана.

Qwen2.5-Coder-14B-GGUF — квантизированная в формате GGUF версия базовой модели Qwen2.5-Coder-14B, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp версии b4058. Модель предназначена для генерации и автодополнения исходного кода и других задач программирования; в карточке указаны английский язык и текстогенерация как основной сценарий применения. Модель содержит 14 млрд параметров, обучена на 5,5 трлн токенов и поддерживает контекст до 128 тыс. токенов с настройками RoPE YaRN и коэффициентом 4,0; исходная длина контекста составляет 32 тыс. токенов. Это именно базовая модель, поэтому она рассчитана на completion и generation, а не на диалоговый или instruct-режим, что ограничивает её готовность к общению по инструкциям без дополнительного форматирования или дообучения. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-REAP-363B-A35B — сжатая модель Cerebras на архитектуре причинной языковой модели с разреженной смесью экспертов (MoE), созданная методом REAP из Qwen/Qwen3-Coder-480B-A35B-Instruct. Модель предназначена для генерации кода, агентного программирования, работы с большими репозиториями и вызова функций. В карточке заявлено сохранение близкой к исходной производительности при сокращении общего числа параметров с 480B до 363B; на каждом токене активируются 35B параметров и 8 из 120 экспертов. Метаданные указывают 15,4B параметров, поэтому размер модели в источниках расходится. Контекст составляет 262 144 токена. README указывает формат FP8, 62 слоя и поддержку запуска через vLLM; метаданные указывают Transformers и формат safetensors. Заявлено расширение контекста до 1M с YaRN. Модель ориентирована на английский язык. Лицензия — Apache 2.0. README сообщает о близкой к исходной точности и снижении требований к памяти, но результаты оценки для BF16-варианта не приведены.

Qwen3-Reranker-4B-seq-cls-vllm-fixed — версия Qwen/Qwen3-Reranker-4B, преобразованная в архитектуру классификации последовательностей и настроенная для совместимости с vLLM. Модель оценивает релевантность пары «запрос — текст» и предназначена для повторной сортировки результатов поиска. Она использует плотную архитектуру Qwen3ForSequenceClassification, содержит 3,7 млрд параметров и поддерживает контекст до 40 960 токенов. По карточке модели, преобразование из CausalLM в SequenceClassification сохраняет результаты исходного реранкера, но значительно сокращает классификационную голову и вычисления при оценке. Модель распространяется по лицензии Apache-2.0. Указанная настройка рассчитана на использование с vLLM.

Qwen3-VL-Embedding-8B-GGUF — мультимодальная модель для создания векторных представлений текста и изображений в общем embedding-пространстве. Она основана на Qwen/Qwen3-VL-Embedding-8B и была квантована BatiAI из исходных BF16 safetensors для локального использования, в частности в on-device RAG-системах и BatiFlow. Архитектура включает Qwen3-VL с pooling head, текстовую часть на 8 млрд параметров и vision tower. Модель предназначена для семантического поиска и мультимодального retrieval: поиска изображений по текстовому запросу, поиска текстов по изображению, а также совместной индексации PDF, заметок и изображений в одной векторной базе данных. Заявлена поддержка английского, корейского, японского и китайского языков. Для текстовых входов модель возвращает векторы размерностью 3584. Доступны квантования Q6_K размером около 5,8 ГБ и Q8_0 размером около 7,5 ГБ; Q6_K указано как минимально рекомендуемое из-за чувствительности embedding-моделей к низкобитному квантованию. Сильные стороны модели — мультимодальность, единое пространство для текста и изображений, многоязычность и ориентация на локальный запуск. В README модель характеризуется как одна из наиболее качественных многоязычных embedding-моделей и позиционируется для сценариев, где важнее качество поиска, чем минимальная задержка. При этом собственные прямые измерения качества retrieval, например MTEB, в карточке не приведены, а работа с изображениями требует мультимодальной сборки llama.cpp с поддержкой mtmd. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование.

Qwopus3.5-9B-Coder-GGUF — мультимодальная языковая модель от Jackrong, созданная на базе Qwopus3.5-9B-v3.5 и представленная в формате GGUF для использования с llama.cpp и совместимыми инструментами. Это плотная модель размером 9 млрд параметров, ориентированная на агентное программирование, сложные вызовы инструментов и логическое рассуждение. Модель предназначена для генерации и отладки кода, решения задач на уровне репозитория, работы с терминальными командами, файловыми операциями, браузерами и function calling. Она поддерживает текстовые и визуальные входные данные; для включения зрения требуется отдельный файл mmproj.gguf. Заявлены языки English, Chinese, Spanish, Russian и Japanese, однако размер контекста в README не указан. При дообучении использовались Trace Inversion, агентские трассировки и наборы данных для reasoning и tool use. Сильными сторонами заявлены структурированное рассуждение, работа с кодом и более стабильное использование инструментов при относительно низких требованиях к оборудованию: автор указывает возможность запуска в 8-битном режиме на устройствах с 16 ГБ оперативной памяти. Модель выпущена как экспериментальная версия сообщества; полноценная оценка общих способностей не проводилась, поэтому в непрофильных задачах возможно снижение качества. Указана лицензия Apache-2.0, но автор рекомендует использовать модель главным образом для исследований и экспериментов.

Карточка модели Amirktk0312/resume-screener-bge-finetuned на Hugging Face совпадает с карточкой BAAI/bge-large-en-v1.5, поэтому описание составлено по ней. BAAI/bge-large-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI) для поиска и сравнения текстов. Она преобразует текст в векторы, пригодные для семантического поиска, извлечения документов и построения систем с дополненной генерацией (RAG). Версия v1.5 улучшает retrieval и делает модель менее зависимой от инструкций для запросов по сравнению с предыдущей версией. Модель основана на архитектуре BERT и содержит 433,9 млн параметров. Она принимает текстовые входы на английском языке, имеет контекстное окно до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Для поиска можно сначала получить кандидатов с помощью эмбеддингов, а затем повысить точность ранжирования отдельной моделью BGE Reranker. Модель подходит для семантического поиска и сходства предложений. README предупреждает, что абсолютные значения сходства не следует трактовать как универсальную шкалу: из-за особенностей обучения оценки могут быть выше 0,5 даже для несхожих предложений. Лицензия — MIT.

TurkuNLP/sbert-cased-finnish-paraphrase — модель Sentence-BERT для финского языка, разработанная TurkuNLP на основе FinBERT. Она преобразует предложения в векторные представления, которые можно сравнивать для поиска смыслово близких фраз и парафраз. Модель построена на архитектуре BERT с корпусным регистром; использует mean pooling и содержит 151,7 млн параметров. Максимальная длина входа — 512 токенов. Модель обучали с помощью sentence-transformers на корпусе финских парафраз и автоматически собранных кандидатах в парафразы: 500 тысяч положительных и 5 миллионов отрицательных примеров. Обучающая задача — бинарно определять, являются ли два предложения парафразами. В README приведён пример извлечения эмбеддингов и упомянута демонстрация поиска похожих предложений в наборе из 400 миллионов фраз. Лицензия в предоставленных данных не указана.

sentence-transformers/sentence-t5-xxl — модель для преобразования предложений и абзацев в плотные векторы размерностью 768, предназначенные прежде всего для сравнения семантической близости текстов. Она построена на T5 и использует только энкодер; в README указано, что веса TensorFlow-модели st5-11b-1 преобразованы в PyTorch и хранятся в FP16. Метаданные указывают 385,2 млн параметров, контекст до 512 токенов и поддержку английского языка. Модель подходит для вычисления сходства между предложениями и абзацами и создания текстовых эмбеддингов. По README она работает хуже в задачах семантического поиска, поэтому для поиска по смыслу может потребоваться другая модель или отдельная настройка. PyTorch-версия и исходная модель TensorFlow могут давать немного разные векторы, хотя на описанных в карточке бенчмарках результаты совпадают. Лицензия — Apache-2.0.

TechxGenus/starcoder2-15b-instruct — языковая модель для генерации кода, созданная дообучением StarCoder2-15B на 0,7 млрд дополнительных токенов с примерами, связанными с программированием; обучение проводилось в течение трёх эпох. Модель использует архитектуру StarCoder2 с плотной causal language model на 21,7 млрд параметров и принимает запросы в формате инструкций Alpaca без системного промпта. Для запуска предлагается Transformers; веса доступны в формате safetensors, контекст — до 16 384 токенов. Модель предназначена для генерации кода по инструкциям и другим задачам программирования. В README заявлен результат 77,4 pass@1 на HumanEval-Python, однако авторы отмечают, что модель прошла ограниченное тестирование и может ошибаться, выдавать вводящее в заблуждение содержимое и хуже справляться с задачами вне программирования. Лицензия — BigCode OpenRAIL-M.

IronPooh/xlm-roberta-qa-cross-encoder — текстовый Cross-Encoder, созданный дообучением FacebookAI/xlm-roberta-base с помощью библиотеки Sentence Transformers. Модель оценивает пары текстов одним числовым баллом, пригодным для ранжирования результатов поиска и семантического поиска. Архитектура — XLM-RoBERTa для классификации последовательностей; размер — 305,2 млн параметров, максимальная длина входа — 512 токенов. В карточке приведены примеры обучения на парах вопросов и ответов и результаты бинарной классификации на наборе xlm-roberta-val. Это указывает на применение для оценки соответствия вопроса и ответа, а также переранжирования найденных фрагментов. Базовая XLM-RoBERTa многоязычная, а примеры в обучающих данных включают украинский и русский языки. Доступны веса в формате safetensors; лицензия в предоставленных сведениях не указана.

Yi-9B-Coder-IMat-GGUF — квантизированная версия модели TechxGenus/Yi-9B-Coder, подготовленная пользователем legraphista. Модель предназначена прежде всего для генерации и обработки программного кода и распространяется в формате GGUF для запуска с совместимыми инструментами, включая llama.cpp. Архитектурная основа относится к семейству Llama; размер исходной модели составляет около 9 млрд параметров, исходный формат — BF16. Репозиторий содержит варианты от BF16 и F16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантов. Для ряда вариантов применена IMatrix-квантизация, призванная лучше сохранять качество при уменьшении размера модели. Доступны файлы размером примерно от 3,1 до 17,66 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Данные о поддерживаемых языках программирования, размере контекста и мультимодальности в README не указаны; модель описана как текстовая и ориентированная на код. Сильной стороной модели является широкий выбор вариантов квантования и возможность локального запуска при существенно меньших требованиях к памяти. При этом низкобитные варианты могут терять качество по сравнению с BF16 или F16, а конкретная производительность и точность зависят от выбранного файла и оборудования. Лицензия — Apache-2.0.

Yuren-13B — языковая модель Pleisto на архитектуре Llama 2 с 12,9 млрд параметров, полученная продолжительным обучением Llama 2 13B. Она предназначена для задач синтеза информации: многоязычного извлечения сведений, преобразования запросов на естественном языке в SQL, генерации текста и выдачи структурированных данных. В карточке приведены примеры генерации SQL и извлечения полей резюме в JSON. Модель принимает текст и генерирует текст; заявленный контекст — 4096 токенов. Основной акцент сделан на китайском и английском языках. Разработчик заявляет высокие результаты в сценариях синтеза данных при сопоставимом размере модели. Весовые файлы представлены в форматах PyTorch и Safetensors. Лицензия указана как Llama 2; перед использованием следует проверить применимые условия этой лицензии. Разработчик рекомендует применять модель для внутренней обработки данных организаций и контролировать входы и выходы, поскольку ответы могут содержать ошибки или создавать риски при использовании без проверки.