II.6Документация и сопровождение разработки

sentence-transformers/stsb-roberta-large — модель для получения эмбеддингов предложений и абзацев, обученная командой Sentence Transformers. Она основана на архитектуре RoBERTa с 454,1 млн параметров и отображает текст в плотные векторы размерности 1024; доступна через библиотеку Sentence Transformers и в форматах PyTorch, TensorFlow, Flax, ONNX и OpenVINO. Модель подходит для семантического поиска, сравнения текстов и кластеризации; заявленная длина контекста — 514 токенов. В карточке модель помечена как устаревшая: авторы предупреждают о низком качестве эмбеддингов и рекомендуют выбрать другую модель для новых проектов. Лицензия — Apache-2.0.

Dragoy/Swift-Qwen3.8-27B-abliterated-NVFP4-NInfer — мультимодальная производная модель на 27,78 млрд параметров, разработанная Dragoy на основе ukisai/Swift-Qwen3.8-27b. Модель поддерживает обработку текста и изображений с генерацией текста; в артефакт включены vision tower, MTP-head и DFlash2-drafter. Из модели удалено направление отказов в стиле huihui-ai, поэтому она ориентирована на более свободное выполнение запросов, включая сценарии, в которых исходная модель могла отказывать. Поддерживаются ускоренное speculative decoding через MTP и DFlash2, а также серверный режим NInfer. README не указывает поддерживаемые языки и максимальную архитектурную длину контекста; в примерах используется контекст до 16 384 токенов. Веса квантованы в формате NVFP4 для MLP-компонентов и FP8 для attention, GDN и lm_head. Артефакт предназначен для запуска через NInfer на видеокартах NVIDIA Blackwell с архитектурой sm_120a; требуется CUDA версии не ниже 13.1 и совместимый runtime NInfer, для актуальной сборки — ревизия не ниже 98dada0e. Заявлен запуск примерно в пределах 20 ГБ видеопамяти на одной карте. К сильным сторонам относятся мультимодальность, низкая разрядность, поддержка спекулятивного декодирования и отсутствие отказов в заявленном тесте AdvBench, однако удаление отказов снижает встроенные защитные ограничения и может повышать риски небезопасного использования. Модель распространяется по лицензии Swift Open License 1.0.

Это экспериментальная англоязычная модель Sentence Transformer, созданная tomaarsen дообучением answerdotai/ModernBERT-base на наборе Natural Questions с функцией потерь DebiasedMultipleNegativesRankingLoss. Encoder-архитектура ModernBERT преобразует предложения и абзацы в плотные векторы размерности 768; для сравнения векторов используется косинусное сходство. Модель рассчитана на семантический поиск и оценку сходства текстов, а также может применяться для поиска перефразировок, кластеризации и классификации текстов. Максимальная длина последовательности составляет 8192 токена. В README приведены результаты оценки на небольших наборах для поиска информации; карточка описывает модель как тестовый эксперимент с новой функцией потерь, поэтому результаты не следует считать гарантией качества в прикладной системе. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.

Это модель для переупорядочивания текстовых фрагментов по их релевантности запросу. Её разработали на базе Qwen3-8B с помощью инструментария Tevatron 3.0; модель имеет плотную архитектуру Qwen3ForCausalLM и около 7,6 млрд параметров. Для адаптации применялся LoRA, веса адаптера объединены с базовой моделью. Обучение проводилось методом дистилляции listwise-KL на наборе RLHN-680K. Модель оценивает пару «запрос — фрагмент» по логарифму отношения вероятностей токенов «yes» и «no» после вопроса о релевантности. Вход включает запрос, заголовок и текст фрагмента; максимальная длина контекста — 32 768 токенов. Модель подходит для ранжирования документов в поисковых системах и конвейерах информационного поиска. Лицензия — Apache-2.0.

Tiny Pickle v3 Coder — экспериментальная модель для программирования и инженерии ПО, разработанная как производная Qwen/Qwen3-Coder-30B-A3B-Instruct с адаптером LoRA vsan/tiny-pickle-v3-coder-LoRA. Адаптер объединён с весами и опубликован в формате BF16 Safetensors; архитектура — Qwen3 MoE, класс Qwen3MoeForCausalLM. Метаданные указывают 2,6 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации и отладки кода, ревью, планирования реализации, создания тестов и помощи в разработке ПО. Она поддерживает диалоговый интерфейс и интерфейс вызова инструментов; основная задача в каталоге — генерация текста. Указана лицензия Apache-2.0. README характеризует модель как экспериментальную и не приводит независимых результатов, подтверждающих преимущество над базовой моделью.

princeton-nlp/unsup-simcse-bert-large-uncased — модель извлечения признаков группы Princeton NLP на базе BERT Large Uncased, обученная методом SimCSE без разметки. Она предназначена для получения векторных представлений предложений, которые можно применять для сравнения семантической близости текстов и в качестве признаков для последующих задач NLP. Модель содержит около 433,9 млн параметров, принимает текст и поддерживает контекст до 512 токенов. В репозитории доступны веса PyTorch и Flax. Обучение SimCSE улучшает геометрию представлений BERT, сохраняя их пригодность для задач семантического сходства. В README приведены эксперименты с оценкой сходства предложений и переносом на downstream-задачи; сами результаты для этой конкретной модели не указаны. Лицензия в доступных данных не определена. Как и другие языковые модели, она может воспроизводить вредные стереотипы и предубеждения.

XProvence-reranker-bgem3-v2 — многоязычная модель для сокращения контекста в системах RAG, разработанная Naver Labs Europe. Она получает вопрос и найденный текстовый фрагмент, удаляет предложения, не относящиеся к вопросу, и может возвращать оценку релевантности для переранжирования результатов. Модель дообучена на основе BAAI/bge-reranker-v2-m3 с задачами отбора предложений и сохранения возможностей ранжирования; архитектура относится к семейству XLM-RoBERTa. В метаданных указано 658,7 млн параметров, контекст до 8194 токенов и формат safetensors. Модель предназначена для подготовки контекста перед генерацией ответа на вопрос: сокращение нерелевантных фрагментов может уменьшить шум и ускорить генерацию. Нативно поддерживаются 16 языков, а благодаря переносному обучению заявлена работа более чем со 100 языками. Обучающие примеры были размером с абзац, поэтому качество на длинных контекстах может отличаться; порог отсечения следует подбирать под конкретный сценарий. Лицензия — CC BY-NC-ND 4.0, не допускающая коммерческого использования и распространения производных материалов на иных условиях.

Aether-Qwen2-0.5B-SFT-v0.0.2 — плотная авторегрессионная модель семейства Qwen2 с 494 млн параметров, разработанная Michael Svendsen и дообученная методом supervised fine-tuning на наборе AetherCode-v1, split 5star. Она предназначена для генерации кода и помощи в программировании: автодополнения, поиска ошибок, ревью и предложений по оптимизации. Модель принимает текстовые запросы и генерирует текст, включая код; заявленная длина контекста — 131 072 токена. В метаданных указан английский язык, а карточка ориентирует модель на задачи, связанные с кодом. Модель доступна в формате safetensors и рассчитана на использование с Transformers. Она может помогать в разработке программного обеспечения, но ответы для сложных задач требуют проверки человеком; карточка предостерегает от применения вне программирования и анализа кода. Лицензия указана как other, без уточнения условий в предоставленных данных.

AI4SGI-ExoMind-9B-GGUF — набор GGUF-квантизаций компактной модели ExoMind-9B, разработанной Shanghai AI Laboratory и дообученной на базе Qwen3.5-9B. Данный репозиторий поддерживается prithivMLmods и содержит варианты модели с точностью от BF16 до Q3_K_S. Модель предназначена для ресурсосберегающих экспериментов в области научного рассуждения и агентных исследовательских сценариев. ExoMind-9B ориентирована на ответы на научные вопросы, математическое и вычислительное рассуждение, поиск источников, обоснование выводов по доступным свидетельствам, исполняемую проверку результатов, интеграцию наблюдений, использование инструментов и создание агентных прототипов. Она сохраняет мультимодальные возможности базовой модели Qwen3.5 для работы с текстом и изображениями, поддерживает английский и китайский языки и имеет контекстное окно до 262 144 токенов. Обучение проводилось методом progressive Chain-of-Interaction на траекториях рассуждений и взаимодействия. К сильным сторонам относятся компактный размер в 9 миллиардов параметров, широкий контекст, мультимодальность, поддержка научно-исследовательских и tool-use-сценариев, а также доступность нескольких GGUF-квантизаций для запуска через llama.cpp и совместимых инструментов. При этом отдельные официальные результаты бенчмарков для ExoMind-9B не приведены: опубликованные показатели относятся к более крупной модели ExoMind-35B-A3B и не должны переноситься на эту версию. Модель выпущена по лицензии Apache License 2.0; сопутствующие материалы, бренд ExoMind и некоторые элементы публикации могут регулироваться отдельными условиями.

AutoDev Coder — разговорная модель для генерации кода, представленная в репозитории unit-mesh/autodev-coder. Согласно README, она основана на DeepSeek-Coder-6.7B-Instruct, который дообучен на 2 млрд токенов инструкционных данных и восходит к DeepSeek-Coder-6.7B-Base. В метаданных указаны архитектура LlamaForCausalLM, плотная модель на 6,6 млрд параметров и контекст до 16 384 токенов. Модель предназначена для диалога и генерации текста, прежде всего для задач программирования: например, написания и дополнения кода по инструкциям. В README нет конкретных результатов оценки или списка поддерживаемых языков программирования и естественных языков. Репозиторий содержит веса в формате Safetensors; лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория.

Qdrant/bge-large-en-v1.5-onnx — это ONNX-порт модели BAAI/bge-large-en-v1.5, разработанной BAAI и подготовленной для использования в экосистеме Qdrant. Модель предназначена для работы с текстом, включая задачи классификации текста и поиска по сходству. Модель преобразует текстовые документы в числовые векторные представления, которые можно использовать для сравнения семантической близости документов и построения систем поиска. В README приведён пример инференса через библиотеку FastEmbed. Из доступных данных следует, что модель ориентирована на английский язык; размер, точная архитектура, длина контекста и другие технические характеристики не указаны. Модель удобна для локального или инфраструктурного запуска в формате ONNX и интеграции с инструментами векторного поиска. Ограничения README не описывает, однако применимость к другим языкам, производительность и качество в конкретных сценариях требуют отдельной оценки. Лицензия модели — Apache-2.0.

Карточка модели dengcao/bge-reranker-v2-m3 на Hugging Face совпадает с карточкой BAAI/bge-reranker-v2-m3, поэтому описание составлено по ней. BAAI/bge-reranker-v2-m3 — многоязычная модель переранжирования от BAAI, построенная на базе bge-m3 и использующая архитектуру XLM-RoBERTa для классификации последовательностей. Она принимает запрос и текстовый фрагмент и выдаёт оценку их релевантности; более высокий балл означает более подходящий фрагмент. При необходимости оценку можно преобразовать сигмоидой в значение от 0 до 1. Модель предназначена для повторной сортировки результатов поиска, например, для уточнения порядка документов, найденных системой извлечения, и повышения качества выдачи в многоязычных сценариях. В README она описана как быстрая и удобная для развёртывания; метаданные указывают 658,7 млн параметров и контекст до 8194 токенов. Карточка характеризует её как многоязычную, но не перечисляет отдельные языки. Модель доступна по лицензии Apache-2.0. Релевантность оценивается для пары «запрос — фрагмент», поэтому для поиска по корпусу сначала нужны кандидаты, полученные отдельной системой извлечения; модель сама не выполняет полный поиск. Скорость и пригодность к развёртыванию заявлены в карточке, но конкретные показатели производительности не приведены.

CodeGen2 — авторегрессионная языковая модель Salesforce для синтеза программного кода. Эта версия содержит 3,7 млрд параметров, построена на плотной архитектуре CodeGenForCausalLM и работает с контекстом до 2048 токенов. Модель принимает текстовые подсказки на естественном языке и фрагменты кода, продолжает код и умеет заполнять пропуски внутри него. Модель обучена на очищенном наборе Stack v1.1 и рассчитана на генерацию исполняемого кода по подсказкам на английском языке, а также на дополнение существующих фрагментов. В карточке перечислены C, C++, C#, Dart, Go, Java, JavaScript, Kotlin, Lua, PHP, Python, Ruby, Rust, Scala, Shell, SQL, Swift, TypeScript и Vue. Веса доступны в формате PyTorch; лицензия — Apache 2.0. Результаты генерации следует проверять: модель может выдавать ошибочный или небезопасный код, а авторы рекомендуют оценивать точность и риски перед внедрением. Карточка указывает исследовательское назначение выпуска; это само по себе не означает, что чекпойнт является промежуточным исследовательским экспериментом.

newmindai/ColmmBERT-small-TR — модель PyLate на базе ModernBERT, дообученная на турецком наборе msmarco-tr для поиска и ранжирования текстов. Она кодирует запросы и документы в последовательности плотных векторов размерности 128 и оценивает их сходство оператором MaxSim. Модель подходит для семантического поиска по индексам FastPLAID и для переранжирования результатов первичного поиска. В архитектуре ColBERT используется трансформер ModernBertModel и линейный слой проекции с 384 до 128 измерений. В README заданы длина запроса 32 токена и длина документа 180 токенов; метаданные указывают контекст до 8192 токенов и 140,5 млн параметров. Модель рассчитана на турецкий язык. Распространяется в формате safetensors; лицензия в предоставленных данных не указана.

Карточка модели TechxGenus/CursorCore-Yi-1.5B на Hugging Face совпадает с карточкой TechxGenus/CursorCore-DS-1.3B, поэтому описание составлено по ней. CursorCore-DS-1.3B — модель из серии CursorCore, разработанной Hao Jiang, Qi Liu, Rui Li, Shengyu Ye и Shijin Wang для помощи в программировании. Она дообучена на базе deepseek-ai/deepseek-coder-1.3b-base и предназначена для генерации кода и диалоговой поддержки в сценариях AI-помощника программиста, включая редактирование кода, встроенный чат и автодополнение. Модель использует плотную архитектуру семейства LLaMA с причинно-следственной языковой моделью на 1,3 млрд параметров. Она принимает текстовые запросы и контекст с кодом и генерирует текст, включая программный код; заявленная длина контекста — 16 384 токена. README показывает сценарии обычного чата и взаимодействия с кодом, но примеры для конкретной модели частично используют другие модели CursorCore. Лицензия указана как other, поэтому условия использования следует сверять с карточкой модели.

Карточка модели TechxGenus/CursorCore-Yi-1.5B-SR на Hugging Face совпадает с карточкой TechxGenus/CursorCore-DS-1.3B, поэтому описание составлено по ней. CursorCore-DS-1.3B — модель из серии CursorCore, разработанной Hao Jiang, Qi Liu, Rui Li, Shengyu Ye и Shijin Wang для помощи в программировании. Она дообучена на базе deepseek-ai/deepseek-coder-1.3b-base и предназначена для генерации кода и диалоговой поддержки в сценариях AI-помощника программиста, включая редактирование кода, встроенный чат и автодополнение. Модель использует плотную архитектуру семейства LLaMA с причинно-следственной языковой моделью на 1,3 млрд параметров. Она принимает текстовые запросы и контекст с кодом и генерирует текст, включая программный код; заявленная длина контекста — 16 384 токена. README показывает сценарии обычного чата и взаимодействия с кодом, но примеры для конкретной модели частично используют другие модели CursorCore. Лицензия указана как other, поэтому условия использования следует сверять с карточкой модели.

d7 — дообученная модель для генерации кода, созданная на основе deepseek-ai/deepseek-coder-1.3b-base и обученная на наборе данных generator. Она использует плотную архитектуру LlamaForCausalLM и содержит 1,3 млрд параметров. Модель предназначена для генерации текста и кода; базовая модель поддерживает продолжение, автодополнение и заполнение пропусков в коде. Контекст — до 16 384 токенов. В репозитории представлены веса в формате safetensors. Лицензия в доступных данных не указана.

Это пакет GGUF для распределённого запуска DeepSeek-R1-Distill-Qwen-14B в Mesh LLM. Разработчик Mesh LLM разделил вариант Q4_K_M на артефакты по слоям, чтобы модель можно было запускать на нескольких машинах локального кластера и предоставлять через локальный API, совместимый с OpenAI.

Frank 26B-A4B — модель TendieLabs, дообученная на базе Google Gemma 4 26B-A4B-it для генерации кода, отладки, проверки и рефакторинга. Модель предназначена для локального использования как помощник программиста через OpenCode или OpenAI-совместимые клиенты, включая закрытые среды с требованиями к происхождению моделей. Это разреженная архитектура Mixture-of-Experts: 25,2 млрд параметров всего, около 3,8 млрд активных за проход и 128 экспертов. По заявлению автора, Frank быстрее базовой модели на задачах преобразования кода благодаря выборочному использованию рассуждений. Обучение охватывало примерно 33 тысячи примеров, включая C#, Python, отладку и рассуждения; отдельно отмечена конвертация VBA в Python. Поддерживается английский язык. Модель рассчитана на текстовый ввод и выдачу текста, а не на мультимодальные задачи. Автор рекомендует температуру 1.0: при низкой температуре режим рассуждений может зацикливаться и приводить к пустым ответам. В README приведены результаты собственных оценок на небольшом наборе задач, поэтому заявленные качество и ускорение не следует считать независимым сравнительным бенчмарком. Лицензия — Apache 2.0.

Gemma 4 E4B IT для RK1828 — мультимодальная инструктивная модель Google DeepMind, подготовленная проектом t-firefly для запуска на плате Rockchip RK1828 через LlamaPi. Это плотная модель семейства Gemma 4 с архитектурой Gemma4ForConditionalGeneration; репозиторий содержит форматы GGUF и Safetensors. В карточке указано, что исходная модель принимает текст, изображения и аудио и формирует текстовые ответы. Модель предназначена для диалога, рассуждений, программирования и мультимодальных сценариев на устройствах и периферийных системах. Она также заявлена для многоязычных и агентных задач. Для запуска README приводит команду LlamaPi `llamapi run gemma4:e4b`. Модель основана на `google/gemma-4-E4B-it`; лицензия репозитория — Apache 2.0. Описание не приводит подробностей о поддерживаемых языках, длине контекста или ограничениях качества; качество и доступность функций могут зависеть от конфигурации запуска на RK1828.

GetCode-slerp — объединённая языковая модель для генерации кода, созданная с помощью LazyMergekit на основе CodeLlama-7b-Instruct-hf и CodeGen2.5-7B-Multi. Она предназначена для генерации и дополнения кода по текстовым запросам; архитектура — плотная LlamaForCausalLM, размер — 6,6 млрд параметров, контекст — до 16 384 токенов. Модель принимает текст и выдаёт текст. В README указано слияние методом slerp с настройками, различающимися для слоёв self-attention и MLP. Репозиторий содержит веса safetensors, а лицензия — Apache-2.0. Базовая CodeLlama рассчитана на генерацию, дополнение и объяснение кода; для этой конкретной объединённой модели README прямо подтверждает происхождение, но не приводит отдельных результатов оценки качества.

GLM-5.2-MXFP4xFP8_BLOCK — квантизированная версия языковой модели GLM-5.2, разработанная RedHatAI на базе модели zai-org/GLM-5.2. Это текстовая causal language model с архитектурой GlmMoeDsaForCausalLM: принимает текст и генерирует текст. В README указана поддержка английского и китайского языков, а также готовность к инференсу через vLLM. Модель использует смешанную квантизацию: линейные слои MoE-экспертов квантизированы до 4-битного MXFP4, а линейные слои внимания, dense- и shared-expert-компоненты — до 8-битного блочно-масштабируемого FP8_BLOCK; активации квантизируются в FP8 с динамическим масштабированием. В среднем используется около 4,4 бита на параметр, благодаря чему размер модели на диске сокращён примерно с 1,47 ТБ в формате BF16 до 411 ГБ, а требования к дисковой и GPU-памяти уменьшены приблизительно на 72%. Модель предназначена для запуска крупной GLM-5.2 в условиях ограниченных ресурсов, включая инференс с использованием vLLM, параллелизма по тензорам, FP8 KV-кэша и инструментального вызова. Ключевое ограничение — экспериментальная поддержка этого квантизированного checkpoint в vLLM; размер контекста, точное число параметров, мультимодальные возможности и лицензия в README не указаны. Квантизация выполнена с помощью LLM Compressor методом RTN без калибровочных данных, а модель экспортирована в формате compressed-tensors.

GritHopper-7B — плотная модель поиска, разработанная авторами GritHopper на основе объединения GritLM-7B и Mistral-7B-v0.1. Она предназначена для многошагового поиска доказательных фрагментов по сложным вопросам без явного разложения запроса на под-вопросы. На каждом шаге модель учитывает исходный запрос и уже найденные свидетельства, а затем выбирает следующий набор документов; поиск можно завершить автоматически или ограничить числом шагов. Модель использует декодерную архитектуру Mistral и подход к извлечению, похожий на encoder-only: каждый шаг поиска выполняется за один прямой проход. Она обучена на наборах данных для многошаговых вопросов и фактчекинга, включая MuSiQue, HotPotQA, 2WikiMultiHopQA, HoVer и EX-Fever, и рассчитана на обобщение на данные, отличающиеся от обучающих. Размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов; указана поддержка английского языка. Лицензия — Apache-2.0. Модель подходит для построения систем поиска по документам и RAG-конвейеров, которым требуется собирать сведения из нескольких источников. Она оценивает сходство запроса с кандидатами-документами и поддерживает итеративный поиск, но сама по себе не заменяет генератор итогового ответа. Заявления о качестве основаны на бенчмарках авторов; фактическая эффективность зависит от корпуса, настроек поиска и сценария применения.

GTE-ModernColBERT-SauerkrautLM-linear-merge — демонстрационная модель, созданная слиянием весов двух чекпойнтов средствами Sentence Transformers: lightonai/GTE-ModernColBERT-v1 и VAGOsolutions/SauerkrautLM-Multi-ModernColBERT. Для объединения применён линейный метод с равными весами 0,5; модель сохранена в формате safetensors. Это не специализированный релиз, дообученный под конкретную задачу. Модель на архитектуре ModernBERT предназначена для получения много-векторных представлений текста и задач семантического сходства, поиска документов и переранжирования результатов. Она принимает текст, поддерживает контекст до 8192 токенов и содержит 149 млн параметров. Базовые модели ориентированы на англоязычный семантический поиск; отдельные языковые возможности слитой версии в карточке не уточнены. Модель может служить компонентом поискового конвейера, где эмбеддинги используются для сопоставления запросов и документов. Поскольку это демонстрационное слияние, качество для конкретных наборов данных и задач не гарантируется. Лицензия в предоставленных данных не указана.

jina-embeddings-v5-text-small-clustering — компактная модель векторных представлений текста от Jina AI, предназначенная прежде всего для кластеризации. Это квантизированная версия базовой модели jinaai/jina-embeddings-v5-text-small, обученная с использованием дистилляции и задачных контрастивных потерь. Модель подходит для группировки текстов по смыслу и других сценариев, где требуется преобразование документов или фрагментов текста в эмбеддинги. Модель содержит 677 млн параметров, поддерживает многоязычные тексты и обрабатывает последовательности длиной до 32 768 токенов. Размер выходного эмбеддинга составляет 1024 измерения; поддерживаются Matryoshka-размерности 32, 64, 128, 256, 512, 768 и 1024, что позволяет выбирать компромисс между качеством и затратами на хранение и поиск. Используется pooling по последнему токену. Модель интегрируется с sentence-transformers, vLLM, llama.cpp и Elastic Inference Service. Сильными сторонами являются компактность, высокая производительность для своего размера, большой контекст и возможность адаптировать размер вектора. Ограничение модели — заявленная специализация на кластеризации; README не приводит подробностей о точном наборе поддерживаемых языков и не описывает качество для других задач. Распространяется по лицензии CC BY-NC 4.0, допускающей использование с ограничениями, включая некоммерческий характер лицензии.

jina-reranker-v1-tiny-en-GGUF — англоязычная модель для переранжирования результатов поиска, разработанная Jina AI. Это GGUF-квантизация исходной модели jina-reranker-v1-tiny-en, подготовленная на основе версии llama.cpp с идентификатором f4d2b. Модель предназначена для оценки релевантности документов относительно поискового запроса и сортировки найденных результатов, в том числе в системах семантического поиска и retrieval-augmented generation. В основе модели лежит JinaBERT — вариант архитектуры BERT с симметричным двунаправленным механизмом ALiBi, поддерживающим обработку последовательностей длиной до 8192 токенов. Модель имеет 4 слоя, скрытый размер 384 и около 33 миллионов параметров. Она работает с текстом на английском языке и относится к архитектуре cross-encoder, то есть совместно анализирует запрос и каждый документ. Для повышения скорости используется knowledge distillation: компактная модель-ученик перенимает знания более крупной jina-reranker-v1-base-en. Ключевые преимущества модели — высокая скорость вывода, небольшой размер и возможность обрабатывать длинные тексты при сохранении конкурентной точности. Ограничением является специализация на английском языке и компромисс между скоростью и точностью: по сравнению с более крупными моделями она ориентирована на сценарии, где максимальная точность менее важна. В README указана лицензия Apache-2.0.

jina-reranker-v3.5-GGUF — это квантизированная GGUF-версия мультиязычной listwise-модели переранжирования jina-reranker-v3.5, разработанной Jina AI. Модель предназначена для оценки релевантности документов относительно поискового запроса и улучшения результатов информационного поиска, включая доменно-ориентированные сценарии. Она может использоваться локально через llama.cpp и Python-обёртку GGUFReranker. Модель работает с текстом и поддерживает мультиязычные входные данные. В основе используется архитектура с гибридным вниманием и само-дистилляцией; исходная реализация требует некаузального режима encoder и отдельного MLP-проектора. Доступны варианты квантизации от BF16 до низкобитных IQ- и Q-форматов размером примерно от 1,2 ГБ до 199 МБ. Для работы также необходимы projector.safetensors, tokenizer.json, совместимая сборка llama-embedding и зависимости Python; официальная версия llama.cpp на момент описания не поддерживает все требуемые функции. К сильным сторонам относятся мультиязычность, возможность listwise-переранжирования и широкий выбор вариантов квантизации для различного баланса качества и потребления памяти. Ограничениями являются необходимость специальной сборки llama.cpp, отдельных файлов проектора и токенизатора, а также потенциальная потеря качества в низкобитных вариантах. Модель и её GGUF-реализация распространяются по лицензии CC BY-NC 4.0, допускающей использование с некоммерческими ограничениями; по вопросам коммерческого применения рекомендуется обращаться к Jina AI.

OsaurusAI/Laguna-M.1-JANG_1L — версия модели Poolside Laguna-M.1, подготовленная Osaurus для локального запуска на компьютерах Apple Silicon. Это MoE-модель для генерации текста и агентного программирования; в README указаны 225 млрд параметров и около 23 млрд активных параметров. Профиль JANG_1L использует аффинную квантизацию: 2 бита для gate/up/down, 4 бита для shared/dense и 8 бит для attention; размер сборки около 72 ГБ. Метаданные указывают 17,1 млрд параметров и контекст до 262 144 токенов, что расходится с числом параметров в README. Модель предназначена для написания и анализа кода, а также длительных агентных задач с инструментами. Для запуска требуется Laguna-совместимая среда, например Osaurus или vMLX: архитектура использует нестандартные механизмы внимания и маршрутизации MoE, которые не поддерживаются обычными загрузчиками. Базовая модель распространяется по лицензии Apache-2.0; README указывает эту же лицензию для сборки.

Myric/Laguna-S-2.1-APEX-GGUF — неофициальная общественная GGUF-квантизация модели poolside/Laguna-S-2.1, разработанная сообществом Myric. Базовая модель представляет собой open-weight агентную MoE-модель для программирования с общим объёмом 118 млрд параметров и примерно 8 млрд активных параметров. Она предназначена для генерации кода, решения задач разработки и агентных сценариев. Доступны варианты с разной степенью сжатия: от APEX-i-quality размером около 73,9 ГБ до экспериментального APEX-i-mini размером около 43,6 ГБ. Для ускорения генерации предусмотрена совместная работа с draft-моделью DFlash в режиме speculative decoding. Архитектура включает 48 слоёв, 256 маршрутизируемых и один общий эксперт, top-10 маршрутизацию, GQA с softplus-гейтингом на уровне голов, а также смешанное sliding-window/global attention. Заявленный контекст составляет 1 млн токенов. APEX распределяет точность квантизации с учётом роли тензора и слоя, сохраняя более высокую точность для общих экспертов и краевых слоёв и сильнее сжимая разреженные маршрутизируемые эксперты. Языки модели в README не указаны. Сильной стороной является существенное уменьшение размера по сравнению с BF16-версией при сохранении потенциально близкого качества, а также возможность локального запуска. DFlash Q4_K_M имеет размер около 652 МБ и в приведённых тестах ускорял генерацию до 1,20 раза для варианта APEX-i-quality; на специализированных задачах разработчики базовой модели заявляют более высокие ускорения, однако эти результаты относятся к отдельной карточке DFlash. Показатели perplexity для APEX-вариантов ещё не измерены, поэтому качество квантизации не подтверждено. Вариант APEX-i-mini обозначен как экспериментальный и может заметно уступать более крупным вариантам. Для DFlash требуется форк llama.cpp от Poolside. Лицензия указана как openmdw-1.1. Квантизация не связана с Poolside или unsloth, предоставляется без гарантий и должна быть проверена перед использованием в критически важных сценариях.

Laguna XS.2 — разработанная Poolside языковая модель для агентного программирования и длительных задач разработки ПО. Она предназначена для работы в локальной среде и поддерживает диалоговый режим, рассуждения между вызовами инструментов и управление режимом рассуждений в запросах. Архитектура — Mixture-of-Experts: в README указаны 33 млрд параметров всего и 3 млрд активных на токен, 40 слоёв и 256 экспертов с одним общим экспертом. В 30 слоях применяется скользящее оконное внимание, в остальных — глобальное; окно внимания составляет 512 токенов. Контекст — 262 144 токена. Модель текстовая, обучалась в несколько этапов, включая предварительное обучение, постобучение и обучение с подкреплением. Карточка приводит результаты на SWE-bench и Terminal-Bench; эти оценки получены в конкретных условиях тестирования и не гарантируют аналогичной производительности в других сценариях. Модель доступна в формате safetensors и поддерживается Transformers, vLLM, SGLang и другими средствами локального запуска, в том числе Ollama. По README, для запуска на Mac рекомендуется система с 36 ГБ оперативной памяти. Лицензия Apache 2.0 разрешает коммерческое и некоммерческое использование с соблюдением лицензионных условий и политики допустимого использования Poolside.