II.8Инженерия данных и аналитика

Decision-1.0-Kai-0.6B — модель для структурированного выбора и оценки решений, разработанная командой vllm-sr. Она принимает контекст вместе с вопросами и описаниями кандидатов, а затем возвращает ответы и распределения вероятностей; генерация текста не используется. Модель дообучена на многоязычном энкодере Vela-1.0-Encoder-307M и имеет архитектуру Decision1Model с тремя двунаправленными путями по 22 слоя, общими входными эмбеддингами и отдельными слоями взаимодействия для разных типов решений. Модель предназначена для выбора между действиями или категориями, проверки условий и оценивания по упорядоченным критериям. Кандидаты задаются при каждом запросе; вопросы можно объединять для одного контекста или применять к пакетам контекстов. Полный запрос ограничен 1 024 токенами, включая контекст, вопросы, кандидатов и специальные токены; более длинные запросы отклоняются. В README приведены результаты бенчмарков на английском и китайском языках, но широкие многоязычные результаты относятся к предыдущим весам. Модель распространяется в формате safetensors по лицензии Apache-2.0. Для обслуживания через vLLM требуется совместимая среда vLLM Semantic Router Decision; локальный запуск возможен через Transformers с включением trust_remote_code. Вероятности не гарантируют правильность решения, порядок кандидатов может влиять на прогнозы, а в тестах Transfer модель уступала англоязычной Laya.

DeepSeek V4 Flash 0731 for one DGX Spark — это квантованная сборка модели DeepSeek-V4-Flash-0731, разработанной командой DeepSeek и упакованная пользователем 0xSero. Модель предназначена для генерации текста и программного кода, структурированного вывода и работы через OpenAI-совместимый API. В README указана архитектура mixture-of-experts; сборка использует REAP pruning, формат EXL3/Trellis и точность около 3,0 bpw. Модель рассчитана на развёртывание на одном NVIDIA DGX Spark с GPU GB10/SM121 и 128 ГБ унифицированной памяти. Заявленный предел контекста составляет 262 144 токена. Для запуска требуется специализированный ARM64-совместимый runtime SparkInfer и опубликованный Docker-образ; стандартные vLLM, ExLlamaV3 и простой запуск с tensor parallelism 1 не поддерживаются для этого rank-sliced артефакта. Поставляемый runtime выполняет преобразование TP4-чекпойнта в TP1 и поддерживает CUDA Graphs и speculative decoding. К сильным сторонам относятся возможность локального запуска крупной MoE-модели на одном DGX Spark, проверенная генерация текста и кода, поддержка строгих JSON-схем и длинного контекста. Ограничения — жёсткая зависимость от конкретного оборудования и закреплённого runtime, значительный объём загрузки и дискового пространства, а также не полностью достигнутый целевой порог стабильной скорости декодирования: в одном из пяти измерений получено 34,30 токена в секунду. Лицензия модели указана как MIT.

KennethEnevoldsen/dfm-sentence-encoder-large — датская модель для получения векторных представлений предложений. Это версия chcaa/dfm-encoder-large-v1, дообученная методом SimCSE в рамках Scandinavian Embeddings Benchmark как простой базовый ориентир. Архитектура — BERT; модель содержит около 453,9 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для извлечения эмбеддингов датского текста, например для сравнения смысловой близости предложений и поиска похожих фрагментов. Опубликована в форматах PyTorch и Safetensors. Лицензия — MIT.

denniscraandijk/dutch-english-multilingual-e5-large-instruct — сжатая удалением параметров версия multilingual-e5-large-instruct, созданная с помощью mtem-pruner для задач на нидерландском языке. Модель на архитектуре XLM-RoBERTa содержит 450,6 млн параметров и формирует плотные текстовые эмбеддинги для семантического поиска, извлечения релевантных фрагментов и сравнения предложений. Она рассчитана прежде всего на нидерландский; README также указывает английский в названии, но не подтверждает его качество. Контекст — до 514 токенов. По данным карточки, модель на 37,2% меньше исходной и должна сохранять близкое качество на нидерландских задачах при меньших требованиях к памяти. Удаление токенов из словаря может ухудшить работу на других языках исходной многоязычной модели. Модель распространяется по лицензии MIT.

Это компактная модель Sentence Transformers, разработанная автором репозитория much1na и дообученная на основе capemox/ettin-encoder-17m-pretrain-50m для поиска по текстам. Она кодирует предложения и абзацы в плотные векторы размерности 768 и позволяет сопоставлять запросы с документами по косинусному сходству. Модель построена на архитектуре ModernBERT, содержит 16,8 млн параметров и принимает текст с контекстом до 7999 токенов по метаданным; в README заявлена максимальная длина 8192 токена. Модель обучена на 483 497 примерах датасета msmarco-embed-dense_on-triples-v3 с EmbedDistillLoss. Её сценарии — семантический поиск, извлечение релевантных документов и ранжирование кандидатов по близости векторных представлений; в README приведены результаты оценки на наборах NanoBEIR и отдельных задачах поиска. Базовая модель описана как англоязычная, а оценка использует английский NanoBEIR и подсказки query/document, поэтому подтверждена пригодность прежде всего для английского текста. Лицензия в предоставленных данных не указана. Как и другие модели векторного поиска, качество зависит от языка и тематики входных текстов; приведённые оценки относятся к указанным тестовым наборам и не гарантируют качество на произвольных данных.

Systran/faster-whisper-tiny — конверсия модели openai/whisper-tiny в формат CTranslate2, подготовленная Systran для запуска через CTranslate2 и проекты на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания речи и представлена в виде весов FP16; при загрузке тип вычислений можно изменить параметром compute_type. Модель принимает аудио и преобразует речь в текст. Whisper поддерживает распознавание и транскрибирование многоязычной речи; метаданные перечисляют языки, включая английский, китайский, немецкий, русский, французский, японский, испанский и другие. Репозиторий содержит именно конвертированные веса и ссылается на карточку исходного Whisper tiny за подробностями о модели. Лицензия репозитория — MIT. Компактный вариант tiny подходит для сценариев, где важны скорость и умеренные вычислительные ресурсы; по сравнению с более крупными моделями качество распознавания может быть ниже, особенно на сложной или шумной речи.

Fidel 1.1 — компактная текстовая авторегрессионная модель от 4E-AI для локальной генерации текста и диалогов. Вариант репозитория содержит веса SafeTensors, токенизатор и реализацию для Transformers; лицензия Apache-2.0 разрешает использование, изменение и распространение на её условиях. Архитектура сочетает восемь блоков Mamba3 MIMO с блоком внимания и латентной смесью экспертов: в каждом блоке маршрутизация выбирает два эксперта из шестнадцати. Метаданные указывают около 498,6 млн параметров, тогда как README сообщает примерно 1,403 млрд элементов с учётом весов и буферов; обозначение 1B относится к семейству модели. Модель принимает текст, поддерживает шаблон чата и включает компоненты для задач программирования. Заявленный предел совокупного ввода и вывода — 8192 токена. Модель предназначена для локальных чат-интерфейсов, генерации и дополнения кода, а также для экспериментов с черновиками, перефразированием, суммаризацией и ответами по переданным текстам. Авторы описывают эти сценарии как направления для самостоятельной проверки, а не гарантии качества. Включённая реализация рассчитана на Transformers и PyTorch; генерация повторно обрабатывает полный префикс без кеширования, поэтому длинные диалоги требуют больше вычислений. Указаны ограничения на точность, батчинг с дополнением, распределение по нескольким устройствам и альтернативные движки обслуживания; ответы и код могут быть ошибочными.

GME-Qwen2-VL-7B — мультимодальная модель эмбеддингов Tongyi Lab, подразделения Alibaba Group, дообученная на основе Qwen2-VL-7B-Instruct. Она преобразует текст, одно изображение или пару «изображение и текст» в векторные представления для поиска по тексту и изображениям, включая поиск между модальностями и визуальный поиск по скриншотам документов. Модель использует архитектуру Qwen2-VL, содержит 7,1 млрд параметров по метаданным, поддерживает контекст до 32 768 токенов и динамическое разрешение изображений; размер вектора — 3584. В README сообщается о высоких результатах на бенчмарках UMRB и MTEB, в том числе для задач мультимодального поиска и поиска по сложным документам, например научным статьям. Модель обучалась только на английских данных, поэтому качество мультимодальных эмбеддингов для других языков не гарантируется. В текущей версии поддерживается одно изображение на вход; число визуальных токенов ограничено 1024. Лицензия — Apache-2.0; при распространении модели, производных работ или продуктов с её использованием необходимо заметно указывать «Built with GME», а имена распространяемых моделей, созданных с использованием её выходов, должны начинаться с «GME».

GPT-OSS-Swallow 120B RL v0.1 — японско-английская языковая модель TokyoTech-LLM, дообученная на основе GPT-OSS-Swallow-120B-SFT-v0.1 с применением обучения с подкреплением по проверяемым наградам. Это разреженная MoE-модель для диалогов и генерации текста; заявленный размер — 2,1 млрд параметров, контекстное окно — до 131 072 токенов. В обучении уделено внимание японскому и английскому языкам, математике, программированию и рассуждениям. Модель подходит для двуязычного общения, перевода между японским и английским, решения математических задач, помощи с кодом и ответов на общие вопросы. Разработчики сообщают о сохранении и улучшении математических и программных навыков относительно исходной GPT-OSS. Хотя технически поддерживается контекст до 131 072 токенов, модель не обучалась и не оценивалась на задачах с контекстом свыше 32 тысяч токенов; для стабильности рекомендуется reasoning effort medium. Использование инструментов явно не обучалось, поведение при вызове функций и самоидентификации не подтверждено. Модель выпущена под лицензией Apache-2.0.

GreenNode-Embedding-Large-VN-Retrieval-fine-tuned-without-lotrinhhoc-18DEC — модель Sentence Transformers, дообученная GreenNode на базе GreenNode/GreenNode-Embedding-Large-VN-Mixed-V1 для получения плотных векторных представлений предложений и абзацев. Она использует XLM-RoBERTa с пуллингом CLS-токена и нормализацией; размер вектора составляет 1024, максимальная длина последовательности — 8192 токена, а близость текстов можно оценивать косинусным сходством. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текстов. В README приведены результаты оценки retrieval на наборе val_hit_at_k, а также сведения о дообучении на 3008 парных примерах; примеры данных на вьетнамском языке указывают на целевую ориентацию на этот язык. Для запуска подходит библиотека Sentence Transformers. Лицензия в предоставленных данных не указана.

Hercules-phi-2 — языковая модель M4-ai, полученная дообучением Phi-2 на всех примерах датасета Locutusque/hercules-v4.5. Это плотная авторегрессионная модель семейства Phi с 3,5 млрд параметров и контекстом 2048 токенов; она работает с текстом на английском языке. Модель предназначена для диалогов с ассистентом, ответов на вопросы, математических задач, программирования, вызова функций и ролевых сценариев. Репозиторий содержит веса в формате Safetensors и рассчитан на использование с Transformers. Лицензия — Apache-2.0. В карточке нет результатов оценки качества.

bartowski/huihui-ai_Qwen3-Coder-Next-abliterated-GGUF — набор GGUF-квантизаций модели Huihui-Qwen3-Coder-Next-abliterated, разработанной huihui-ai. Квантизации выполнены bartowski с использованием llama.cpp и метода imatrix. Модель относится к классу text-generation и предназначена для локального запуска генеративных сценариев, включая работу с кодом и текстом. Модель доступна в различных вариантах квантования от Q3 до Q8, включая Q4_K_M, Q5_K_M, Q6_K и Q8_0. Размер файлов варьируется примерно от 42,67 до 84,81 ГБ; некоторые варианты разделены на несколько файлов. Для запуска указаны llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и LoLLMs. Используется шаблон диалога ChatML с маркерами system, user и assistant. README не сообщает точные архитектурные характеристики исходной модели, число параметров, контекстное окно, поддерживаемые языки или модальности, поэтому эти сведения нельзя достоверно определить. Более низкие уровни квантования экономят память, но могут снижать качество; варианты Q5 и выше обозначены как высококачественные, а Q4_K_M — как стандартный вариант для большинства сценариев. Модель имеет статус abliterated и uncensored, что может означать изменённые ограничения поведения по сравнению с исходной моделью. Лицензия — Apache-2.0.

INTELLECT-1-step-78000 — промежуточный чекпойнт языковой модели INTELLECT-1 от Prime Intellect и сообщества участников. Модель обучалась с нуля и относится к плотной архитектуре Llama; в метаданных указано 9,7 млрд параметров, а в README размер округлён до 10 млрд. Чекпойнт соответствует шагу 78 000 обучения. Модель предназначена для генерации текста на английском языке, включая работу с кодом и математическими текстами. Она обучалась на корпусах веб-текстов, кода и математики, а длина контекста составляет 8 192 токена. Репозиторий содержит веса в формате safetensors. Это промежуточный чекпойнт, поэтому его качество может уступать финальной версии INTELLECT-1 и instruct-модели; для диалогового следования инструкциям предпочтительнее instruct-вариант. Модель выпущена под лицензией Apache 2.0.

KAT-Coder-V2.5-Dev-OptiQ-4bit-REAP-18B — это квантованная модель для генерации текста и кода, опубликованная сообществом mlx-community и предназначенная для локального запуска на устройствах Apple Silicon с использованием MLX. Она создана на основе mlx-community/KAT-Coder-V2.5-Dev-OptiQ-4bit с применением toolkit mlx-optiq и метода REAP, разработанного Cerebras Research. Модель ориентирована на программирование, генерацию текста и другие задачи, поддерживаемые исходной MoE-моделью, однако конкретный набор языков и специализированных сценариев в README не указан. Модель использует архитектуру Mixture-of-Experts: сохранено 128 из 256 экспертов в каждом слое, при этом для каждого токена по-прежнему активируются 8 экспертов. Объём модели составляет 18,3 млрд параметров, размер на диске — 11,4 ГБ против 34,7 млрд параметров и 20,4 ГБ у родительской версии. Эксперты были отобраны равномерно по слоям на основе условного среднего произведения веса маршрутизатора и нормы выхода эксперта. Удалённые эксперты не переобучались, а сохранённые были скопированы без изменений в квантованном виде. Главное преимущество модели — заметное снижение требований к дисковому пространству и памяти при сохранении исходного числа активных экспертов на токен, поэтому уменьшение размера не должно приводить к замедлению генерации. При этом данная версия отдельно не benchmark-илась, а опубликована по рецепту, проверенному на другой модели той же архитектуры. Для протестированного варианта сообщалось снижение общего Capability Score при сохранении процедурных способностей; качество конкретно этой модели может отличаться. Контекстное окно, поддерживаемые языки и MTP sidecar не указаны, причём MTP sidecar отсутствует. Модель распространяется по лицензии Apache-2.0.

kf-deberta-multitask — корейская модель sentence-transformers на архитектуре DeBERTa-v2, предназначенная для получения плотных векторных представлений предложений и абзацев. Разработчик не назван в доступной части карточки. Модель содержит 213,1 млн параметров, выдаёт эмбеддинги размерностью 768 и имеет контекстное окно 512 токенов. Модель обучалась на KorSTS и KorNLI в многозадачном режиме и оценивалась на KorSTS. Она подходит для семантического поиска, сравнения смысловой близости текстов и кластеризации; README приводит метрики корреляции для нескольких способов сравнения векторов. Для извлечения эмбеддингов через Transformers требуется применять подходящую операцию pooling к контекстным представлениям токенов. Сведения о лицензии в предоставленных источниках отсутствуют.

KoVRE-Stage1 — мультимодальная модель эмбеддингов с 2 млрд параметров от автора whybe-choi, дообученная на базе Qwen/Qwen3-VL-Embedding-2B для поиска по визуальным документам. Она сопоставляет текстовые запросы на корейском или английском языке с изображениями страниц документов, включая сканы и отрендеренные страницы, и подходит для первого этапа поиска в мультимодальных RAG-системах. Модель создаёт один L2-нормированный вектор на запрос или страницу; доступны размеры эмбеддинга от 128 до 2 048 измерений, оптимизированные методом Matryoshka Representation Learning. Релевантность оценивают по косинусному сходству. Чекпойнт отражает первый этап обучения — контрастивное обучение на 708 729 парах «запрос — страница» на корейском и английском языках, с трудными отрицательными примерами и фильтрацией вероятных ложных отрицаний. Он предназначен также для исследований и дальнейшей адаптации. README рекомендует для промышленного применения и максимального качества корейского поиска финальный чекпойнт whybe-choi/kovre, обученный с дополнительной дистилляцией. Лицензия — Apache-2.0.

LFM2.5-1.2B-Thinking-ONNX — ONNX-экспорт модели LFM2.5-1.2B-Thinking, разработанной Liquid AI. Это текстовая генеративная модель для кроссплатформенного вывода, включая локальный запуск, браузерные приложения и устройства с поддержкой ONNX Runtime или WebGPU. Модель предназначена для задач, требующих рассуждений: математических вычислений, программирования, логического анализа и других сложных запросов. Она генерирует пошаговый процесс рассуждения в тегах <think>...</think>, после чего формирует итоговый ответ. Поддерживаются английский, японский, корейский, французский, испанский, немецкий, итальянский, португальский, арабский и китайский языки. Архитектура и максимальная длина контекста в README не указаны; размер модели составляет около 1,2 млрд параметров согласно идентификатору и описанию варианта. Доступны варианты FP32, FP16, Q8 и Q4. Квантизированный Q4-вариант занимает около 1,2 ГБ и рекомендован для большинства сценариев, FP16 — около 2,4 ГБ и ориентирован на более высокое качество, Q8 — около 1,7 ГБ как компромисс между качеством и размером. ONNX-формат облегчает переносимость, но для браузерного запуска требуется WebGPU. Ограничения включают небольшой размер по современным меркам, возможные ошибки в сложных задачах и необходимость самостоятельно обрабатывать разделение рассуждений и итогового ответа. Модель распространяется по лицензии lfm1.0; точные условия следует проверить в файле LICENSE репозитория.

Это квантованная 8-битная версия mxfp8 модели LFM2.5-Embedding-350M от Liquid AI, подготовленная для запуска на Apple Silicon через MLX. Модель представляет собой плотный двунаправленный биэнкодер семейства LFM2.5 с вектором CLS размерности 1024 и предназначена для мультиязычного поиска: отдельно кодирует запросы и документы, после чего их векторы сравнивают по косинусному сходству. При кодировании нужны префиксы «query: » для запросов и «document: » для документов. В репозитории указаны 366 МБ весов и контекст до 128 000 токенов. В тесте на четырёх англоязычных наборах NanoBEIR версия mxfp8 сохранила среднее значение NDCG@10 на уровне 100,7% от fp16; это ограниченная проверка английского поиска, а не оценка всей мультиязычной версии. Для инференса поставлен специализированный MLX-загрузчик, учитывающий двунаправленное внимание и CLS-пулинг. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой базовой модели и файлами лицензии репозитория.

LightOn-rerank-PW-2B — мультимодальная модель-реранкер от LightOn на базе Qwen/Qwen3.5-2B. Это точечный cross-encoder: он отдельно оценивает соответствие каждого текстового фрагмента или изображения страницы документа запросу и возвращает оценку logit(«Yes») − logit(«No»). Модель предназначена для второго этапа поиска после BM25, векторного поиска или retrieval-моделей семейства ColPali. Модель содержит около 2,2 млрд параметров, использует архитектуру Qwen3.5 с линейным и полным вниманием и принимает текстовый запрос вместе с текстовым документом либо изображением страницы. Она совместно дообучена на текстовых и визуальных данных; веса адаптера LoRA объединены с основной моделью. Обучение проводилось на английском языке, французский поддерживается благодаря мультиязычной базовой модели и работает без отдельного дообучения. Модель рассчитана на быстрое независимое ранжирование кандидатов и показала улучшение результатов поиска по тексту и визуальным документам в описанных в карточке тестах. Для работы требуются Transformers версии 5.4.0 или новее; для использования через Sentence Transformers также нужна версия 5.4.0 или новее. Модель распространяется по лицензии Apache-2.0.

Typhoon2-DeepSeek-R1-70B — тайская языковая модель для диалогов и рассуждений, разработанная Typhoon. Это плотная decoder-only модель на архитектуре Llama с 69,5 млрд параметров и контекстом до 131 072 токенов. Она создана слиянием DeepSeek-R1-Distill-Llama-70B и Typhoon2 70B Instruct с SFT; использует шаблон чата DeepSeek R1 Distill, а не Llama 3. Модель предназначена для ответов на инструкции и сложные вопросы, рассуждений, математики и программирования. README отмечает сильные результаты на тайском языке и сопоставимые с DeepSeek R1 Distill способности к рассуждению; основной язык — тайский, также поддерживается английский. Репозиторий использует Transformers и формат safetensors. Лицензия — Llama 3.1 Community License. Это исследовательская предварительная версия в разработке. Ответы могут быть неточными, предвзятыми или нежелательными; авторы не рекомендуют полагаться на встроенный интерфейс вызова инструментов.

Longformer-large-4096 — англоязычная предварительно обученная модель-трансформер от Allen Institute for AI (AI2), предназначенная для представления и анализа длинных текстов. В конфигурации — 24 слоя, 1024 скрытых измерения и около 454,1 млн параметров; модель рассчитана на последовательности примерно до 4096 токенов. Механизм внимания сочетает локальное скользящее окно и настраиваемое глобальное внимание, благодаря чему обработка длинных последовательностей масштабируется линейно по их длине. Модель подходит как основа для дообучения под задачи классификации документов, поиска ответов и других задач понимания текста; сама по себе она не является генеративным чат-ботом. Доступны веса PyTorch и TensorFlow. Условия лицензии в использованных источниках не установлены.

mDenseOn — мультиязычная модель плотного поиска LightOn на архитектуре mmBERT-base, представленная как Sentence Transformer с 306,9 млн параметров. Она независимо кодирует запросы и документы в векторы размерностью 768 и сопоставляет их по косинусному сходству; для запросов и документов используются префиксы `query:` и `document:`, а в качестве pooling применяется токен CLS. Модель поддерживает контекст до 8 192 токенов и предназначена для семантического поиска по текстам на английском, французском, немецком, итальянском, испанском, португальском, шведском, норвежском и арабском языках, а также для поиска по коду. Модель обучена LightOn на мультиязычных данных, полученных в том числе методом translate-train. В карточке заявлены результаты на мультиязычном поиске MIRACL, поиске по длинным документам MLDR, общем англоязычном поиске BEIR и поиске по коду MTEB Code. Одновекторное представление удобно для плотного поиска и ранжирования по сходству, однако качество заметно снижается на языках, не охваченных обучением для поиска; карточка рекомендует mLateOn, если важнее обобщение на такие языки и допустим многовекторный поиск. Лицензия — Apache 2.0.

Merino-Small — модель BAA AI (Black Sheep AI) для двух этапов поиска в RAG: построения эмбеддингов и ранжирования пар запроса и документа. В ней биэнкодер и 12-слойный кросс-энкодер используют общую таблицу эмбеддингов слов на базе MiniLM-L6-H384-uncased; общий размер составляет около 55 млн параметров, а эмбеддинги имеют размерность 384 и нормализуются по L2. Для векторного поиска README рекомендует добавлять к запросу префикс «Represent this sentence for searching relevant passages: ». Модель работает на английском языке. Её можно применять для семантического поиска и переоценки найденных кандидатов в RAG-системах. По данным README, модель компактна для развёртывания, а 4-битная квантизация сохраняет качество в описанном тесте с тематическими отвлекающими документами. Низкий показатель Position Balance (0,17) указывает на ограниченную способность находить второй независимый факт в одном фрагменте: рекомендуется разбивать документы на атомарные фрагменты по одному утверждению и возвращать родительский раздел для контекста. Лицензия в метаданных указана как other; конкретные условия README не приводит.

microsoft_NextCoder-32B-GGUF — это набор GGUF-квантизированных версий языковой модели NextCoder-32B, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и кода, включая сценарии программирования и чат-взаимодействия. В README указана поддержка английского языка; сведения о других языках отсутствуют. Модель имеет размер 32 млрд параметров и работает в текстовой модальности. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3, Q2 и IQ, что позволяет выбирать между качеством, размером файлов и требованиями к оперативной памяти. Рекомендуемыми названы, в частности, Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S и Q4_K_M. Размер файлов варьируется примерно от 13 до 66 ГБ. Размер контекста и точная архитектура в README не указаны. Сильными сторонами являются высокое качество старших вариантов квантизации, возможность локального запуска и совместимость с LM Studio, llama.cpp и другими проектами на его основе. Ограничения включают значительные требования к памяти, снижение качества у компактных вариантов и отсутствие сведений о мультимодальности, дополнительных языках и длине контекста. Модель распространяется по лицензии MIT; условия исходной модели и квантизированных файлов следует рассматривать с учетом указанной лицензии.

dealignai выпустила MiniCPM5-2B-CRACK-JANG_8M — дообученную версию openbmb/MiniCPM5-2B в формате MLX для запуска на Apple Silicon через vMLX. Это плотная Llama-совместимая языковая модель с 2,2 млрд параметров и контекстом до 131 072 токенов; модель принимает и генерирует текст, поддерживает английский и китайский языки, режим рассуждения с включением и выключением, а также вызов инструментов через XML. Модель предназначена для диалогов, программирования, рассуждений и тестирования поведения при удалённом отказе от ответов: README сообщает, что механизм отказов удалён на уровне весов. В карточке приведены результаты MMLU и HarmBench для этой сборки. Модель поставляется в 8-битном MLX-бандле JANG8M и заявлена как бесплатная для macOS; лицензия — Apache-2.0. Это текстовая модель без поддержки изображений. Поскольку поведение отказов удалено, модель может выдавать ответы на опасные запросы; применяйте её с учётом этого ограничения.

jigs97022/minicpm5-2b-distilled-reasoning-gguf — квантованная версия MiniCPM5-2B с дистиллированными рассуждениями, разработанная пользователем jigs97022 на базе модели MiniCPM5-2B от OpenBMB. Модель обучена на 10 тысячах высококачественных трасс рассуждений, полученных от Qwen3.8-Max, GLM-5.2 и Kimi K3, и предназначена для генерации текста, структурированного решения математических задач, написания кода, логических головоломок и сценариев с использованием инструментов. Доступна в формате GGUF для локального запуска через llama.cpp, Ollama, LM Studio и vLLM. Модель имеет размер 2B параметров и поддерживает контекст до 4096 токенов. Предлагаются варианты квантования Q4_K_M, Q6_K и Q8_0 объёмом примерно от 1,56 до 2,68 ГБ; они ориентированы соответственно на сбалансированную работу на ноутбуках, более высокое качество на настольных системах и минимальные потери качества. Сильными сторонами являются компактность, возможность локального CPU/GPU-инференса и специализация на пошаговом рассуждении. Ограничения включают меньший объём обучающих данных по сравнению с полноразмерными вариантами, возможное снижение качества на редких случаях, ограниченное контекстное окно, базу знаний примерно до 2024 года и склонность к подробным внутренним рассуждениям. Модель распространяется по лицензии Apache-2.0, однако для коммерческого использования рекомендуется отдельно проверить лицензию набора данных для дистилляции.

karsar/ModernBERT-base-hu — модель Sentence Transformers, дообученная автором на базе tasksource/ModernBERT-base-nli для получения векторных представлений венгерских предложений и абзацев. Она использует энкодер ModernBERT с усреднением токенных представлений и создаёт плотные эмбеддинги размерности 768; максимальная длина входа — 2048 токенов. Векторы предназначены для сравнения косинусного сходства. Модель подходит для семантического поиска на венгерском языке, поиска перефразирований, кластеризации текстов и классификации на основе эмбеддингов. В README приведена оценка cosine accuracy 0,7102 на all-nli-dev и 0,67 на all-nli-test; эти значения относятся к указанным наборам и не гарантируют такое же качество в других сценариях. Модель выпущена под лицензией Apache-2.0.

robro612/modernbert_xtr_contrastive_k256 — модель PyLate семейства ColBERT, дообученная автором на базе answerdotai/ModernBERT-base на наборе msmarco-10m-triplets из 10 млн примеров. Она предназначена для поиска и ранжирования текстов: кодирует запросы и документы в последовательности 128-мерных векторов и оценивает их сходство оператором MaxSim. Архитектура включает ModernBERT и линейный слой, преобразующий размерность с 768 до 128; размер модели — 149 млн параметров. Для документов предусмотрено до 512 токенов, для запросов — до 32; метаданные указывают нативный контекст 8192 токена. Модель можно применять для семантического поиска по коллекции документов с индексом FastPLAID, а также для переранжирования результатов первичного поиска. В README приведены результаты оценки на наборах NanoBEIR и тематических задачах поиска. Обучающий набор и базовая модель англоязычные, поэтому основное применение — поиск по английским текстам. Модель принимает текст и выдаёт векторные представления и оценки релевантности. Лицензия в предоставленных данных не указана.

robro612/modernbert_xtr_contrastive_k512 — англоязычная модель для поиска и ранжирования текстов, созданная дообучением answerdotai/ModernBERT-base командой или автором robro612 с помощью PyLate на наборе msmarco-10m-triplets. Архитектура ColBERT включает ModernBERT и линейный слой, преобразующий представления размерности 768 в последовательности 128-мерных векторов. Модель сопоставляет запросы и документы оператором MaxSim; в README указаны пределы в 32 токена для запроса и 512 токенов для документа, а метаданные указывают контекст до 8192 токенов. Модель предназначена для семантического поиска по коллекциям документов и повторного ранжирования результатов первичного поиска. Её можно применять для построения поискового индекса через PyLate и FastPLAID, поиска релевантных документов по запросу и ранжирования готовых пар запрос–документ. Обучение проводилось на англоязычных примерах MS MARCO; в README также приведены результаты оценки на наборах Nano BEIR и других коллекциях. Модель принимает текст запросов и документов и выдаёт векторные представления, используемые для расчёта релевантности. Репозиторий содержит веса Safetensors; для работы описан PyLate. Лицензия в предоставленных данных не указана.

ModernCE-base-nli — англоязычный cross-encoder на архитектуре ModernBERT-base, обученный автором dleemiller для классификации отношений между парами текстов: противоречие, нейтральность или следование. Модель дообучена на наборе AllNLI из Sentence Transformers и совместима с сопоставимыми cross-encoder-моделями Sentence Transformers. Модель предназначена для NLI, оценки смыслового сходства и проверки того, следует ли гипотеза из текста-посылки. Автор сообщает точность 90,34% на MNLI mismatched и 90,25% на SNLI. В README заявлена обработка последовательностей до 8192 токенов, тогда как метаданные указывают нативный контекст 2048 токенов. Веса содержат около 149 млн параметров и доступны в формате safetensors. Лицензия — MIT. Показатели приведены для указанных тестовых наборов; они не гарантируют качество на других данных. Модель ориентирована на английский язык.