II.6Документация и сопровождение разработки

Qwen3.8-27B-Uncensored-W4A16-AutoRound — квантизированная версия модели Qwen3.8-27B-Uncensored от orcarouter, созданная с использованием Intel AutoRound. Она основана на Qwen/Qwen3.8-27B и представляет собой abliterated-производную с существенно удалённым защитным выравниванием. Модель предназначена для исследовательских задач, включая интерпретируемость, исследования безопасности ИИ, red teaming, оценку моделей и интеграцию в собственные защищённые системы. Модель поддерживает работу с текстом и изображениями, языки English и Chinese, а также контекст до 262 144 токенов. Используется архитектура Qwen3.8 с сохранённой vision tower и MTP-головой для speculative decoding. Квантизация W4A16 выполнена методом AutoRound: основные линейные слои используют 4-битные веса и 16-битные активации, а vision tower, lm_head, embed_tokens и отдельные проекции GatedDeltaNet сохранены в bf16. Для запуска рекомендуется vLLM; заявлены показатели 0,9052 на GSM8K, 0,761 на MMLU-Pro и 0,880 на MMLU. Сильными сторонами являются большой контекст, поддержка изображений, сниженные требования к памяти по сравнению с полноразмерной моделью и сохранение значительной части исходных возможностей после квантизации. Ограничения включают возможное снижение качества из-за квантизации и abliteration, а также отсутствие эффективных встроенных защитных механизмов: модель может выполнять вредоносные, незаконные или неэтичные запросы. Её не следует предоставлять конечным пользователям без собственной системы безопасности. Лицензия — Apache-2.0; ответственность за использование и последствия вывода несёт пользователь.

dealignai/Qwen3.8-Flash-Next-ABLITERATED-NVFP4 — мультимодальная версия Qwen3.8-Flash-Next, разработанная dealignai. Это прямое изменение весов базовой модели без дообучения, LoRA, дистилляции или изменения шаблона чата; заявлено сохранение исходных знаний, стиля, рассуждений и калибровки. Модель предназначена для текстовых и мультимодальных сценариев с обработкой изображений и видео, включая распознавание форм, цветов, текста на изображениях, движения и объектов в видео. Поддерживаются режимы рассуждения low, medium и xhigh, а также MTP speculative decoding. Модель работает с SGLang и рассчитана на tensor parallel на двух NVIDIA DGX Spark с использованием 4-битного формата NVFP4. Размер модели, максимальная длина контекста и точный перечень поддерживаемых языков в README не указаны. По заявленным результатам, производительность на MMLU почти не изменилась относительно базовой модели: 81,93% против 82,11%. Также заявлены связная генерация без зацикливания и сохранение мультимодальных возможностей. Ключевое ограничение — удаление защитных отказов: модель описана как исследовательский артефакт без встроенных ограничений безопасности и может выполнять вредоносные, незаконные и неэтичные запросы. Использование допускается по лицензии qwen-community-license-1.0; модель предоставляется без гарантий, а ответственность за результаты и соблюдение законодательства возлагается на пользователя.

Baekpica/Qwen3.8-Flash-Next-Mixed-Quant-GGUF — это смешанно-квантизированная GGUF-конверсия базовой модели Qwen/Qwen3.8-Flash-Next, подготовленная Baekpica для запуска на оборудовании с ограниченной памятью, прежде всего NVIDIA DGX Spark с GB10. Модель предназначена для задач генерации и понимания текста, а согласно метаданным также относится к классу image-text-to-text. Репозиторий ориентирован на эксперименты с локальным инференсом, SSD-offload, оптимизацией выполнения и пользовательскими ядрами. Опубликованный вариант MQ-NG5-Q2K-Q4-SPLIT-E4 состоит из четырёх GGUF-шардов общим размером около 98,5 ГБ и содержит 1 756 тензоров. В нём применяются разные форматы точности, включая Q2_K, Q4_K, Q4_0, Q5_1, Q8_0, BF16 и F32; крупная PLE n-gram table объёмом 51,2 млрд параметров хранится в Q5_1, а внутренние routed gate/up-компоненты преимущественно квантизированы в Q2_K. Также описан более компактный калиброванный вариант с IQ2_XXS, но его сборка приостановлена. Точное общее число параметров, размер контекста, список языков и подтверждённые характеристики качества в README не указаны. Сильная сторона модели — существенное снижение требований к памяти за счёт смешанной квантизации при сохранении отдельных крупных или чувствительных компонентов в более высокой точности. При этом качество, поведение runtime и работа на DGX Spark для опубликованного варианта обозначены как предварительные. Используется пользовательская схема GGUF qwen4exp и ветка dfm проекта ds4; совместимость с upstream llama.cpp и другими GGUF-runtime не гарантируется. Лицензия указана как qwen-community-1.0; дополнительные условия следует проверять в лицензии базовой модели Qwen/Qwen3.8-Flash-Next.

SLIM-NER — специализированная языковая модель из серии SLIM компании LLMWare. Это плотная авторегрессионная модель семейства Llama с 1 млрд параметров, дообученная для извлечения именованных сущностей через вызовы функций. На вход подаются текст и список требуемых категорий, а на выходе модель формирует структурированный словарь, например со списками людей, организаций и мест.

Это англоязычный разреженный энкодер SPLADE, разработанный на базе Luyu/co-condenser-marco с помощью библиотеки sentence-transformers. Модель дообучена для поиска по текстам и преобразует предложения и абзацы в разреженные векторы размерностью 30 522; релевантность оценивается скалярным произведением векторов. Архитектура состоит из BertForMaskedLM и слоя SpladePooling с max-пулингом и ReLU. Максимальная длина входа — 512 токенов. Модель подходит для семантического поиска и разреженного извлечения документов, а также может использоваться в конвейерах эмбеддингов и сравнения предложений. В README приведены оценки на небольших наборах NanoMSMARCO, NanoNFCorpus и NanoNQ. Они дают ориентир по результатам, но не гарантируют качество на других корпусах; модель рассчитана на английский язык. Лицензия — Apache-2.0.

SPLADE Sparse Encoder — англоязычная модель на базе BERT, дообученная авторами репозитория tomaarsen от Luyu/co-condenser-marco на датасете MS MARCO с помощью Sentence Transformers. Она преобразует предложения и абзацы в разреженные векторы размерности 30 522 и предназначена для семантического поиска и разреженного извлечения документов; релевантность оценивается скалярным произведением векторов. Модель принимает последовательности длиной до 512 токенов и использует BertForMaskedLM с max pooling и активацией ReLU. Модель подходит для поиска документов по запросам и ранжирования кандидатов в англоязычных поисковых системах. В README приведены оценки на наборах NanoMSMARCO, NanoNFCorpus и NanoNQ. Модель распространяется по лицензии Apache-2.0. Она ориентирована на английский язык и разреженный поиск; результаты зависят от корпуса и поисковой настройки.

Table Transformer Structure Recognition v1.1 — модель Microsoft для распознавания структуры таблиц в документах. Она обучена на наборе PubTables1M и основана на DETR: Transformer-архитектура использует нормализацию перед слоями self-attention и cross-attention. Модель содержит 6,3 млн параметров и предназначена для обнаружения элементов структуры таблицы на изображении документа, например для последующего извлечения таблиц и их содержимого. Модель принимает изображения документов и выдаёт обнаруженные объекты и их расположение. Она распространяется в формате safetensors по лицензии MIT. README не приводит сведений о поддерживаемых языках или ограничениях качества.

XLM-RoBERTa base — многоязычная трансформерная модель FacebookAI, впервые выпущенная в этом репозитории. Она предварительно обучена на 2,5 ТБ отфильтрованных данных CommonCrawl на 100 языках с целью masked language modeling: модель восстанавливает замаскированные слова, используя контекст с обеих сторон. Это базовая модель архитектуры XLM-RoBERTa с 305,2 млн параметров и контекстом до 514 токенов. Модель подходит для предсказания пропущенных слов и получения текстовых представлений для последующей настройки на классификацию последовательностей и токенов, а также ответы на вопросы. Она поддерживает множество языков; метаданные перечисляют коды языков, среди которых английский, арабский, китайский здесь не указан, французский, немецкий, японский, корейский, русский также не указан. Для генерации связного текста модель не предназначена. Лицензия — MIT.

Youtu-VL-4B-Instruct — компактная зрительно-языковая модель Tencent Youtu Lab с плотной архитектурой на 4,8 млрд параметров, построенная на Youtu-LLM. Модель принимает изображения и текст и формирует текстовые ответы; контекст составляет до 32 768 токенов. В основе обучения лежит подход Vision-Language Unified Autoregressive Supervision (VLUAS), который использует общий мультимодальный словарь и обучает модель предсказывать визуальные и текстовые токены. Модель предназначена для вопросов и рассуждений по изображениям, распознавания текста на изображениях, анализа нескольких изображений, а также задач компьютерного зрения: обнаружения и подсчёта объектов, визуальной привязки, сегментации, оценки глубины и распознавания поз. Она также заявлена для мультимодальной математики и задач с графическим интерфейсом. Карточка отмечает конкурентные результаты на тестах, но не приводит здесь численных оценок. Модель доступна в формате safetensors и использует библиотеку Transformers. Лицензия указана как other; конкретные условия следует проверять в лицензии репозитория.

AceReason-Nemotron-14B-GGUF — GGUF-версия модели AceReason-Nemotron-14B, разработанной NVIDIA и подготовленной Unsloth. Модель создана для задач математического и программного рассуждения, включая решение математических задач, генерацию и анализ кода, а также задачи, требующие пошагового вывода. В основе лежит DeepSeek-R1-Distilled-Qwen-14B; обучение выполнялось с применением reinforcement learning сначала на математических, затем на программных задачах. Модель относится к текстовым авторегрессионным генеративным моделям и поддерживает английский язык. Заявленные результаты включают 78,6% на AIME 2024, 67,4% на AIME 2025, 61,1% на LiveCodeBench v5, 54,9% на LiveCodeBench v6 и рейтинг 2024 на Codeforces. По приведённым данным, её сильная сторона — специализированное рассуждение в математике и программировании; при этом README не содержит сведений о длине контекста, точной архитектуре GGUF-квантизации, требованиях к оборудованию и качестве работы на других языках или модальностях. Модель предназначена для текстового ввода и вывода. Использование регулируется NVIDIA Open Model License; тип лицензии указан как other, поэтому перед применением необходимо ознакомиться с полным текстом лицензии NVIDIA. Рекомендуется не использовать системный prompt, а формулировать инструкции непосредственно в пользовательском запросе; для математических задач предлагается пошаговое рассуждение с финальным ответом в формате \boxed{}.

ADELIE-DPO-1.5B — дообученная языковая модель, разработанная Yunjia Qi, Hao Peng, Xiaozhi Wang, Bin Xu, Lei Hou и Juanzi Li для извлечения информации из текста. Она основана на Qwen2.5-1.5B и дополнительно выровнена методом Direct Preference Optimization (DPO) после инструкционного дообучения на корпусе IEInstruct. Архитектура — плотная Qwen2ForCausalLM с 1,5 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для закрытого и открытого извлечения информации, а также извлечения по запросу: распознавания сущностей, извлечения отношений и событий. В карточке сообщается о результатах на отложенных наборах данных для извлечения информации и отсутствии заметного ухудшения общих возможностей. Основной язык — английский. Лицензия указана как LLaMA 2 License для базовой модели.

Корейская модель ColBERT, разработанная dragonkue и дообученная от skt/A.X-Encoder-base с помощью PyLate. Она предназначена для поиска по текстовым коллекциям и переранжирования результатов: кодирует запросы и документы в последовательности токенных эмбеддингов и сравнивает их оператором MaxSim. Модель построена на ModernBERT с проекцией 768→128; поддерживает матрёшечные размерности эмбеддингов 32, 64, 96 и 128. Документы могут содержать до 2048 токенов, запросы — до 32; контекст энкодера — до 16 384 токенов. Модель ориентирована на корейский язык, имеет 148,7 млн параметров и распространяется по лицензии Apache-2.0. Подходит для семантического поиска и ранжирования корейских документов, в том числе с использованием PyLate и PLAID для приближённого поиска по большим коллекциям. В README приведены результаты на AutoRAG, Ko-StrategyQA и NanoBEIR-Ko; выбор меньшей размерности сокращает размер векторов в 2–4 раза при небольших изменениях метрик. PyLate использует размерность 128; для переключения между размерностями требуется другой путь загрузки, указанный в карточке.

Curie-7B-v1 — польскоязычная языковая модель, разработанная Сzymon Ruciński. Это плотная авторегрессионная модель семейства Mistral на 7,1 млрд параметров, рассчитанная на генерацию текста. Авторы адаптировали англоязычную базовую модель к польскому языку с помощью Language Adaptive Pre-training на корпусе SpeakLeash объёмом около 276 млн польских токенов, а затем дообучили её на задачах KLEJ. Контекст модели — до 32 768 токенов. Модель предназначена для генерации польского текста и может служить основой для польскоязычных ассистентов и решений NLP; результаты KLEJ показывают близкие к сильным базовым моделям показатели на восьми из девяти задач. В README также описана низкая perplexity 3,02 среди декодерных моделей. Это исследовательская разработка, опубликованная под лицензией Apache-2.0. Карточка не приводит конкретных оценок безопасности или эксплуатационных ограничений.

strangervisionhf/deepseek-ocr-latest-transformers — экспериментальная копия весов DeepSeek OCR с исправленной конфигурацией для совместимости с актуальными версиями библиотеки Transformers. Модель семейства DeepSeek-VL-v2 имеет архитектуру DeepseekOCRForCausalLM, содержит 559,7 млн параметров и принимает изображения для генерации текстового ответа; её основное назначение — распознавание текста на изображениях и задачи визуально-языкового взаимодействия. Для работы в карточке приведён пример с Transformers 4.57.1, PyTorch и CUDA. Указаны английский язык и контекст 8192 токена. Модель распространяется по лицензии MIT. Автор предупреждает, что эта версия экспериментальная, рекомендует использовать более новые версии и сообщает, что копия весов не предназначена для иных целей.

DeepSeek-R1-Q4_K_M-layers — пакет для распределённого запуска квантованной модели DeepSeek-R1 в формате GGUF, подготовленный Mesh LLM на основе unsloth/DeepSeek-R1-GGUF. Веса разделены на артефакты по слоям, чтобы объединять память и вычислительные ресурсы нескольких машин в локальном кластере Mesh LLM. Модель предназначена для локального приватного чат-инференса и сценариев, где полный файл модели не помещается на одном компьютере. Её можно подключать через совместимый с OpenAI API Mesh LLM, включая интерфейс `/v1/chat/completions`. Задача из метаданных — генерация текста; семейство — DeepSeek, вариант квантования — Q4_K_M. Пакет рассчитан на распределённый запуск и не является самостоятельной архитектурой модели. README отсылает к карточке исходной модели за сведениями об архитектуре, шаблоне чата, рекомендациях по генерации и лицензии; условия использования в доступных данных не приведены.

Это пакет слоёв модели DeepSeek-V4-Flash в формате GGUF, подготовленный Mesh LLM для распределённого инференса. Пакет получен из unsloth/DeepSeek-V4-Flash-GGUF и разделяет веса варианта UD-Q4_K_XL на отдельные артефакты по слоям для запуска на кластере Mesh LLM. Модель предназначена для локального приватного чата и генерации текста, а также для обслуживания запросов через совместимый с OpenAI API Mesh LLM. Разделение слоёв позволяет распределять вычисления и память между несколькими компьютерами, когда одной машины недостаточно. Точные размер модели, архитектурные параметры, контекст и поддерживаемые языки в предоставленных данных не описаны. Вариант использует квантованный формат GGUF UD-Q4_K_XL. Репозиторий указывает лицензию MIT; пакет рассчитан на использование с Mesh LLM, а подробности архитектуры и поведения следует сверять с карточкой исходной модели.

Distil-Whisper distil-large-v3 — англоязычная модель распознавания речи, разработанная командой Distil-Whisper и полученная дистилляцией OpenAI Whisper large-v3. Она предназначена для транскрибации коротких записей и длинных аудиофайлов; архитектура — кодировщик-декодировщик Whisper с сокращённым числом слоёв декодера. В README указано 756 млн параметров, тогда как метаданные каталога указывают 905,2 млн параметров. Модель рассчитана на английскую речь и поддерживает последовательный и пакетный алгоритмы обработки длинных записей. По данным README, качество на длинных аудио близко к Whisper large-v3, а распознавание выполняется примерно в 6,3 раза быстрее; для одиночных длинных файлов, где важна скорость, рекомендуется пакетный алгоритм, а для точности и пакетной обработки — последовательный. Модель доступна по лицензии MIT. Она предназначена для распознавания речи на английском языке; вывод включает текстовую транскрипцию, а при соответствующих настройках — временные метки сегментов.

EttinX Cross-Encoder NLI — компактная англоязычная модель Дэниела Миллера для определения логической связи между парой текстов. Она классифицирует пару как противоречие, нейтральное отношение или следование; основана на энкодере Ettin-17m семейства ModernBERT и содержит 16,8 млн параметров. Модель дообучена на наборе all-nli-distill с логитами учителя ModernCE-large-nli, чтобы улучшить качество относительно обычного обучения. Модель рассчитана на лёгкий инференс, в том числе на CPU, и может применяться для проверки гипотез, оценки ответов LLM и сравнения предложений с учётом их смысловой связи. README сообщает результаты micro-F1 80,47% на MNLI mismatched и 86,95% на SNLI. Длина контекста составляет до 7999 токенов по метаданным; README указывает 8192 токена. Лицензия в предоставленных данных не указана.

Florence-2-large-ft — преобразованный для Transformers чекпойнт модели Florence от Microsoft, дообученный для набора задач компьютерного зрения. Модель использует плотную архитектуру Florence-2 с генерацией последовательностей по текстовым запросам; размер исходной Florence-2-large составляет 0,77 млрд параметров. Она принимает изображение и текстовый запрос, а в ответ может создавать подписи и описания, распознавать текст, находить объекты и области изображения, связывать фразы с областями и предлагать регионы. Модель предназначена для универсального анализа изображений, включая создание подписей, OCR и визуальные вопросы и ответы. В карточке указано, что этот вариант продолжает предобучение Florence-2-large на 0,1 млрд примеров; автор предупреждает, что такое обучение могло оказаться недостаточным. Для OCR в этой версии используется символ перевода строки между строками. Контекст — 4 тысячи токенов. Репозиторий содержит веса Safetensors и распространяется по лицензии MIT.

GLM-5.3-Flash-W4A16 — это INT4-квантизированная версия модели zai-org/GLM-5.3-Flash, подготовленная для самостоятельного запуска и обслуживания через SGLang. Квантование выполнено по схеме weight-only W4A16 с группами по 128 весов и симметричным представлением. Модель предназначена для генерации текста, мультимодальных сценариев с изображениями и вызова инструментов; заявлены языки English и Chinese. Архитектура использует Mixture-of-Experts, а размер чекпойнта на диске составляет около 190,8 ГБ, что требует значительных аппаратных ресурсов. Основной сценарий применения — высокопроизводительный self-hosted inference на RTX PRO 6000 Blackwell (SM120) с использованием SGLang. В чекпойнте сохранены vision и tool calling, а также встроенная MTP/NEXTN-голова для speculative decoding, способная существенно повысить скорость генерации при корректной настройке. Данные о размере контекстного окна в README не указаны. Для корректной работы обязательны специальные параметры SGLang: отключение shared experts fusion, использование BF16 для KV-кэша и chunked prefill size 4096. Требуется сборка SGLang из post-merge nightly с дополнительными патчами для SM120; готового релизного образа с необходимой поддержкой на момент публикации нет. Без обязательного флага отключения fusion модель генерирует бессмысленный текст и не останавливается. Лицензия — MIT.

GPT-5.1-Codex-Max — агентная модель OpenAI для задач разработки программного обеспечения. README описывает её как модель для длительных задач программирования с большим контекстом, основанную на обновлённом стеке рассуждений GPT-5.1 и обученную для агентной работы. Модель предназначена для использования в сценариях, где агенту нужно вести работу над программным обеспечением в течение продолжительного времени. Карточка не содержит подробностей об архитектуре, числе параметров, поддерживаемых языках программирования или лицензии, поэтому эти характеристики не приводятся.

onnx-community/gte-multilingual-base — это ONNX-версия модели Alibaba-NLP/gte-multilingual-base, подготовленная сообществом onnx-community для работы с библиотекой Transformers.js. Модель предназначена для преобразования предложений и документов в векторные представления, которые можно использовать для семантического поиска, retrieval-систем, сопоставления текстов и других задач, основанных на сравнении смысловой близости. Модель работает в режиме feature extraction и формирует эмбеддинги размерностью 768 признаков. В примерах используются mean pooling и нормализация векторов, после чего релевантность текстов оценивается по косинусному сходству. Для поисковых запросов рекомендуется добавлять инструкцию «Represent this sentence for searching relevant passages:». Модель заявлена как мультиязычная, однако README не содержит перечня поддерживаемых языков, сведений об архитектуре, размере исходной модели или максимальной длине контекста. К сильным сторонам относятся возможность выполнять вычисление эмбеддингов непосредственно в JavaScript-среде через Transformers.js и удобная совместимость с ONNX. Ограничение состоит в том, что это модель для представления и сопоставления текстов, а не генеративная языковая модель: README не описывает её возможности по генерации текста, точность на бенчмарках или ограничения по языкам и длине входа. Лицензия в предоставленных данных не указана.

Higgs Audio v3 8B STT v2 — модель распознавания речи от Boson AI. Она сочетает замороженный аудиоэнкодер Whisper-Large-v3 с декодером Qwen3-8B, дообученным с помощью LoRA и затем объединённым с базовыми весами. Всего в модели 8,91 млрд параметров; она принимает монофонический WAV с частотой 16 кГц и формирует текстовую транскрипцию. Модель предназначена для преобразования речи в текст и оценки качества распознавания на разнообразных ASR-наборах. В README указана поддержка thinking mode для повышения точности; приведены результаты ESB Benchmark для AMI, Earnings22 и GigaSpeech. Метаданные указывают английский язык. Модель распространяется по лицензии Apache-2.0. Результаты в карточке ограничены указанными наборами и сами по себе не подтверждают качество для других языков или акустических условий.

KALYPSO v1.1L — открытая модель для генерации кода из семейства KALYPSO, разработанная GENOMA Labs. Она основана на Qwen2.5-Coder-14B-Instruct и дообучена с использованием LoRA на наборе Kraken-Public, содержащем 18 049 очищенных от пересечений с тестами записей, производных от кодинговых данных NVIDIA Nemotron. После обучения LoRA-адаптер объединён с полноразмерными весами в формате fp16. Модель предназначена для агентного программирования: многошаговых задач разработки, сценариев вызова инструментов, а также рабочих процессов с предварительным планированием и последующей реализацией. Основные языки — Python, C++ и SQL; заявлена поддержка английского языка. Это плотная модель на 14 млрд параметров с текстовой модальностью, стандартным шаблоном чата Qwen2.5 и контекстом до 32 000 токенов. Для развёртывания рекомендуется vLLM, также поддерживается Transformers. По данным EvalPlus, модель показывает результаты, близкие к базовой Qwen2.5-Coder-14B-Instruct: 87,8 на HumanEval, 82,9 на HumanEval+, 84,7 на MBPP и 70,4 на MBPP+. Её основное преимущество — ориентация на агентные сценарии и планирование, а не превосходство в однократном завершении кода. Ограничения включают отсутствие заметного выигрыша над базовой моделью в задачах чистого кодогенерирования и неизвестную эффективность за пределами заявленных сценариев. Модель распространяется по лицензии Apache-2.0; в описании также отмечено, что происхождение части обучающих данных может быть связано с условиями лицензий Qwen и DeepSeek.

Kiel-2-Rerank — дообученный кросс-энкодер на базе BAAI/bge-reranker-base для повторного ранжирования текстов. Модель разработана автором репозитория kiel2 и оценивает пару «запрос — документ» совместно, выдавая один числовой балл релевантности. Она предназначена для семантического поиска и многоэтапного извлечения документов, включая подбор контекста для RAG-систем. Модель использует архитектуру XLM-RoBERTa с примерно 305,2 млн параметров; README указывает максимальную длину последовательности 512 токенов. На вход подаются текстовые пары, на выходе — оценки, по которым можно упорядочить кандидатов. В карточке нет сведений о лицензии или специальных доменах применения. Для ранжирования больших наборов документов потребуется предварительный поиск кандидатов, поскольку модель совместно обрабатывает каждую пару.

unsloth/LFM2.5-230M-GGUF — квантизированная версия компактной текстовой модели LFM2.5-230M, разработанной Liquid AI и подготовленной в формате GGUF командой Unsloth. Модель предназначена для локального и периферийного развертывания с использованием llama.cpp и совместимых инструментов, включая устройства с ограниченными ресурсами. Она подходит для извлечения данных, легковесных агентских сценариев и задач с вызовом инструментов. Модель содержит 230 млн параметров и использует гибридную архитектуру из 14 слоёв: 8 блоков double-gated LIV convolution и 6 блоков GQA. Контекстное окно составляет 32 768 токенов, размер словаря — 65 536 токенов, дата отсечения знаний — середина 2024 года. Поддерживаются английский, арабский, китайский, французский, немецкий, итальянский, японский, корейский, португальский и испанский языки. Это text-only модель без заявленной поддержки изображений или других модальностей. К сильным сторонам относятся небольшой размер, высокая скорость инференса и пригодность для работы на CPU, мобильных устройствах и периферийных системах. Модель поддерживает function calling и была оптимизирована для извлечения данных и агентских конвейеров. Ограничения связаны с малым числом параметров: модель не рекомендуется для сложных рассуждений, продвинутой математики, генерации кода и творческого письма. Лицензия указана как lfm1.0; GGUF-формат предназначен для инференса и локального развертывания, а не как основной формат для дообучения.

Agnuxo публикует Mamba-Codestral-7B-Instruct_CODE_Python-Spanish_English_GGUF_16bit — локально запускаемую модель генерации кода на 7 млрд параметров. Карточка описывает её как помощника для написания кода и указывает семейство Mistral; репозиторий содержит веса в формате GGUF F16. В метаданных Hugging Face основная задача обозначена как text-generation, а языки карточки — английский и испанский. Модель предназначена для генерации и помощи с кодом, включая Python, JavaScript, TypeScript, Rust, Go и C++, а также научные вычисления и машинное обучение с библиотеками NumPy, SciPy, Pandas, PyTorch, TensorFlow и JAX. README также заявляет навыки координации агентов и интеграции MCP/A2A. Модель можно запускать локально через Ollama; лицензия — Apache-2.0. Ограничения: README не приводит результатов тестирования, подробностей об обучении или точного контекста. Перечисленные языки программирования и агентные возможности заявлены в карточке, но не подтверждены метаданными или оценками.

MiniCPM-Reranker-Light — двуязычная модель переранжирования текстов, разработанная ModelBest совместно с лабораторией обработки естественного языка Университета Цинхуа (THUNLP) и группой информационного поиска Северо-Восточного университета (NEUIR). Она предназначена для уточнения порядка документов, найденных поисковой системой, в том числе в системах RAG, и поддерживает переранжирование между китайским и английским языками. Модель основана на MiniCPM-1B-sft-bf16, использует плотную архитектуру MiniCPM с двунаправленным вниманием и классификационную голову последовательности. В README указаны размер 1,2 млрд параметров и максимальная длина входа 8192 токена; метаданные указывают 1,4 млрд параметров и контекст 4096 токенов. Обучение проводилось в несколько этапов примерно на 5–6 млн открытых, синтетических и закрытых примеров. Модель принимает инструкцию, запрос и документ либо работает без инструкции, а в результате оценивает релевантность для ранжирования. Подходит для двуязычного поиска, улучшения выдачи и отбора контекста для RAG. README приводит результаты оценок на наборах китайского, английского и межъязыкового поиска. Лицензия в предоставленных сведениях не указана.

Это пакет Mesh LLM с разбиением GGUF-модели Mistral-Small-4-119B-2603-UD-Q4_K_XL на артефакты по слоям для распределённого инференса. Он основан на unsloth/Mistral-Small-4-119B-2603-GGUF и предназначен для запуска чат-модели Mistral на локальном кластере Mesh LLM, в том числе на нескольких машинах, если одной машине не хватает ресурсов. Mesh LLM предоставляет локальный API, совместимый с OpenAI Chat Completions. В репозитории указаны формат GGUF и вариант UD-Q4_K_XL; пакет включает отдельные артефакты для слоёв и общие данные модели. Архитектурные подробности, число параметров, контекст, языки и условия лицензии в предоставленных данных не приведены; за ними README отсылает к карточке исходной модели. Пакет рассчитан на локальный инференс, но требует Mesh LLM и оборудования, достаточного для распределённого запуска. Лицензионные условия следует сверить с карточкой исходной модели.

Это файл GGUF в формате F16 с весами мультиязычного ранжировщика cross-encoder/mMiniLMv2-L12-H384-v1, подготовленный Gramscii-IT для запуска через llama.cpp и подачи оценок через endpoint /v1/rerank. Вес модели не изменялись: это конверсия опубликованных весов исходной модели, обученной на mMARCO — наборе MS MARCO, переведённом на 14 языков. Базовая модель построена на nreimers/mMiniLMv2-L12-H384-distilled-from-XLMR-Large. Модель оценивает релевантность пары «запрос — фрагмент текста», чтобы переупорядочить результаты поиска. Её можно использовать после векторного или лексического поиска, например, для повышения точности выдачи в мультиязычном поиске и RAG. README приводит локальный тест на итальянских заметках, но его результаты относятся только к этому корпусу и условиям. Контейнер F16 рассчитан на сервер llama.cpp с режимом reranking и rank pooling; для PyTorch рекомендуется исходная версия. Модель читает до 512 токенов, поэтому более длинные фрагменты нужно обрезать по токенам. Пороговые значения оценок и результаты тестирования могут не переноситься на другие корпуса. Лицензия — Apache 2.0.