II.6Документация и сопровождение разработки

DeepSeek-V4-Pro-GGUF — набор GGUF-квантизаций базовой модели DeepSeek-V4-Pro, разработанной DeepSeek и опубликованный командой teamblobfish. Модель предназначена для генерации текста и локального запуска через специализированную ветку llama.cpp с поддержкой архитектуры V4. Формат подходит для сценариев локального инференса, включая серверное использование и обработку tool calls. Модель использует архитектуру Mixture of Experts: 61 слой и 384 маршрутизируемых эксперта. В реализации применяются специфичные для V4 механизмы, включая compressor decode, hyperconnection, lightning indexer, FP8-эмуляцию KV и NextN heads. Доступны варианты Q8_0, Q4_K_M-XL и Q2_K-XL; размер файлов составляет примерно от 498 ГиБ до 1,46 ТиБ. README демонстрирует запуск с контекстом 65 536 токенов, но максимальный размер контекста модели явно не указан. Поддерживается текстовая модальность; список языков не приведён. Сильной стороной является возможность запуска крупной модели в GGUF с поддержкой Apple Silicon, NVIDIA CUDA и CPU, а также проверенная работа Q2_K-XL с tool calls. Основные ограничения — чрезвычайно большой объём памяти, низкая скорость на CPU и необходимость использовать V4-совместимый fork llama.cpp; стандартная upstream-версия llama.cpp не поддерживается. ROCm, Vulkan и Metal на AMD не имеют необходимых ядер. Для практического запуска часто требуются несколько GPU или частичная выгрузка на CPU. Модель распространяется по лицензии MIT.

sentence-transformers/distilbert-base-nli-max-tokens — модель sentence-transformers, обученная командой Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации текстов. Архитектура основана на DistilBERT; модель принимает текст и формирует эмбеддинги. Максимальная длина контекста — 512 токенов. Репозиторий содержит веса в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Карточка помечает её как устаревшую и предупреждает о низком качестве эмбеддингов, поэтому для новых проектов рекомендуется выбрать более современную модель эмбеддингов.

Alibaba-NLP/E2Rank-0.6B — модель для получения текстовых эмбеддингов и ранжирования списков документов, разработанная Alibaba-NLP в рамках семейства E2Rank. Она расширяет одну embedding-модель для поиска и listwise-реранжирования: текст запроса и кандидаты документов формируют обогащённый запрос, а релевантность оценивается по косинусному сходству эмбеддингов. Модель основана на Qwen3-0.6B и дообучена на данных для ранжирования. Модель имеет плотную архитектуру Qwen3 из 28 слоёв, около 508 млн параметров, размерность эмбеддинга 1024 и контекст до 40 960 токенов. Она учитывает инструкции и поддерживает построение поискового конвейера с извлечением кандидатов и их последующим реранжированием; в README также заявлены результаты на BEIR, BRIGHT и MTEB. Для использования в режиме эмбеддингов требуется вручную добавлять специальный завершающий токен к каждому входному тексту. Модель принимает текст и выдаёт эмбеддинги, используемые для поиска и оценки релевантности. Лицензия — Apache-2.0. Скорость и качество зависят от размера списка кандидатов и аппаратных ресурсов; опубликованные сравнительные результаты сами по себе не гарантируют аналогичного качества на конкретном наборе данных.

Это вариант модели EmbeddingGemma-300M, опубликованный сообществом LiteRT для запуска на Android и iOS, а также для использования в Android-приложениях с библиотекой Google AI Edge RAG. Базовая карточка модели находится в репозитории google/embeddinggemma-300m; модель предназначена для получения текстовых эмбеддингов и оценки сходства предложений, в том числе для поиска по смыслу и конвейеров RAG. Репозиторий содержит модели в формате LiteRT TFLite и описывает варианты с разной точностью, включая смешанную квантизацию int4/int8. Для токенизации используется SentencePiece. В README приведены сведения о запуске и бенчмарках на Samsung S25 Ultra, однако численные результаты в предоставленном тексте отсутствуют. Модель распространяется по лицензии Gemma; перед использованием следует учитывать её условия.

GLM-5-UD-Q4_K_XL-layers — пакет слоёв модели семейства GLM, подготовленный Mesh LLM для распределённого вывода на кластере локальных компьютеров. Он создан на основе unsloth/GLM-5-GGUF и сохраняет исходное распределение GGUF, разбитое на артефакты по слоям. Указанный вариант — UD-Q4_K_XL; формат исходных весов — GGUF, а пакет предназначен для запуска через библиотеку Mesh LLM. Модель используют для локального чат-вывода, в том числе когда полный файл слишком велик для одного компьютера: слои можно распределить между несколькими узлами. Mesh LLM предоставляет совместимый с OpenAI интерфейс чата и дополнений. В метаданных для модели указана задача text-generation и возможность chat. Пакет ориентирован на текстовый ввод и генерацию текста. Языки, размер модели и длина контекста в предоставленных сведениях не описаны. За сведениями об архитектуре, шаблоне чата, рекомендациях по настройке и лицензии README отсылает к исходной карточке unsloth/GLM-5-GGUF; условия лицензии здесь не приведены.

INF-WSE v1 Base zh — модель разреженных словных эмбеддингов, разработанная INF TECH для поиска и извлечения информации, особенно в китайских текстах. Она дообучена на базе junnyu/roformer_chinese_base; архитектура — RoFormer с 151,6 млн параметров. Модель преобразует текст в разреженные векторы размерности словаря: ненулевые веса выделяют значимые слова и семантические признаки для сопоставления запросов с документами. Модель предназначена для семантического поиска, ранжирования и retrieval-сценариев. В README приведены результаты C-MTEB Retrieval: средний nDCG@10 составляет 61,16 при максимальной длине 512 токенов; индексы для сравнения строились в Qdrant. Метаданные указывают контекст до 1536 токенов. Модель ориентирована на китайский язык и выдаёт векторные представления текста. Репозиторий содержит веса в формате safetensors; сведения о лицензии в предоставленных источниках отсутствуют.

Amdestya выпустил англоязычный Cross Encoder, дообученный на базе microsoft/MiniLM-L12-H384-uncased с библиотекой Sentence Transformers. Модель оценивает пары текстов одним числовым баллом и предназначена для ранжирования результатов поиска и семантического поиска; её также можно применять для классификации пар текстов. Модель содержит около 40 млн параметров и использует архитектуру BERT с головой классификации последовательностей. Метаданные указывают контекст до 512 токенов, а карточка модели — максимальную длину последовательности 256 токенов. Она обучалась на наборе из примерно 79,5 млн пар текстов с числовыми метками. Для использования распространяется в формате safetensors; лицензия в предоставленных данных не указана.

Kiel-Embed-2-Rerank — кросс-энкодерный реранкер, дообученный на базе BAAI/bge-reranker-base с использованием библиотеки sentence-transformers. Модель совместно обрабатывает текстовый запрос и документ и выдаёт оценку их релевантности для повторного ранжирования результатов семантического поиска и многоэтапных retrieval-конвейеров, включая RAG. Модель построена на XLM-RoBERTa и содержит около 305,2 млн параметров. Она принимает пары текстов, выдаёт скалярный логит или оценку релевантности и поддерживает последовательности длиной до 514 токенов по метаданным Hugging Face. Карточка приводит обучение на корпусе из 5 000 примеров с функцией потерь BinaryCrossEntropyLoss. Модель рассчитана на текстовые сценарии. В карточке не названы поддерживаемые естественные языки, поэтому языковую специализацию определить нельзя. Небольшой обучающий корпус ограничивает основания для выводов о качестве на широком круге запросов и документов. Лицензия в предоставленных данных не указана.

Patronus-Lynx-8B-Instruct-v1.1 — разработанная Patronus AI модель для оценки галлюцинаций в ответах систем с поиском по документам (RAG). Это дообученная версия meta-llama/Meta-Llama-3.1-8B-Instruct с архитектурой Llama и примерно 7,5 млрд параметров. Модель принимает документ, вопрос и ответ, затем оценивает, подтверждается ли ответ содержимым документа. Модель рассчитана прежде всего на английский язык, поддерживает контекст до 131 072 токенов и работает через text-generation. При обучении использовались, среди прочего, CovidQA, PubmedQA, DROP и RAGTruth; оценка проводилась на HaluBench. Репозиторий содержит веса Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

unsloth/MiMo-VL-7B-RL-GGUF — GGUF-версия мультимодальной модели MiMo-VL-7B-RL, разработанной XiaomiMiMo и подготовленной Unsloth. Модель предназначена для понимания и обработки текста, изображений и видео, включая задачи визуального восприятия, визуального заземления и сложного рассуждения. Версия RL получена после дополнительного обучения с использованием Mixed On-policy Reinforcement Learning, объединяющего сигналы качества восприятия, точности заземления, логического рассуждения и соответствия предпочтениям людей и ИИ. Архитектура включает vision transformer (ViT) с поддержкой исходного разрешения для сохранения мелких визуальных деталей, MLP-проектор для межмодального выравнивания и языковую модель MiMo-7B, оптимизированную для сложных рассуждений. Размер модели — 7B параметров. Данные о поддерживаемых языках и максимальной длине контекста в представленном README не указаны. Формат GGUF ориентирован на запуск с совместимыми инструментами инференса; Unsloth описывает используемый подход Dynamic 2.0 как способ повысить точность квантованных моделей. К сильным сторонам относятся компактный для VLM размер, мультимодальность, сохранение мелких визуальных деталей и усиленная способность к рассуждению после обучения с подкреплением. Ограничения, результаты конкретных тестов и требования к аппаратному обеспечению в представленном описании не приведены. Модель распространяется по лицензии MIT.

MMLW-retrieval-roberta-large — польскоязычный плотный текстовый энкодер семейства RoBERTa от разработчиков MMLW, предназначенный для информационного поиска. Он кодирует запросы и фрагменты текста в векторы размерности 1024; для запросов требуется префикс «zapytanie: ». Модель содержит 533,7 млн параметров, использует контекст до 514 токенов и распространяется в форматах PyTorch и safetensors. Обучение проходило в два этапа: дистилляция знаний англоязычных моделей FlagEmbeddings (BGE) на корпусе из 60 млн польско-английских пар, затем дообучение с контрастивной функцией потерь на польской обучающей выборке MS MARCO. В README приведён результат NDCG@10 58,46 на польском бенчмарке информационного поиска. Модель подходит для поиска по смыслу и сопоставления запросов с текстами; в качестве ограничений следует учитывать необходимость специального префикса для запросов и контекст до 514 токенов. Лицензия — Apache-2.0.

Jeevesh8/more_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_qqp_ft_1 — модель классификации текста на базе BERT, опубликованная пользователем Jeevesh8 на Hugging Face. Она дообучена для задачи QQP (Quora Question Pairs), то есть для определения семантической эквивалентности или дублирования пар вопросов. Модель содержит около 136,7 млн параметров, использует архитектуру BERT и поддерживает контекст до 512 токенов. Основной сценарий применения — классификация пар англоязычных текстов, прежде всего вопросов, по признаку смыслового соответствия. Модель не предназначена для генерации текста и ориентирована на узкую задачу, связанную с QQP.

ritulk/MPNET-fine-tuned-political-clustering — текстовая Sentence Transformer модель на архитектуре MPNet, дообученная на базе microsoft/mpnet-base на датасете projecte-aina/sts-ca. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Модель использует усреднение токенных представлений и косинусное сходство; её контекст составляет до 512 токенов по карточке модели и 514 токенов по метаданным. Обучение на каталонском датасете семантического сходства и указанные языки en и ca делают её подходящей прежде всего для английского и каталонского текста. Лицензия Apache-2.0. Показатели оценки в README различаются между наборами данных; результаты могут зависеть от языка и предметной области, поэтому качество для русского и политической тематики не подтверждено приведёнными данными.

Mursit-Embed-Qwen3-1.7B-TR-i1-GGUF — это квантизированная в формате GGUF версия модели Mursit-Embed-Qwen3-1.7B-TR, разработанной newmindai и подготовленной квантизатором mradermacher. Модель создана на базе Qwen3 с адаптацией decoder-to-encoder и предназначена для получения текстовых эмбеддингов. Основные сценарии применения — вычисление семантического сходства, dense retrieval, информационный поиск и извлечение признаков, включая задачи на турецком языке и поиск по юридическим документам. При обучении использовались наборы newmindai/ms-marco-turkish-triplets и newmindai/EuroHPC-Legal. Заявлены языки tr и en; модель ориентирована прежде всего на турецкие и турецко-юридические тексты. Доступен набор квантизаций с размерами примерно от 0,6 до 1,5 ГБ. В README рекомендуется i1-Q4_K_M как быстрый вариант, а i1-Q4_K_S описывается как оптимальный баланс размера, скорости и качества; некоторые низкобитные варианты имеют пониженное качество. Размер исходной модели указан как 1,7B параметров, но сведения о размерности эмбеддингов, максимальной длине контекста, точных характеристиках архитектуры и результатах оценки отсутствуют. Лицензия — Apache-2.0.

Nous-Hermes-2-Vision-Alpha — мультимодальная модель для диалога и следования инструкциям, разработанная qnguyen3 и teknium. Она построена на архитектуре LLaVA-Mistral и дообучена на базе Mistral-7B-v0.1; в README также указано использование OpenHermes-2.5-Mistral-7B и визуального энкодера SigLIP-400M. Модель принимает изображения вместе с текстовыми запросами и генерирует текстовые ответы, включая структурированные результаты для сценариев вызова функций. Модель предназначена для вопросов по изображениям, визуального описания и автоматизаций, связывающих визуальный ввод с вызовом функций. В обучающие данные вошли наборы LVIS-INSTRUCT4V, ShareGPT4V, частный набор данных для вызова функций и диалоги OpenHermes-2.5. Контекст составляет 32 768 токенов, размер — 7,1 млрд параметров; в метаданных указан английский язык. Модель выпущена под лицензией Apache-2.0.

OpenCodeInterpreter-SC2-15B — модель генерации кода из семейства OpenCodeInterpreter, разработанная авторами проекта OpenCodeInterpreter. Она основана на StarCoder2-15B и предназначена для создания кода с возможностью интеграции выполнения и итеративного уточнения по обратной связи от исполнения. Модель имеет плотную архитектуру Starcoder2ForCausalLM, содержит 21,7 млрд параметров и поддерживает контекст до 16 384 токенов. Модель подходит для генерации и интерпретации кода, а также для сценариев, где результат можно выполнить и затем доработать с учётом полученной обратной связи. В карточке приведены результаты серии OpenCodeInterpreter на HumanEval и MBPP, однако конкретные показатели этой версии из таблицы не видны. Метаданные указывают английский язык и формат safetensors. Лицензия — Apache-2.0.

Parable-Qwen3-4B-Claude-Fable-5 — локальная языковая модель для программирования и агентных задач, разработанная AnkitAI на основе Qwen/Qwen3-4B. Это плотная архитектура Qwen3ForCausalLM примерно на 3,7 млрд параметров с контекстом до 40 960 токенов; модель принимает и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. В README описано дообучение QLoRA на многошаговых сессиях агентов и терминальных трассах с добавлением примеров общих инструкций; веса объединены с базовой моделью. Репозиторий содержит веса safetensors, а также README упоминает сборку GGUF для локального запуска. Модель предназначена для локальной генерации кода, планирования действий агента и работы с терминальными сценариями. Автор сообщает об улучшении подстройки к агентным трассам и более стабильной выдаче ответов по сравнению с базовой моделью; при этом в приведённом HumanEval-164 результат ниже, чем у Qwen3-4B. Для задач максимальной точности вызова функций автор рекомендует базовую модель. Лицензия модели — Apache-2.0; README также указывает, что условия лицензий исходных обучающих данных и поставщиков сторонних трасс могут влиять на коммерческое использование производных систем.

Sinequa passage-ranker.mango — многоязычная модель ранжирования фрагментов текста по релевантности поисковому запросу. Она принимает пару «запрос — фрагмент» и выдаёт оценку, по которой можно упорядочить результаты поиска. Модель построена на архитектуре BERT для классификации последовательностей и обучена методом MonoBERT на MS MARCO Passage Ranking, включая переведённые данные для поддерживаемых языков. Модель обучена и протестирована на китайском (упрощённом), нидерландском, английском, французском, немецком, итальянском, японском, португальском и испанском языках; базовая модель также позволяет ожидать ограниченную поддержку других языков. Она нечувствительна к регистру и диакритическим знакам, а длина контекста составляет 512 токенов. В README приведён средний NDCG@10 0,480 по 14 наборам BEIR и результаты по части языков MIRACL. Для запуска Sinequa указывает минимальную версию 11.10.0 и GPU с CUDA compute capability выше 7.5. Лицензия в предоставленных данных не описана.

Polygraf NER Stage 4 — модель распознавания именованных сущностей, разработанная в рамках технического задания Polygraf Applied NLP. Она дообучена целиком на базе distilbert-base-cased и выполняет токенную классификацию английского текста, выделяя восемь типов сущностей: людей, организации, места, даты и время, продукты, произведения искусства, должности и суммы. Модель содержит около 65,2 млн параметров, использует формат safetensors и принимает контекст до 512 токенов. На тестовой выборке модель показала micro-F1 0,826; сохранение регистра помогает находить имена собственные, в частности названия произведений, организаций и продуктов. Весам предоставлена лицензия Apache 2.0. В README указано, что модель переобучается на обучающей выборке, часто предсказывает сущности с избыточным охватом и путает некоторые типы именованных сущностей. Метрики сравнивают предсказания с несовершенной разметкой; условия лицензирования обучающих данных описаны отдельно в карточке датасета.

Taoufik/Qwen2.5-VL-3B-Instruct-Q4_K_M-GGUF — это конвертированная в формат GGUF версия мультимодальной модели Qwen/Qwen2.5-VL-3B-Instruct, разработанной командой Qwen. Конвертацию выполнил пользователь Taoufik с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для задач image-text-to-text: обработки изображений совместно с текстовыми запросами и генерации текстовых ответов. В карточке указана поддержка английского языка. Модель основана на архитектуре Qwen2.5-VL и содержит около 3 миллиардов параметров. Квантование Q4_K_M уменьшает требования к памяти по сравнению с полноразмерной версией и делает модель подходящей для локального запуска через llama.cpp, включая CLI и серверный режим. В README приведён пример использования с контекстом 2048 токенов, однако максимальный контекст модели отдельно не указан. Сильной стороной является сочетание визуального и текстового ввода при относительно небольшом размере, а ограничениями — зависимость от совместимого мультимодального runtime и возможная потеря качества из-за квантования. Модель распространяется по лицензии qwen-research.

Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill — разреженная MoE-модель, опубликованная пользователем nerkyor и предназначенная прежде всего для локального запуска в Lynn Agent. Она выполняет роль оркестратора задач: разбивает сложные запросы на этапы, делегирует их инструментам или другим компонентам и проверяет результаты. Модель основана на Qwen3.6-35B-A3B и обучена с помощью LoRA на примерах рассуждений и агентного поведения, дистиллированных из DeepSeek-V4-Pro с включённым режимом thinking. Инструментальные результаты в обучающих траекториях были симулированными и замаскированы, поэтому модель обучалась способам рассуждения и вызова инструментов, а не запоминанию этих результатов. Архитектура MoE имеет 35B параметров с активацией примерно 3B параметров на токен; базовая версия обучалась в BF16. Указаны английский и китайский языки, назначение text-generation и поддержка агентных сценариев с ReAct-подобным чередованием рассуждений и действий. Модель оснащена встроенной MTP-главой для speculative decoding; поддержка заявлена для llama.cpp, vLLM и SGLang, однако большинство графических интерфейсов используют её без ускорения MTP. Для локального запуска рекомендуются системы с 32 ГБ или более VRAM либо unified memory, а для меньших объёмов памяти авторы предлагают другую модель. Сильными сторонами являются улучшение результата на GPQA-Diamond относительно исходной модели, более быстрая сходимость агентного цикла и снижение числа незавершающихся ответов. Ограничения включают небольшое снижение результата на MMLU, потерю одного успешного сценария из двадцати в указанной проверке оркестрации и ограниченную эффективность MTP по сравнению с плотными моделями. Модель распространяется по лицензии Apache-2.0.

Solstice-AI публикует MXFP4-квантизованную и упакованную версию мультимодальной модели Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored, исходную модель и слияние GAIN создал DavidAU. Это плотная модель семейства Qwen3.5 с архитектурой Qwen3_5ForConditionalGeneration, предназначенная для диалога и обработки изображений; метаданные указывают поддержку английского и китайского языков, чата и интерфейса вызова инструментов. Весовая версия использует формат OCP Microscaling FP4 (MXFP4) с динамическим групповым масштабированием и `compressed-tensors`. Она ориентирована на высокую пропускную способность при инференсе на современных ускорителях; в README приведён пример запуска через vLLM с ограничением контекста 262144 токена. Репозиторий также содержит GGUF BF16 и safetensors форматы. Лицензия — Apache-2.0. Квантизация может влиять на точность по сравнению с исходной моделью; README не приводит результатов сравнительных оценок. Карточка заявляет uncensored-версию, поэтому ответы могут не иметь обычных ограничений содержания.

Qwen3.8-Flash-Next-Uncensored-GGUF — набор GGUF-квантизированных версий модели Qwen3.8-Flash-Next, опубликованный OrcaRouter. Это аблированная сборка с существенно удалёнными механизмами отказа, предназначенная прежде всего для исследований интерпретируемости, безопасности ИИ, red teaming и оценки устойчивости. Модель поддерживает генерацию текста, reasoning, function calling и работу с изображениями через отдельный файл mmproj; заявлены английский и китайский языки. Архитектура представляет собой крупную Mixture-of-Experts-модель с 512 экспертами, из которых при обработке токена активируются 10 маршрутизируемых и один общий эксперт. Используется экспериментальная архитектура Qwen4 qwen4_exp с линейным вниманием Gated DeltaNet, Qwen Sparse Attention, HyperConnections и PLE n-gram hash embeddings. Доступны квантизации от 2 до 8 бит, включая варианты Q2_K–Q8_0. Модель запускается через llama.cpp на CPU, CUDA, Metal и ROCm; для поддержки архитектуры требуется свежая сборка llama.cpp с поддержкой qwen4_exp. Также возможна speculative decoding через MTP при использовании совместимых сборок и файлов-драфтеров. Главные преимущества — сочетание MoE-архитектуры, vision-language возможностей, reasoning и инструментального вызова функций, а также широкий выбор квантизаций для различного объёма памяти. Ограничения включают высокие требования к ресурсам, заметное снижение качества у наиболее компактных 2-битных вариантов, необходимость отдельного mmproj для зрения и несовместимость со старыми версиями llama.cpp. Из-за удаления защитных механизмов модель может выполнять вредоносные или незаконные запросы, поэтому перед практическим применением необходимы собственные фильтры безопасности и модерации. Распространение осуществляется по лицензии Apache 2.0, унаследованной от базовой модели.

tomhu/Qwen3-Coder-Next-MixedCode-Prune70-BF16 — экспериментальный чекпойнт на основе Qwen/Qwen3-Coder-Next, подготовленный методом pruning для MoE-экспертов. По README, разработчик удалил 69,92% экспертов в каждом MoE-слое: число экспертов сокращено с 512 до 154, при этом на токен по-прежнему активируются 10 экспертов. Модель содержит 48 слоёв и использует веса BF16; метаданные указывают архитектуру Qwen3-Next MoE и размер 2,3 млрд параметров, тогда как README приводит полезную нагрузку около 25,6 млрд параметров BF16. Модель предназначена для генерации кода и многошаговой разработки, в том числе для сценариев coding-агентов с вызовом инструментов. Контекст унаследован от базовой модели; метаданные указывают длину 262 144 токена. В оценке SWE-bench Verified чекпойнт решил 296 из 500 задач. Для запуска README рекомендует актуальные версии Transformers, vLLM или SGLang с поддержкой Qwen3-Next. Модель экспериментальная: автор рекомендует проверять её на целевых задачах перед внедрением. Лицензия — Apache-2.0.

Qwen3-VL-4B-Instruct-MLX-6bit — это 6-битная MLX-квантизированная версия мультимодальной модели Qwen3-VL-4B-Instruct, разработанной командой Qwen. Квантизацию выполнила команда LM Studio с использованием mlx_vlm; модель оптимизирована для работы на устройствах с Apple Silicon. Модель предназначена для задач image-text-to-text: обработки изображений и текстовых запросов с генерацией текстовых ответов. Она может использоваться в локальных мультимодальных приложениях, где требуется анализ визуального содержимого и взаимодействие с ним на естественном языке. В README не указаны поддерживаемые языки, размер контекста и подробности архитектуры. Ключевая особенность модели — 6-битное квантование, снижающее требования к ресурсам по сравнению с полной версией и ориентированное на эффективный запуск через MLX на Apple Silicon. При этом квантизация может ограничивать точность по сравнению с исходной моделью, а качество и применимость зависят от конкретной задачи. Модель создана на основе Qwen3-VL-4B-Instruct; LM Studio не является её разработчиком или владельцем и не гарантирует точность или безопасность результатов. Лицензия модели — Apache-2.0.

Qwen3-VL-8B-Heretic-Stable — мультимодальная модель prithivMLmods на архитектуре Qwen3-VL с 8 млрд параметров для диалога, анализа изображений и генерации текстовых ответов. Она принимает изображения и текст, поддерживает визуальное рассуждение, создание подписей и структурированных описаний, а также прототипирование инструментов анализа изображений. В карточке заявлены совместимость с актуальными версиями Transformers, обновлённая разбивка весов на шарды и сохранение поведения исходной модели без изменения основных весов или архитектуры. Модель основана на prithivMLmods/Qwen3-VL-8B-Instruct-Unredacted-MAX и связана в README с huihui-ai/Huihui-Qwen3-VL-8B-Instruct-abliterated; README описывает выпуск как переупаковку, тогда как метаданные указывают дообучение базовой модели. Поддерживаемый язык карточки — английский. Репозиторий использует safetensors и библиотеку Transformers; лицензия — Apache-2.0. Ответы могут быть неточными или неполными, а качество зависит от изображения, запроса, разрешения и сложности входных данных. Для эффективного инференса, особенно с изображениями высокого разрешения, README рекомендует GPU. Модель помечена как предназначенная для исследований и обучения; авторы возлагают ответственность за использование и полученные результаты на пользователя.

Qwopus3.5-4B-Coder-Fable5-v1-GGUF — GGUF-версия компактной модели для программирования, разработанная shuhulx на основе Qwopus3.5-4B-Coder от Jackrong и дообученная на наборе Glint-Research/Fable-5-traces. Модель предназначена для локальных coding-agent сценариев: работы с репозиториями, использования инструментов, вызова функций, анализа ошибок, отладки, планирования изменений и проверки исправлений. Она ориентирована на интеграции с llama.cpp, LM Studio и другими локальными средами инференса. Модель основана на семействе Qwen3.5, имеет около 4 млрд параметров и поддерживает генерацию текста на английском языке. Обучение на агентских трассировках охватывает последовательности с Bash, чтением, записью и редактированием файлов, исследованием репозиториев, тестированием и debugging loops, а также reasoning-трассами в формате <think>. Доступны квантизованные варианты GGUF, включая Q4_K_M для сбалансированной скорости и качества, Q5_K_M для более высокого качества и Q8_0 при наличии; заявлены также multimodal projector-файлы для совместимых сред, однако конкретные мультимодальные возможности модели не описаны. Сильные стороны модели — небольшой размер, локальное развертывание, ориентация на tool use, агентское программирование и отладку. Ограничения включают компактный масштаб, английскую языковую специализацию и зависимость качества от выбранной квантизации и совместимости runtime. Модель распространяется по лицензии Apache-2.0.

kwondw/reranker-msmarco-v1.1-MiniLM-L12-H384-uncased-lambdaloss-hard-neg — англоязычный Cross-Encoder, дообученный на базе microsoft/MiniLM-L12-H384-uncased с библиотекой Sentence Transformers. Модель совместно обрабатывает запрос и текст документа и выдаёт оценку релевантности для ранжирования результатов поиска. Её можно использовать для повторного ранжирования кандидатов и семантического поиска. Модель построена на архитектуре BERT с классификационной головой BertForSequenceClassification, содержит около 40 млн параметров и принимает текстовые пары с максимальной длиной последовательности 512 токенов. В README приведены оценки на наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR; результаты различаются между наборами, поэтому качество следует проверять на данных целевого поиска. Лицензия в предоставленных данных не указана.

Модель hasankursun/reranker-Multilingual-MiniLM-L12-H384-msmarco-mse — кросс-энкодер, дообученный на MS MARCO на базе microsoft/Multilingual-MiniLM-L12-H384 с помощью библиотеки Sentence Transformers. Она оценивает релевантность пары «запрос — текст» одним числовым баллом и предназначена для переранжирования результатов поиска и семантического поиска, в том числе как второй этап после более быстрого первичного поиска. Модель содержит 124,3 млн параметров, принимает текстовые пары и имеет максимальную длину последовательности 512 токенов. В README приведены результаты оценки на наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR; заявленный язык модели — английский. Выходной балл подходит для сортировки кандидатов по релевантности. Лицензия в предоставленных данных не указана.

i1j/reranker-ndcgloss2pp — дообученный на базе BAAI/bge-reranker-v2-m3 текстовый Cross Encoder, опубликованный автором репозитория i1j. Модель построена на архитектуре XLM-RoBERTa и использует библиотеку Sentence Transformers; её размер — 658,7 млн параметров, максимальная длина последовательности — 8192 токена. Модель принимает пары текстов и выдаёт оценку их релевантности. Её предназначение — переранжирование результатов поиска и семантический поиск, в том числе уточнение порядка найденных фрагментов относительно запроса. Модель поддерживает текстовую модальность; в карточке не указаны специальные ограничения по языкам. В репозитории указаны веса safetensors. Лицензия в предоставленных данных не приведена.