II.1Анализ требований и архитектура ПО

Карточка модели Muse-research/Muse2-230M-Base на Hugging Face совпадает с карточкой Muse-research/Muse2-230M, поэтому описание составлено по ней. Muse2-230M — компактная авторегрессионная языковая модель Muse Research, дообученная на основе Muse2-230M-Base. Она предназначена для диалогового помощника, форматирования ответов и извлечения структурированных данных, например преобразования журналов разработчиков в JSON, а также для запуска на устройствах с ограниченными ресурсами и дальнейшей тонкой настройки. Модель содержит 221,2 млн параметров и использует плотную гибридную архитектуру Muse2: блоки коротких причинных свёрток чередуются с полным вниманием, применяются grouped-query attention и объединённый SwiGLU MLP. Вход и выход — текст; основной язык — английский, также модель обрабатывает программный код и математические тексты. Контекст в карточке указан как 128 000 токенов, хотя README уточняет, что стандартная длина составляет 8 000 токенов, а 128 000 — максимум. Модель обучена методом supervised fine-tuning с маскированием функции потерь только на ответах; RLHF и DPO не применялись. Качественная и безопасностная проверка ограничена, поэтому модель может галлюцинировать, повторяться или выдавать смещённые и нежелательные ответы. Разработчик не рекомендует полагаться на неё в критичных, медицинских, юридических или иных фактически значимых сценариях без оценки и защитных мер. Веса доступны по лицензии Apache-2.0.

Octen-Embedding-4B-INT8 — текстовая embedding-модель, разработанная Octen на основе Qwen/Qwen3-Embedding-4B и дообученная методом LoRA. Она преобразует тексты в векторы размерностью 2560 и предназначена для семантического поиска, retrieval-сценариев, оценки схожести предложений, извлечения признаков и поиска по документам. Модель поддерживает английский, китайский и другие языки, а также различные языки программирования, что позволяет использовать её для многоязычного, кросс-языкового и кодового поиска. Модель содержит около 4 млрд параметров и представлена в INT8-квантизированном формате с использованием bitsandbytes. По данным README, объём памяти составляет примерно 4 ГБ против около 8 ГБ для версии BF16. Заявлена поддержка длинного контекста: в большинстве разделов указано до 32 768 токенов, а в разделе характеристик — до 40 960 токенов. Поэтому точное ограничение контекста следует проверять в конфигурации модели. Embedding-пространство высокой размерности рассчитано на работу с длинными документами и специализированными данными в юридической, финансовой, медицинской и программной областях. К сильным сторонам относятся уменьшенное потребление памяти, широкая языковая поддержка, ориентация на прикладные retrieval-задачи и возможность обработки длинного контекста. К ограничениям относятся отсутствие гарантии ускорения инференса после INT8-квантизации: на некоторых аппаратных платформах модель может работать немного медленнее BF16-версии. В приведённых результатах Octen-Embedding-4B получила средний показатель 0,7834 на RTEB, включая 0,7747 на Public и 0,7942 на Private. Модель распространяется по лицензии Apache-2.0.

Octen-Embedding-8B-INT8 — текстовая embedding-модель, разработанная Octen на основе Qwen/Qwen3-Embedding-8B и дообученная методом LoRA. Она предназначена для семантического поиска, retrieval-сценариев, оценки сходства текстов и построения векторных представлений документов, запросов и кода. Заявлены прикладные области: юридические документы, финансовые отчёты и вопросы, медицинские диалоги и консультации, программирование и SQL-поиск. Модель содержит около 8 млрд параметров, использует INT8-квантизацию через bitsandbytes и формирует embeddings размерностью 4096. README указывает поддержку английского, китайского и более чем 100 языков, включая языки программирования, а также мультиязычный, кросс-языковой и code retrieval. Заявлена работа с очень длинным контекстом: до 32 768 токенов в основных характеристиках, при этом в разделе Model Details указано значение 40 960 токенов. Память для INT8-версии оценивается примерно в 8 ГБ против около 16 ГБ для BF16-версии. К сильным сторонам относятся высокая заявленная точность retrieval, поддержка специализированных доменов, мультиязычность, большая размерность embeddings и сниженное потребление памяти. На RTEB модель указана как лидер по состоянию на 12 января 2026 года со средним показателем 0,8045. Ограничение заключается в том, что INT8-квантизация не гарантирует ускорения инференса и на некоторых аппаратных платформах может работать немного медленнее BF16-версии; также следует учитывать расхождение в заявленной максимальной длине контекста. Модель распространяется по лицензии Apache-2.0.

Ornith-1.5-35B-A3B-PrismaQuant-AQUA-25GB-vllm — это смешанно-квантизированная версия модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель предназначена для генерации текста и запуска через Transformers и vLLM. К checkpoint применяется формат compressed-tensors, поэтому он поддерживается стандартным vLLM без модифицированного runtime и пользовательских CUDA-ядер. Модель имеет MoE-архитектуру с 35 млрд параметров, из которых 3 млрд активируются на токен. PrismaQuant назначает отдельным линейным слоям форматы BF16, FP8 или NVFP4: большинство маршрутизируемых экспертов используют NVFP4, тогда как важные компоненты плотного пути сохраняются в FP8 или BF16. Размер артефакта составляет 24,68 ГБ против 71,90 ГБ у исходной BF16-версии, что даёт сокращение примерно в 2,91 раза. Базовая модель поддерживает контекст до 262 144 токенов, однако полный контекст требует значительного объёма памяти под KV-кэш. На WikiText-2 квантизированная версия показала perplexity 11,7067 против 11,4181 у BF16-источника, то есть ухудшение составило 2,53%. Сильная сторона модели — существенная экономия памяти при относительно небольшом падении качества; смешанное распределение точности также снижает расхождение с BF16 по сравнению с равномерной NVFP4-квантизацией. Ограничения включают потенциальную зависимость производительности от совместимого оборудования и версии vLLM, а приведённые метрики получены на конкретном наборе данных и конфигурации. Модель распространяется по лицензии MIT.

Phi-4-reasoning — языковая модель Microsoft Research с открытыми весами, представленная в репозитории Unsloth. Это дообученная версия Phi-4: плотный декодерный Transformer с 14,1 млрд параметров, рассчитанный на генерацию текста и диалоговое взаимодействие. Модель дообучали на примерах рассуждений с помощью supervised fine-tuning и обучения с подкреплением. Модель предназначена для задач, где важны пошаговые рассуждения и компактное исполнение: решения математических задач, ответы на вопросы по естественным наукам, программирование и логические задачи. Основной язык применения — английский. Контекст составляет до 32 768 токенов; карточка описывает текстовую модель. Разработчик указывает, что модель ориентирована прежде всего на математические рассуждения и не проходила специальную оценку для всех возможных прикладных сценариев. Точность, безопасность и справедливость ответов следует проверять для конкретного применения, особенно в высокорисковых областях. Репозиторий распространяется по лицензии MIT.

Phi-4-Reasoning-Vision-15B — мультимодальная модель Microsoft, разработанная на базе языковой модели microsoft/Phi-4-reasoning и визуального энкодера SigLIP-2. Архитектура mid-fusion объединяет визуальные токены с представлениями языковой модели; динамическое разрешение поддерживает до 3600 визуальных токенов. Модель содержит 14,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель принимает изображения и текст и отвечает текстом. Она предназначена для визуальных вопросов и ответов, OCR, описания изображений, локализации объектов и элементов интерфейса, а также для математических и научных рассуждений по диаграммам, документам и изображениям. Для задач восприятия может отвечать напрямую, а для задач, требующих нескольких шагов, использует расширенное рассуждение. Основной язык обучающих данных — английский; на других языках качество может быть ниже. Разработчик предупреждает о возможных ошибках и предвзятости и не рекомендует применять модель без дополнительной оценки в ситуациях с существенными последствиями, а также для медицинской диагностики, юридических консультаций и финансового планирования. Модель распространяется по лицензии MIT.

EnlistedGhost/Pixtral-12B-Ollama-GGUF — это мультимодальная модель Pixtral-12B в формате GGUF, адаптированная автором EnlistedGhost для нативной работы с Ollama. Модель основана на mistral-community/pixtral-12b, который, в свою очередь, относится к семейству Pixtral от Mistral. Релиз включает рабочие файлы vision projector (mmproj), поэтому поддерживает обработку текста и изображений. Модель предназначена для диалогового взаимодействия, генерации текста и задач image-text-to-text, включая анализ изображений по текстовым запросам. Заявлена поддержка английского и русского языков. Доступны варианты с разными уровнями квантования GGUF — от наиболее компактных IQ2 и Q2 до Q8_0 и F16, что позволяет выбирать между требованиями к памяти и качеством вывода. Указанный размер модели — 12B параметров; максимальный размер контекста в карточке не приведён. К сильным сторонам относятся готовность к использованию в Ollama без дополнительной настройки и наличие мультимодальной поддержки. Ограничения связаны с использованием квантованных вариантов: качество и требования к ресурсам зависят от выбранного типа квантования. Сведения о точных результатах оценки, аппаратных требованиях и ограничениях применения отсутствуют. Модель распространяется по лицензии Apache-2.0.

Prox 7B SFT — языковая модель OpenVoid AI, дообученная на данных о программировании, взломе и кибербезопасности. В основе лежит Mistral-7B-v0.2; модель имеет плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый режим и контекст до 32 768 токенов. Модель предназначена для генерации и объяснения кода, создания документации, ответов на вопросы о методах взлома и кибербезопасности, а также помощи в программных проектах. Карточка указывает английский язык. Обучающий набор OpenVoid AI описан как собственный набор материалов по программированию и взлому. Модель распространяется по лицензии Apache-2.0. Ответы модели могут быть ошибочными и требуют проверки специалистом; авторы не рекомендуют полагаться на неё в критически важных задачах безопасности и использовать для незаконной деятельности.

aashish1904/Qwen3.5-0.8B-GGUF — квантизированная версия Qwen3.5-0.8B, разработанной командой Qwen и преобразованной в формат GGUF с использованием llama.cpp; квантизацию выполнил GGUF Quantizer Space. Модель предназначена для локального запуска через llama.cpp, Ollama и совместимые инструменты, а исходная модель ориентирована на прототипирование, исследовательские задачи, разработку и специализированное дообучение. Это причинная языковая модель с vision encoder, поддерживающая текстовые и визуальные сценарии. Она содержит 0,8 млрд параметров, 24 слоя и нативный контекст до 262 144 токенов. Архитектура сочетает Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Доступны варианты квантизации от Q2_K до Q8_0: более компактные варианты требуют меньше памяти, но сильнее теряют в качестве, тогда как Q8_0 обеспечивает качество, близкое к исходному. Q4_K_M и Q5_K_M указаны как рекомендуемые сбалансированный и высококачественный варианты. Сильные стороны модели — небольшой размер, возможность эффективного локального запуска, длинный контекст, мультимодальность и широкий языковой охват. Ограничения связаны с малым числом параметров и потерями качества, зависящими от выбранного уровня квантизации; конкретные требования к ресурсам и результаты бенчмарков для этой GGUF-версии в предоставленных данных не приведены. Лицензия в README не указана.

JANGQ-AI/Qwen3.6-35B-A3B-JANGTQ — мультимодальная модель семейства Qwen, подготовленная JANGQ-AI на основе Qwen/Qwen3.6-35B-A3B и адаптированная для запуска в vMLX на компьютерах Apple Silicon. Это модель типа MoE с 35 млрд параметров, из которых около 3 млрд активны на токен; архитектура сочетает линейное внимание Gated DeltaNet и полное внимание, а также маршрутизируемые экспертные блоки. Весовые матрицы маршрутизируемых экспертов квантованы до 2 бит методом JANGTQ на основе кодовых книг TurboQuant и вращения Hadamard; ряд других компонентов хранится в 8-битном представлении, а зрительная башня сохранена. Модель предназначена для диалогов, задач с изображениями и агентных сценариев. README сообщает о поддержке изображений и отмечает, что для видео в MLX требуется собственный процессор, тогда как основная ветка mlx-vlm для этой архитектуры подходит для изображений. Для загрузки квантованных весов нужен специальный загрузчик jang-tools: стандартный mlx_lm.load() их не читает. Модель использует шаблон диалога и интерфейс вызова инструментов базовой модели; заявлена библиотека MLX и лицензия Apache-2.0. README приводит ориентиры по памяти для Mac с unified RAM и контексту, но эти оценки зависят от профиля запуска и KV-кэша. Независимые результаты оценки именно этой квантованной версии в карточке не приведены.

inferencerlabs/Qwen3.8-Flash-Next-MLX-Q4 — это мультимодальная квантованная версия модели Qwen3.8-Flash-Next, адаптированная для инференса с использованием MLX. README не указывает разработчика исходной модели; опубликованный вариант предоставлен inferencerlabs. Модель поддерживает сценарии image-text-to-text, то есть обработку изображений и текста с генерацией текстового ответа. Модель предназначена для локального запуска, в частности на компьютерах Apple Silicon через приложение Inferencer. В README приведён результат тестирования на M5 Max: около 57,5 токена в секунду при использовании примерно 98,7 GiB памяти для мультимодального инференса. Также указано, что для больших контекстных окон может потребоваться увеличение доступной памяти. Архитектура, количество параметров, точный размер контекста и поддерживаемые языки не указаны. Ключевое преимущество модели — снижение требований к памяти и вычислениям за счёт квантования при сохранении значительной точности. Для варианта с квантованием Q4.5 README указывает точность токенов 91,65% и perplexity 1,33593; эти показатели приведены для оценки квантования и могут не полностью соответствовать варианту Q4 из идентификатора модели. Ограничения включают возможное снижение точности по сравнению с базовой моделью, высокие требования к оперативной памяти для мультимодальной работы и отсутствие в README сведений о лицензии, поэтому условия использования следует уточнять отдельно.

Qwen3-Embedding-0.6B-SGLang — дообученная модель семейства Qwen3, представленная в репозитории woodx и основанная на Qwen/Qwen3-0.6B-Base. Она преобразует текст в эмбеддинги для семантического поиска и сопоставления текстов. Модель содержит около 507,6 млн параметров, поддерживает контекст до 32 768 токенов и формирует векторы размерностью от 32 до 1024 с возможностью задавать инструкцию под задачу. Модель предназначена для многоязычного поиска по текстам и коду, классификации и кластеризации текстов, поиска параллельных фрагментов на разных языках и задач семантического сходства. В карточке серии заявлена поддержка более 100 языков. Для улучшения результатов поиска рекомендуется задавать подходящую инструкцию; в многоязычных сценариях авторы советуют формулировать её на английском. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

Replete-Coder-Qwen2-1.5b — дообученная Rombodawg модель семейства Qwen2 с 1,5 млрд параметров для генерации кода и ответов общего назначения. Она предназначена для написания и преобразования кода более чем на 100 языках программирования, помощи в вопросах безопасности кода и уязвимостей, математических задач и диалогового использования. Обучение проводилось на инструкционных данных: около 75% посвящено коду и 25% — задачам общего назначения; README описывает набор примерно из 3,9 млн строк и около 1 млрд токенов. Модель поддерживает диалоговый шаблон ChatML и вызов функций. Модель принимает текст и выдаёт текст. Метаданные указывают контекст до 131 072 токенов, однако README сообщает, что дообучение проводилось с окном 8 192 токена и качество при более длинном контексте не гарантируется. Указаны веса в формате safetensors и лицензия Apache-2.0. Заявление об отсутствии ограничений в обучающих данных отражает описание автора, но не гарантирует точность ответов или безопасное поведение модели.

FractalGPT/SbertDistil — компактная модель эмбеддингов предложений и абзацев, разработанная FractalGPT на основе cointegrated/rubert-tiny2. Она преобразует текст в плотные векторы размерностью 384 и предназначена для оценки семантической близости, семантического поиска и кластеризации. Модель построена на архитектуре BERT, содержит 12,1 млн параметров и принимает последовательности длиной до 512 токенов. Модель дообучалась в два этапа на текстах Wikipedia, а затем на Wikipedia и диалоговом наборе SiberianPersonaChat-2. В метаданных указаны русский и английский языки; обучение на Wikipedia и диалогах делает её пригодной для представления текстов в этих сценариях. Репозиторий распространяется по лицензии Apache-2.0.

semantic-lite — компактная многоязычная модель эмбеддингов, созданная разработчиком репозитория ukung на основе Qwen3-0.6B. Это плотная модель семейства Qwen3 с 6 слоями после сокращения исходных 28; метаданные указывают 231,1 млн параметров, а README — около 250 млн. Она преобразует текст в векторы размерности 1024 для семантического поиска, сравнения сходства, межъязыкового поиска, кластеризации, поиска дубликатов и парафраз, а также подготовки контекста для RAG и рекомендаций. Модель рассчитана на работу через sentence-transformers; в метаданных указан контекст до 40 960 токенов, тогда как README приводит максимум 8 192 токена. По карточке, модель наследует широкое языковое покрытие Qwen3; метаданные явно перечисляют английский, индонезийский, французский, испанский, немецкий, португальский, итальянский, нидерландский, японский, китайский, корейский, арабский, русский, вьетнамский, тайский, турецкий, польский, украинский, шведский, персидский, иврит и хинди. README сообщает о хорошем сходстве представлений в тесте на 22 языках и результатах выше all-MiniLM-L6-v2 на небольшом внутреннем индонезийском наборе. Лицензия — Apache-2.0. Нулевая классификация не поддерживается; короткие абстрактные запросы могут требовать асимметричных префиксов query:/passage:, а опубликованная оценка ограничена небольшим внутренним корпусом.

Tiel-Inspired-Coder-9B-GGUF — независимая GGUF-версия модели Ornith-1.5-9B, подготовленная автором репозитория VitreousCut с использованием методики peculiar-ragdoll. Веса не дообучались: применены пользовательская imatrix для динамической квантизации и встроенный Sharp chat template. Модель предназначена прежде всего для генерации и анализа кода, решения задач программирования и рассуждений; базовая модель имеет размер 9B параметров. Поддерживаются английский и китайский языки, основной режим работы — text generation. В каждый файл встроен Sharp template qwen3.8-froggeric-v22.4.1, который включает рассуждения по умолчанию, настраиваемую интенсивность рассуждений и директиву краткости. Доступны варианты квантизации от IQ4_XS до Q8_0 размером примерно от 5,0 до 9,2 ГБ. В README приведены результаты HumanEval: Pass@1 93,3% в основном запуске и 95,1% после повторного запуска части заданий с увеличенным бюджетом. Для запуска рекомендуются llama.cpp и контекст 32768 токенов. Главное ограничение — склонность к чрезмерно длительным рассуждениям: на сложных или неоднозначных задачах модель может израсходовать весь лимит токенов, не выдав код. Для большинства сценариев рекомендуется reasoning_effort: low; режимы medium и high подходят для задач, где допустимы более долгие рассуждения. Модель распространяется по лицензии MIT.

BAAI/bge-base-en — англоязычная плотная модель эмбеддингов семейства BGE, разработанная BAAI. Она преобразует текст в векторы для семантического поиска, извлечения документов, кластеризации и классификации, а также для использования в векторных базах данных и системах RAG. Модель основана на BERT, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Эмбеддинги можно применять для поиска близких по смыслу фрагментов и ранжирования кандидатов по относительной близости векторов. README рекомендует использовать более новую BAAI/bge-base-en-v1.5: у исходной версии распределение оценок сходства менее удобно, поэтому абсолютный порог сходства следует выбирать на данных конкретной задачи. Для коротких поисковых запросов к длинным документам инструкция к запросу может улучшить поиск. Модель предназначена для английского языка. Доступны веса в форматах PyTorch, safetensors и ONNX. Лицензия — MIT.

Это GGUF-квантизованная версия модели Qwen3-Coder-REAP-25B-A3B, разработанной командой Cerebras. Репозиторий с квантизациями подготовлен bartowski с использованием llama.cpp и imatrix-калибровки. Модель относится к категории text-generation и предназначена для генерации текста, включая сценарии программирования, однако подробные сведения о специализации исходной модели в представленном README отсутствуют. Доступны варианты от исходных BF16-весов размером 49,76 ГБ до низкобитных форматов размером примерно 11,5–26,5 ГБ. Представлены форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, IQ4 и IQ3; некоторые варианты оптимизированы по качеству, размеру или производительности на ARM и Apple Silicon. Модель можно запускать через LM Studio, llama.cpp и другие проекты на его основе. Архитектура, число параметров и активных параметров, поддерживаемые языки, модальности и размер контекста в README не указаны. Для модели не задан chat template, поэтому используется шаблон по умолчанию, который может быть некорректным. Сильной стороной является широкий выбор уровней квантизации: варианты Q6 и Q5 заявлены как обеспечивающие очень высокое или высокое качество, а Q4_K_M — как компромиссный вариант для большинства сценариев. Более компактные варианты позволяют работать при ограниченном объёме оперативной памяти, но сопровождаются снижением качества. Лицензия в представленном README не указана.

Claude 3 Haiku — компактная и наиболее быстрая модель семейства Claude 3, разработанная компанией Anthropic. Она предназначена для сценариев, где важны почти мгновенная реакция и точное выполнение специализированных запросов. Модель заявлена как мультимодальная, однако в доступных данных не приведены сведения о конкретных поддерживаемых модальностях, архитектуре, размере, языках, длине контекста или лицензии. README также не содержит подробного описания ограничений и условий использования.

CodeLlama 13B GGUF — это квантизированная версия языковой модели CodeLlama 13B, разработанной Meta и преобразованной в формат GGUF пользователем TheBloke. Модель предназначена для генерации текста и программного кода, а также для локального запуска через llama.cpp и совместимые интерфейсы и библиотеки. Модель построена на архитектуре Llama и содержит около 13 миллиардов параметров. Она ориентирована на работу с кодом; в README язык указан как code. Доступны варианты GGUFv2 с квантованием от 2 до 8 бит, что позволяет выбирать компромисс между размером модели, требованиями к памяти, скоростью и качеством. Формат поддерживает метаданные, специальные токены и улучшенную токенизацию. Длина контекста и перечень поддерживаемых естественных языков в предоставленных данных не указаны. К сильным сторонам относятся возможность запуска на CPU и GPU, широкий выбор уровней квантования и совместимость с llama.cpp, text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другими инструментами. Ограничения включают потенциальное снижение качества у более агрессивно квантизированных вариантов, а также отсутствие в README подробных результатов оценки, сведений о контекстном окне и мультимодальных возможностях. Модель распространяется по лицензии Llama 2; условия лицензии следует учитывать при использовании.

Карточка модели bbbbiia/DeepSeek-R1-Distill-Qwen-7B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

DeepSeek-V4.1-Flash-MixedQ2-GGUF — это квантизированный GGUF-артефакт модели DeepSeek-V4.1-Flash от deepseek-ai, опубликованный пользователем apetersson. Модель предназначена для генерации текста и запуска в совместимых средах, поддерживающих архитектуру DeepSeek V4.1 и смешанные GGUF-квантизации. Это модель с маршрутизацией экспертов: 543,581,798,400 маршрутизируемых весов занимают около 152,88 ГБ, а общий размер пяти GGUF-файлов составляет 169,92 ГБ. Языки, размер контекстного окна и точная информация о поддерживаемых модальностях в README не указаны. Для проекций gate/up используется IQ2_XXS с эффективной точностью 2,0625 бита на вес, для down — Q2_K с 2,625 бита на вес; остальные тензоры сохраняют нативную или преобразованную точность BF16/F32. Квантизация не основана на калибровке активациями и использует единичный вектор важности, поэтому она экономит память, но может уступать калиброванным вариантам по качеству. Структурная проверка всех пяти шардов прошла успешно, а CPU-ядро показало косинусное сходство 0,99998 с деквантизированным эталоном. Артефакт рассчитан на мощное оборудование: заявлена работа на одной B200 180 ГБ или B300 288 ГБ с размещением Engram-таблиц в оперативной памяти; также указаны конфигурации с несколькими RTX PRO 6000. На момент публикации сквозной запуск в SGLang ещё ожидал повторной проверки после добавления config.json и токенизатора, llama.cpp не поддерживал загрузку файлов V4.1, а официальный путь GGUF в vLLM не имел карты тензоров DeepSeek. В состав не входят Engram-таблицы, блоки MTP/DSpark и vision/aligner-тензоры, поэтому совместимость среды и комплектность дополнительных файлов необходимо проверять отдельно. Лицензия — MIT.

dolphincoder-starcoder2-15b-GGUF — квантизированная версия модели dolphincoder-starcoder2-15b, разработанной cognitivecomputations и опубликованной в формате GGUF пользователем bartowski. Модель основана на StarCoder2 с размером около 15 млрд параметров и предназначена для генерации текста и программного кода. Модель ориентирована на задачи программирования, включая написание, дополнение и обработку кода, а также работу с инструкциями в сценариях code assistant. Для обучения использовались наборы данных Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder, Code-Feedback и их производные. В карточке указан английский язык; модальности ограничены текстом. Размер контекста и точные архитектурные характеристики не указаны. Преимущество этой версии — возможность локального запуска через llama.cpp с различными уровнями квантизации. Вариант Q6_K отмечен как рекомендуемый благодаря высокому качеству, тогда как менее битные варианты требуют меньше памяти, но дают более заметное снижение качества; Q2_K и Q3_K_S не рекомендуются. К ограничениям относятся зависимость качества и требований к памяти от выбранной квантизации, а также отсутствие данных о производительности и поддерживаемых языках программирования. Лицензия модели — bigcode-openrail-m.

EmbeddingGemma — компактная модель эмбеддингов от Google DeepMind на 302,8 млн параметров, построенная на текстовой архитектуре Gemma 3 с инициализацией T5Gemma. Она преобразует текстовые запросы и документы в векторы размерности 768; размер можно сократить до 512, 256 или 128 с помощью Matryoshka Representation Learning. Модель рассчитана на контекст до 2048 токенов и обучалась на данных более чем на 100 языках. Модель предназначена для семантического поиска и извлечения информации, оценки сходства, классификации и кластеризации текстов. Её небольшой размер подходит для развёртывания на телефонах, ноутбуках и настольных компьютерах с ограниченными ресурсами. В README указано использование через Sentence Transformers и Transformers. Качество зависит от охвата и особенностей обучающих данных; модель может хуже улавливать нюансы, сарказм и переносный смысл, а смещения в данных могут отражаться в эмбеддингах. Репозиторий распространяется по лицензии Gemma; следует учитывать условия использования и политику допустимого применения Gemma.

abhiraj1/eval_triple_encoder — модель Sentence Transformer на базе BERT, дообученная автором репозитория от UKPLab/triple-encoders-dailydialog. Она преобразует предложения и абзацы в плотные векторы размерностью 1024; сходство между векторами оценивается косинусной мерой. Модель использует mean pooling, принимает последовательности длиной до 512 токенов и распространяется в формате safetensors через библиотеку sentence-transformers. Модель предназначена для сравнения смысловой близости текстов, семантического поиска, поиска парафразов, кластеризации и классификации на основе эмбеддингов. README описывает обучение на наборах пар и троек предложений с функциями потерь CosineSimilarityTripleEncoderLoss и ContrastiveLoss. Данные не устанавливают конкретный язык модели, поэтому языковую специализацию определить нельзя. Условия лицензирования в доступных сведениях не приведены.

EvoEmbedding-4B — модель эмбеддингов из семейства EvoEmbedding, представленная под аккаунтом ClareNie. Она предназначена для поиска по длинным контекстам, динамического извлечения информации и организации памяти в агентных системах и длительных диалогах. В отличие от независимого векторного представления отдельных фрагментов, модель использует обновляемую очередь латентной памяти для формирования контекстно-зависимых представлений, учитывающих изменения во времени. Модель построена на архитектуре Qwen3-4B и содержит 4 млрд параметров. Она принимает текст и выдаёт векторные представления для задач поиска и извлечения; в метаданных указаны английский и китайский языки. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. В карточке не приведены результаты оценки качества и подробности о пределах поддерживаемой длины контекста; эффективность на конкретных корпусах следует проверять отдельно.

F2LLM-v2-4B — многоязычная модель эмбеддингов от CodeFuse AI, основанная на плотной архитектуре Qwen3. Она предназначена для преобразования текста в векторные представления, которые можно использовать для поиска, ранжирования, оценки сходства, кластеризации и поиска параллельных текстов. Модель содержит 3,7 млрд параметров и поддерживает контекст до 40 960 токенов. Модель обучена на отобранном наборе из 60 миллионов общедоступных примеров; семейство F2LLM-v2 ориентировано более чем на 200 языков, в том числе языки с ограниченными обучающими ресурсами. Поддерживаются инструкции для запросов, а обучение Matryoshka Representation Learning позволяет уменьшать размерность эмбеддингов с сохранением полезных свойств представления. Репозиторий предоставляет веса в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Практическое качество зависит от языка, формулировки инструкции и выбранной размерности эмбеддингов; README не приводит отдельных численных результатов именно для версии 4B.

GLiNER2.5 Small — компактная модель извлечения информации от Fastino, построенная на архитектуре GLiNER2 boundary с энкодером DeBERTa-v3-xsmall. Веса содержат 74 млн параметров и доступны в формате safetensors; модель рассчитана на английский язык и поддерживает локальный запуск на CPU, CUDA и MPS. Модель принимает текст и по заданной схеме извлекает сущности, классифицирует текст, находит связи и атрибуты сущностей, а также формирует структурированные записи. Разреженное сопоставление начальных и конечных границ позволяет находить фрагменты произвольной длины в пределах одного окна кодирования; указанный в README предел max_len — 4096 токенов. Модель подходит для быстрой обработки на CPU и периферийных устройствах. Для длинных документов предусмотрена обработка перекрывающимися фрагментами, однако сущность или связь не извлекается, если её границы или связанные сущности не попали в один фрагмент. Обычное извлечение с max_len обрезает текст. Лицензия — Apache-2.0.

GLiNER-relex-large-v0.5 — модель семейства GLiNER для совместного распознавания именованных сущностей и извлечения отношений из текста. Она использует единую энкодерную архитектуру: определяет фрагменты сущностей, формирует пары кандидатов с помощью графовых свёрточных сетей и классифицирует отношения между ними. Модель поддерживает zero-shot извлечение: при обработке можно задавать собственные типы сущностей и отношений без дообучения, в том числе сопровождать метки текстовыми описаниями. Сущности и отношения извлекаются за один проход; при необходимости доступно извлечение только сущностей. Это подходит для построения графов знаний, анализа документов и разметки текстовых корпусов. Для развертывания предусмотрен экспорт в ONNX. Модель опубликована Knowledgator в формате safetensors и распространяется по лицензии Apache-2.0. Результаты зависят от выбранных схемы меток и порогов извлечения; README рекомендует подбирать пороги под задачу.

GLM-5.3-Flash-W4A16 — это INT4-квантизированная версия модели zai-org/GLM-5.3-Flash, подготовленная для самостоятельного запуска и обслуживания через SGLang. Квантование выполнено по схеме weight-only W4A16 с группами по 128 весов и симметричным представлением. Модель предназначена для генерации текста, мультимодальных сценариев с изображениями и вызова инструментов; заявлены языки English и Chinese. Архитектура использует Mixture-of-Experts, а размер чекпойнта на диске составляет около 190,8 ГБ, что требует значительных аппаратных ресурсов. Основной сценарий применения — высокопроизводительный self-hosted inference на RTX PRO 6000 Blackwell (SM120) с использованием SGLang. В чекпойнте сохранены vision и tool calling, а также встроенная MTP/NEXTN-голова для speculative decoding, способная существенно повысить скорость генерации при корректной настройке. Данные о размере контекстного окна в README не указаны. Для корректной работы обязательны специальные параметры SGLang: отключение shared experts fusion, использование BF16 для KV-кэша и chunked prefill size 4096. Требуется сборка SGLang из post-merge nightly с дополнительными патчами для SM120; готового релизного образа с необходимой поддержкой на момент публикации нет. Без обязательного флага отключения fusion модель генерирует бессмысленный текст и не останавливается. Лицензия — MIT.