II.1Анализ требований и архитектура ПО

Granite-4.0-350M-Base — компактная базовая языковая модель IBM Granite Team, обученная с нуля для генерации текста при ограниченных вычислительных ресурсах. Она предназначена для локального и офлайн-применения, в том числе на смартфонах и IoT-устройствах, а также для дообучения под специализированные задачи. Модель имеет плотную decoder-only архитектуру трансформера GraniteMoeHybridForCausalLM с GQA, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Она содержит 352,3 млн параметров, поддерживает контекст до 32 768 токенов и дополнение кода по схеме Fill-in-the-Middle. В карточке указана поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Модель подходит для суммаризации, классификации и извлечения информации, ответов на вопросы и дополнения кода. Она выпущена под лицензией Apache 2.0. Модель не прошла выравнивание по безопасности и может выдавать предвзятые, ошибочные или проблематичные ответы; для небольших моделей также отмечен риск воспроизведения фрагментов обучающих данных.

arshvir/granite-embedding-311m-multilingual-r2-GGUF — конвертированная в формат GGUF модель эмбеддингов IBM Granite Embedding 311M Multilingual R2 на архитектуре ModernBERT. Репозиторий содержит веса в формате F16; модель насчитывает 311 млн параметров и поддерживает контекст до 32 768 токенов. Она преобразует текст в векторы размерностью 768, которые можно усекать до 512, 384, 256 или 128 измерений благодаря Matryoshka Representation Learning. Модель предназначена для многоязычного и межъязыкового семантического поиска, сравнения предложений и поиска по длинным документам, а также для поиска по коду. В README заявлена поддержка более 200 языков, с усиленным обучением на 52 языках и примерами языков программирования. Для загрузки GGUF предлагается использовать llama-cpp-python. По README, модель набрала 65,2 на 18 задачах многоязычного retrieval-бенчмарка MTEB; эти результаты приведены автором карточки. Репозиторий указывает лицензию Apache 2.0. Это преобразование исходной модели в GGUF F16, а не новая обученная версия; для использования нужна совместимая среда выполнения GGUF.

mlx-community/LFM2.5-8B-A1B-MLX-4bit — 4-битная MLX-версия языковой модели LiquidAI LFM2.5-8B-A1B, конвертированная сообществом mlx-community с использованием mlx-lm 0.31.1. Модель предназначена для генерации текста и запуска в экосистеме MLX, в том числе для локального инференса через mlx-lm. Это авторегрессионная модель с архитектурой lfm2_moe: гибрид из 18 блоков double-gated short-conv и 6 блоков внимания GQA, с разреженным MoE на 32 эксперта и активацией 4 экспертов на токен. Она содержит около 8,3 млрд параметров, из которых активно используется около 1,5 млрд, и поддерживает контекст до 128 тысяч токенов. Заявлены языки: английский, арабский, китайский, французский, немецкий, японский, корейский, португальский и испанский. README не содержит сведений о мультимодальных возможностях или результатах бенчмарков. К сильным сторонам относятся разреженная MoE-архитектура, большой контекст и 4-битное представление, потенциально снижающее требования к памяти при запуске в MLX. Ограничения включают зависимость от экосистемы MLX и отсутствие в README подробностей о качестве на конкретных задачах. Модель является производной от LiquidAI LFM2.5-8B-A1B и распространяется по лицензии LFM Open License v1.0 (lfm1.0); применяются условия коммерческого использования этой лицензии.

QuantFactory/Llama3-8B-Instruct-Replete-Adapted-GGUF — квантизированная версия модели Replete-AI/Llama3-8B-Instruct-Replete-Adapted, созданная с использованием llama.cpp. В её основе лежит Meta-Llama-3-8B-Instruct с адаптером Replete-AI/Replete-Coder-Llama3-8B. Модель дообучена Rombodawg и распространяется в формате GGUF для запуска средствами, совместимыми с llama.cpp. Модель предназначена прежде всего для генерации и анализа кода, перевода между языками программирования, задач, связанных с безопасностью и поиском уязвимостей, математических рассуждений и function calling. Согласно README, она также рассчитана на общее текстовое использование и поддерживает более 100 языков программирования. Обучающие данные включали примерно 25% общих инструкций и 75% инструкций по программированию; общий объём заявлен как около 3,9 млн строк, 1 млрд токенов или 7,27 ГБ данных. К сильным сторонам относятся специализация на программировании, широкий охват языков, возможности перевода кода, математические и общие инструкционные сценарии, а также возможность запуска на относительно ограниченных аппаратных ресурсах благодаря размеру базовой модели и квантизации. При этом README не указывает точный вариант квантизации, размер контекста, поддерживаемые естественные языки, конкретные требования к памяти и результаты большинства заявленных тестов; известный показатель HumanEval pass@1 составляет 0,6468. Модель описана как uncensored. Указана лицензия llama-3 с дополнительным типом license: other; применимые условия следует уточнять по лицензии Meta Llama 3.

Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

Карточка модели mikelalda/multilingual-e5-base на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

MyAwesomeModel — модель из репозитория пользователя hwefa, опубликованная для использования через библиотеку Transformers и отмеченная тегами PyTorch, BERT и feature-extraction. Метаданные Hugging Face классифицируют её как модель извлечения признаков, а README описывает обновлённую версию с улучшенными рассуждениями, логическим выводом, математикой, программированием, диалогами, суммаризацией, классификацией, переводом и поддержкой function calling. README также заявляет о снижении частоты галлюцинаций и рекомендует использовать системный промпт и температуру 0.6.

Карточка модели luganoquant/OpenThinker3-7B на Hugging Face совпадает с карточкой open-thoughts/OpenThinker3-7B, поэтому описание составлено по ней. OpenThinker3-7B — языковая модель с открытыми весами, разработанная командой Open Thoughts для задач рассуждения. Она дообучена методом supervised fine-tuning на базе Qwen/Qwen2.5-7B-Instruct на наборе OpenThoughts3-1.2M, включающем вопросы по математике, программированию и естественным наукам. По данным авторов, модель обучалась без RL и показала улучшение по сравнению с предыдущими моделями OpenThinker в приведённых тестах. Модель имеет плотную архитектуру Qwen2 с 7,1 млрд параметров, принимает текст и генерирует текст. Контекст составляет до 32 768 токенов; поддерживаются чатовый режим и интерфейс вызова инструментов. Модель предназначена для решения математических задач, написания и анализа кода, научных вопросов и пошагового рассуждения. Доступна по лицензии Apache 2.0.

Ornstein3.6-35B-A3B — мультимодальная дообученная модель DJLougen на базе unsloth/Qwen3.6-35B-A3B для диалогов, рассуждений и агентных сценариев. Она принимает текст и изображения и формирует текстовые ответы; также поддерживает интерфейс вызова инструментов. Модель использует архитектуру Qwen3_5MoeForConditionalGeneration с чередованием линейного и полного внимания. Всего в ней 34,66 млрд параметров, из которых около 3 млрд активны на каждом токене; указаны 256 экспертов и 8 активных экспертов на токен. Длина контекста — 262 144 токена. Репозиторий содержит веса Safetensors и восстановленные компоненты обработки изображений и видео. Модель подходит для диалоговых задач, анализа изображений и агентной работы с инструментами. Это авторский экспериментальный fine-tune из серии Ornstein, обученный на самостоятельно отобранных данных; подробности датасета и результаты сравнительных оценок в карточке не приведены. Лицензия — Apache 2.0.

PLaMo 3 NICT 2604 31B Base — базовая авторегрессионная языковая модель с 31 млрд параметров, разработанная Preferred Networks совместно с Национальным институтом информационных и коммуникационных технологий Японии (NICT). Модель дистиллирована из модели на 120 млрд параметров и использует гибридную архитектуру с оконным вниманием SWA и традиционными слоями внимания. Для запуска поддерживается библиотека Transformers и vLLM. Модель предназначена для генерации текста на английском и японском языках, включая работу с кодом. Она обучена на 1,5 трлн токенов; контекстное окно в карточке не приведено. Это базовая модель, поэтому для диалоговых и прикладных сценариев может потребоваться дополнительная настройка. Ответы могут быть неточными, предвзятыми или нежелательными, поэтому перед внедрением нужны тестирование и настройка безопасности под конкретное применение. Распространяется по лицензии PLaMo Community License. Для коммерческого использования разработчик просит ознакомиться с лицензией и связаться с ним.

Карточка модели bonalai/Qwen2.5-Coder-32B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-32B-Instruct — инструктивно дообученная языковая модель для кода из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа и исправления кода, а также для создания кодовых агентов; сохраняет способности к математике и общим задачам. Модель может применяться в диалоговых сценариях и интерфейсах вызова инструментов. Это плотная причинная трансформерная модель Qwen2 с 32 млрд параметров по метаданным (в README указано 32,5 млрд), доступная в формате safetensors и рассчитанная на работу через Transformers. README описывает RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст 32 768 токенов; README сообщает о поддержке до 131 072 токенов с настройкой YaRN для длинных входов. Карточка относит модель к английскому языку; модель специализируется на программировании. Лицензия Apache-2.0 допускает широкое использование с соблюдением её условий. При обработке контекстов длиннее 32 768 токенов требуется настройка YaRN; статический YaRN в vLLM может снижать качество на коротких текстах. Заявления README о сравнительной производительности являются оценкой авторов.

Карточка модели raychan0713/Qwen2.5-Coder-32B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-32B-Instruct — инструктивно дообученная языковая модель для кода из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа и исправления кода, а также для создания кодовых агентов; сохраняет способности к математике и общим задачам. Модель может применяться в диалоговых сценариях и интерфейсах вызова инструментов. Это плотная причинная трансформерная модель Qwen2 с 32 млрд параметров по метаданным (в README указано 32,5 млрд), доступная в формате safetensors и рассчитанная на работу через Transformers. README описывает RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст 32 768 токенов; README сообщает о поддержке до 131 072 токенов с настройкой YaRN для длинных входов. Карточка относит модель к английскому языку; модель специализируется на программировании. Лицензия Apache-2.0 допускает широкое использование с соблюдением её условий. При обработке контекстов длиннее 32 768 токенов требуется настройка YaRN; статический YaRN в vLLM может снижать качество на коротких текстах. Заявления README о сравнительной производительности являются оценкой авторов.

Orion-zhen/Qwen2.5-Coder-7B-Instruct-AWQ — квантизированная версия инструкционно дообученной языковой модели Qwen2.5-Coder-7B, разработанной командой Qwen. Это каузальная текстовая модель для генерации, анализа, исправления и рассуждений о программном коде, а также для задач кодовых агентов и общих математических и текстовых сценариев. Модель обучалась с использованием корпуса alvarobartt/openhermes-preferences-coding; для калибровки AWQ применялся этот же датасет. Модель содержит 7,61 млрд параметров, из которых 6,53 млрд не относятся к embedding, и включает 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в attention QKV; применяется GQA с 28 головами для Q и 4 для KV. Заявлена поддержка контекста до 131 072 токенов, однако исходная конфигурация рассчитана на 32 768 токенов, а для более длинных входов требуется включение YaRN. Основные заявленные языки — английский и китайский. Модель работает в режиме text generation и поддерживается Transformers. Сильные стороны — специализация на программировании, улучшенные генерация, исправление и понимание кода, большой контекст и сниженные требования к памяти благодаря AWQ-квантизации. При использовании YaRN на коротких текстах возможное падение производительности связано со статическим коэффициентом масштабирования. README не содержит отдельных результатов тестирования именно этой AWQ-версии, поэтому её фактическую точность и скорость следует проверять отдельно. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-abliterated — доработанная методом ablation модель Qwen3 от null-space на базе Qwen/Qwen3-235B-A22B. Из весов удалено доминирующее направление отказа, из-за чего модель значительно реже отклоняет запросы, сохраняя основные возможности исходной модели. Это разреженная MoE-модель для генерации диалогового текста, рассуждений, программирования, перевода и работы с инструментами; поддерживает режимы /think и /no_think. Архитектура — Qwen3MoeForCausalLM, формат весов — BF16, контекст — до 40 960 токенов. Метаданные указывают 18,2 млрд параметров, тогда как README описывает базовую модель как 235-миллиардную MoE-модель. Модель подходит для творческого письма, диалогов и исследований поведения отказов в языковых моделях, включая red-teaming и оценку безопасности. В приведённой оценке MMLU для FP8-варианта результат составил 86,2% против опубликованных 87,8% у базовой модели; это сравнение не является полной независимой оценкой всех возможностей. Удаление отказов означает, что модель может отвечать на запросы, которые исходная модель отклоняла, поэтому её ответы требуют соответствующего контроля. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-INT8-AutoRound — квантизированная версия модели orcarouter/Qwen3.8-27B-Uncensored, опубликованная пользователем berkerdooo. Она предназначена для запуска и обслуживания языковой или мультимодальной модели Qwen3.8 в условиях ограниченных ресурсов с использованием INT8-квантования весов. В карточке указана multimodal-конфигурация image-text-to-text, а также наличие vision tower, однако поддерживаемые языки и полный перечень мультимодальных возможностей не описаны. Модель имеет размер 27B параметров и использует смешанную точность W8A16: 263 линейных слоя, включая основные проекции self-attention и MLP, хранятся в симметричном INT8 с group size 128, а 354 линейных слоя, включая linear attention, эмбеддинги, выходную голову, нормализационные слои и vision tower, работают в BF16. Квантование выполнено с помощью AutoRound методом SignRound после калибровки на текстах и исходном коде. В README упоминается архитектура с 16 слоями full attention и 48 слоями linear attention/GDN. Для обслуживания проверена связка vLLM с GPTQ-Marlin и поддерживается MTP speculative decoding; в тестовой конфигурации указан максимальный контекст до 262144 токенов. Сильной стороной является небольшая потеря относительно BF16-источника: на указанном тесте согласие top-1 составило примерно 97,2–97,7%, а разница NLL была +0,0022. Ограничения включают зависимость от совместимого стека vLLM и аппаратного обеспечения, а также отсутствие в README результатов прикладных бенчмарков, точного описания языковой поддержки и детальной оценки качества vision-возможностей. Модель распространяется по лицензии Apache-2.0.

NeuralMetrics/Qwen3-Embedding-0.6B — размещённая Neural Metrics копия модели Qwen3-Embedding-0.6B, разработанной командой Qwen. Согласно карточке, веса и поведение совпадают с исходной моделью. Это плотная модель семейства Qwen3 с 507,6 млн параметров, предназначенная для преобразования текста в эмбеддинги; она поддерживает контекст до 32 768 токенов и выходные векторы размером от 32 до 1024 измерений. Модель подходит для семантического поиска по документам, пунктам договоров, строкам и полям, поиска по коду, выявления похожих текстов, классификации и кластеризации. Она поддерживает более 100 языков, включая возможности межъязыкового поиска, и принимает инструкции, позволяющие настроить эмбеддинги под задачу. Векторы можно использовать в системах поиска и маршрутизации документов. Ограничения: это модель эмбеддингов, поэтому для поиска нужен отдельный индекс векторов и компонент, который сопоставляет запросы с документами. Для использования с Transformers требуется версия 4.51.0 или новее; карточка рекомендует подбирать инструкции под сценарий, поскольку их отсутствие может снизить качество поиска. Лицензия — Apache-2.0.

NobodyWho/Qwen_Qwen3.5-0.8B-GGUF — GGUF-квантизированная версия модели Qwen3.5-0.8B, разработанной командой Qwen компании Alibaba Group. Модель подготовлена для использования с NobodyWho, содержит встроенные рекомендованные параметры семплирования Qwen и проверена тестовым набором NobodyWho. Модель предназначена для быстрого диалогового общения и генерации текста, выполнения инструкций, нативного tool calling и локального запуска на устройствах с ограниченными ресурсами. Она поддерживает мультимодальный ввод текста и изображений через дополнительную проекционную модель mmproj-BF16.gguf, режим рассуждений, включённый по умолчанию, а также широкий набор языков. Заявлена поддержка контекста до 262 144 токенов. Модель содержит 0,8 млрд параметров и использует архитектуру qwen35. Доступны варианты BF16, Q8_0 и Q4_K_M; каждый показал результат 13 из 14 тестов tool calling, при этом сложные схемы остаются ограничением. Основные преимущества — малый размер, низкие требования к памяти, мультимодальность, длинный контекст и возможность локального использования. Для работы с изображениями требуется отдельный файл проекционной модели. Распространяется по лицензии Apache 2.0.

Yuan2-2B-Februa-hf — компактная языковая модель IEIT System из семейства Yuan 2.0, представленная в архитектуре YuanForCausalLM с плотной структурой и примерно 1,9 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия; в карточке заявлено контекстное окно 8192 токена. Модель опирается на Yuan 1.0 и обучалась на расширенном наборе предварительно обучающих и инструкционных данных. Разработчик описывает её применение для понимания языка, математики, рассуждений, кода и общих знаний; в README приведены оценки на GSM8K, AGIEval-GK-Math, HumanEval и TruthfulQA для версий Yuan 2.0. Доступны веса PyTorch и указана лицензия other; README сообщает о коммерческом использовании по условиям лицензии Yuan 2.0 и Apache 2.0 для исходного кода репозитория. Модель может выдавать неточные ответы и поддаваться вводящим в заблуждение инструкциям. README также возлагает на пользователя ответственность за соблюдение условий лицензии и требований безопасности при развёртывании.

Карточка модели Sing0402/auslegal-embed-gte-inbatch на Hugging Face совпадает с карточкой Alibaba-NLP/gte-modernbert-base, поэтому описание составлено по ней. gte-modernbert-base — англоязычная модель для построения текстовых эмбеддингов, разработанная Tongyi Lab компании Alibaba. Она основана на encoder-only архитектуре ModernBERT и содержит 149 млн параметров; вектор представления имеет размерность 768, максимальная длина входа — 8192 токена. Модель предназначена для семантического поиска, извлечения документов, сравнения предложений и подбора текстов по смыслу, в том числе как компонент систем RAG. В карточке приведены результаты оценок MTEB, BEIR, LoCo и COIR; они показывают эффективность на задачах поиска, включая поиск по длинным документам и коду. Доступны веса в форматах PyTorch, Safetensors и ONNX; для интеграции описано использование Transformers, Sentence Transformers и Text Embeddings Inference. Модель распространяется по лицензии Apache-2.0. Она рассчитана прежде всего на английский язык, поэтому качество для других языков не подтверждено карточкой.

TheBloke/CodeLlama-70B-Instruct-GGUF — это квантизированная версия CodeLlama 70B Instruct, разработанной Code Llama и преобразованной TheBloke в формат GGUF. Модель предназначена для генерации и понимания программного кода, а также для диалоговых сценариев с инструкциями. Она относится к семейству Llama и доступна в вариантах квантизации от 2 до 8 бит для запуска на CPU и GPU. Модель содержит около 70 миллиардов параметров и работает как текстовая модель генерации с поддержкой входных инструкций и запросов на естественном языке и коде. Формат GGUF совместим с llama.cpp и рядом локальных интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Разные уровни квантизации позволяют выбирать компромисс между требованиями к памяти, скоростью и сохранением качества, однако более сильная квантизация может снижать точность ответов. В README не указаны поддерживаемые естественные языки и размер контекстного окна. Модель распространяется по лицензии Llama 2. Для работы требуется совместимый рантайм, например llama.cpp, а конкретные требования к ресурсам зависят от выбранного варианта квантизации.

Damysus-2.7B-Chat — англоязычная диалоговая модель Prince Canuma, дообученная на базе Microsoft Phi-2 для следования инструкциям. Это плотный Transformer для генерации текста с 3,5 млрд параметров по метаданным и контекстом до 2048 токенов. Модель рассчитана на ответы на вопросы, извлечение данных, структурированные ответы, включая JSON, и объяснения; её также можно использовать как компонент RAG для синтеза ответов, суммаризации и переформулирования запросов. Модель обучали на данных SlimOrca и наборах TinyOrca; автор сообщает, что лучшие результаты получил при дообучении на 200 примерах. Репозиторий содержит веса Safetensors, для работы предусмотрена библиотека Transformers. Лицензия — MIT. Модель в первую очередь рассчитана на стандартный английский; сленг и другие языки могут обрабатываться хуже. Ответы и фрагменты кода могут быть фактически неверными, а знания о программировании в основном связаны с Python и распространёнными библиотеками, поэтому результаты следует проверять.

DeepSeek-V4-Pro-Qwen3.5-9B — компактная языковая модель класса 9B, созданная Kottk14-02-09 на основе unsloth/Qwen3.5-9B. Это reasoning-ориентированная дистилляция ответов DeepSeek-V4-Pro в режиме Max Effect с дополнительной настройкой под математику и STEM-задачи. В README также указано сотрудничество с инженером по аппаратному обеспечению Kyle Hessling, который помогал с инфраструктурой, обучением и оцениванием. Модель предназначена для генерации текста, многошагового решения математических и научных задач, структурированного рассуждения, а также может применяться в программировании, tool use и function calling. Обучение включало примерно 250 000 примеров по математике и STEM; при этом заявлены небольшие улучшения в программировании и использовании инструментов даже без специализированных данных для SFT по коду. Поддерживаются английский, китайский, корейский, японский, испанский и русский языки. Модель относится к текстовым генеративным моделям; сведения о мультимодальности и размере контекста в README не указаны. К сильным сторонам относятся относительно небольшой размер, практичная развёртываемость и фокус на математическом и научном рассуждении. Для запуска и оценки упомянуты vLLM с NVFP4 и llama.cpp с MTP-Q8_0. Ограничения модели, точные результаты бенчмарков, качество по отдельным языкам и требования к аппаратному обеспечению не приведены, поэтому их следует проверять самостоятельно. Модель распространяется по лицензии Apache-2.0.

Карточка модели ChaosAIVision/embeddinggemma-300m на Hugging Face совпадает с карточкой michaelfeil/embeddinggemma-300m, поэтому описание составлено по ней. EmbeddingGemma — компактная мультиязычная модель эмбеддингов от Google DeepMind на основе текстовой архитектуры Gemma 3 с инициализацией T5Gemma. Она преобразует текст в векторы и предназначена для семантического поиска и извлечения информации, оценки сходства, классификации и кластеризации. Модель содержит 302,8 млн параметров, принимает текст длиной до 2048 токенов и выдаёт эмбеддинги размером 768, 512, 256 или 128 измерений с помощью Matryoshka Representation Learning. Обучалась на данных более чем из 100 языков и рассчитана в том числе на запуск на мобильных устройствах и компьютерах с ограниченными ресурсами. Подходит для поиска документов и кода по запросам, поиска материалов для систем вопросов и ответов, обнаружения дубликатов, тематической группировки текстов и классификации по заданным категориям. Для использования предусмотрена библиотека Sentence Transformers. Лицензия — Gemma; применяются условия использования и политика допустимого использования Gemma. Качество зависит от охвата и особенностей обучающих данных. Модель может хуже улавливать языковые нюансы, сарказм и переносный смысл; возможны смещения в эмбеддингах.

EmbeddingGemma — компактная модель эмбеддингов Google DeepMind с 300 млн параметров, построенная на Gemma 3 с инициализацией T5Gemma. Она преобразует текстовые запросы и документы в векторы и предназначена для семантического поиска и извлечения информации, оценки сходства, классификации и кластеризации. Модель обучалась на текстах более чем на 100 языках и рассчитана на запуск на устройствах с ограниченными ресурсами, включая телефоны и ноутбуки. Модель принимает текст длиной до 2048 токенов и выдаёт вектор размерности 768; благодаря Matryoshka Representation Learning его можно сократить до 512, 256 или 128 измерений с последующей нормализацией. Подходит для поиска документов и кода по запросу, обнаружения дубликатов и подбора материалов для систем вопросов и ответов. Возможны ошибки при понимании языковых нюансов и неоднозначности; качество зависит от охвата обучающих данных. Лицензия — Gemma; применяются условия использования Gemma и политика запрещённого использования Google.

Fabliq-8B-Agent-Reasoning — англоязычная модель-ассистент семейства Fabliq от LLM-OS-Models, дообученная на базе Fabliq-8B-Agent. Это причинная языковая модель архитектуры Lfm2MoeForCausalLM с MoE: около 8 млрд параметров всего и примерно 1 млрд активных на токен. Модель рассчитана на генерацию ответов, многошаговые рассуждения и агентные сценарии с вызовом инструментов, включая терминальные задачи. Модель расширяет возможности базовой агентной версии экспертными ответами на общие вопросы, задачами по математике, научному анализу, программированию, планированию и кибербезопасности. В README описаны двухэтапное обучение и использование дистиллированных данных; обучение включало 281 пример на втором этапе. Репозиторий указывает нативный контекст 128 000 токенов, однако обучение проводилось на последовательностях до 8 192 токенов, поэтому качество на длинном контексте не подтверждено. Модель ориентирована преимущественно на английский язык; поддержка других языков ограничена. Авторы отмечают риск переобучения на шаблонных данных и отсутствие выравнивания безопасности, поэтому для практического развёртывания нужны собственные защитные меры. Лицензия — Apache-2.0.

gemma-3-12b-it-heretic — модифицированная версия Google Gemma 3 12B Instruct, опубликованная пользователем saidutta69 и созданная с помощью Heretic 1.4.0. Модель предназначена для локальных агентов, диалоговых приложений, генерации текста, ответов на вопросы по изображениям и исследований механизмов выравнивания и отказов моделей. Она сохраняет мультимодальность базовой модели: работает с текстом и изображениями; заявлен английский язык. Модель рассчитана на запуск через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Это модель примерно на 12,2 млрд параметров с архитектурой Gemma 3 и поддержкой инструкций. Вариант heretic получен не дообучением, а направленным редактированием весов attention output-проекций и MLP down-проекций методом abliteration. Цель изменения — подавить поведение, связанное с отказами, сохранив знания и следование инструкциям базовой модели. Для запуска рекомендуются GPU с 16–24 ГБ памяти; доступны полновесные BF16-файлы и GGUF-квантизации Q4_K_M и Q5_K_M. Точный размер контекстного окна в README не указан. По заявленным тестам, модель отказала в 40 из 100 проверочных adversarial-запросов против 99 отказов у базовой Gemma 3 12B Instruct; KL-дивергенция относительно базы составила 0,1006. Сильной стороной является сочетание мультимодальных возможностей Gemma 3 с существенно сниженным количеством отказов. Ограничения включают неполное устранение отказов, более широкое изменение поведения по сравнению с некоторыми другими abliteration-моделями, унаследованные от базовой модели фактические ограничения и смещения, а также отсутствие дополнительной фильтрации безопасности. README предупреждает о рисках неограниченного публичного развертывания. Лицензия — Gemma, унаследованная от базовой модели; условия приведены в связанной лицензии Google.

gemma-4-A4B-98e-v7-coder-it-GGUF — это набор GGUF-квантизаций модели ManniX-ITA/gemma-4-A4B-98e-v7-coder-it, разработанный автором ManniX-ITA на основе Gemma 4 26B-A4B. Модель предназначена прежде всего для генерации, анализа и исправления программного кода, а также для задач, требующих рассуждений. Доступны варианты от CD-Q2_K и IQ4_XS до Q8_0 и F16 с различным размером файлов и компромиссом между качеством и требованиями к памяти. Архитектура — Gemma4 с разреженной смесью экспертов (MoE): около 20,45 млрд параметров всего и примерно 4 млрд активных параметров. Это результат pruning-кода с сокращением числа экспертов со 128 до 98 на слой. Для мультимодальных сценариев предусмотрена совместимая башня компьютерного зрения SigLIP, поставляемая отдельным файлом и не затронутая pruning; в метаданных указана поддержка image-text-to-text. В README заявлен английский язык, а контекст использования в примере llama.cpp настроен на 32 768 токенов, что не обязательно означает максимальный размер контекста модели. Сильная сторона модели — сочетание MoE-архитектуры, оптимизированной для кода, и широкого набора квантизаций, включая рекомендуемые Q4_K_M и Q4_K_S, а также компактный CD-Q2_K. По приведённым автором результатам, на HumanEval+ варианты достигают 92,68%, а на MultiPL-E — до 91%, однако эти показатели относятся к конкретным настройкам и сравнительному тестированию квантов. Ограничения включают потерю качества и возможные артефакты на низких уровнях квантизации, значительный размер старших вариантов и необходимость корректной настройки инференса. При использовании llama.cpp для режима рассуждений требуется параметр reasoning-budget; без него модель может выдавать некорректные специальные токены. Распространяется по лицензии Apache-2.0.

GeorgeCU/Giga-Embeddings-instruct-3B-0826-ft — модель текстовых эмбеддингов из серии Giga-Embeddings, построенная на собственной предобученной модели с архитектурой Qwen3 и двунаправленным encoder-style вниманием. Она содержит около 3,2 млрд параметров, формирует векторы размерностью 2048 и поддерживает контекст до 8192 токенов. Для получения эмбеддинга используются mean pooling по непаддинговым токенам и L2-нормализация. Модель предназначена для векторного поиска, семантического сравнения, классификации и кластеризации текстов. Она обучена контрастивным методом InfoNCE и рассчитана прежде всего на русский и английский языки. В асимметричном поиске инструкцию следует добавлять к запросу, оставляя документы без инструкции; для симметричного сравнения инструкцию можно опустить или использовать общую. README приводит результаты MTEB для русского, английского и кода. Для корректного применения нужны mean pooling и L2-нормализация: CLS- и last-token pooling дают неверные результаты. При прямом использовании transformers эти операции нужно выполнять самостоятельно; результаты могут немного различаться в зависимости от версий PyTorch и Transformers. Лицензия — MIT.

canada-quant/GLM-5.3-Flash-W4A16-MTP — это квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной zai-org и подготовленной canada-quant. Модель предназначена для генерации текста и обработки изображений с текстом, включая сценарии с очень длинным контекстом и ускоренным инференсом на совместимом GPU-оборудовании. Заявлены английский и китайский языки, архитектура Transformers и контекст до 1 048 576 токенов. В модели применяется weight-only-квантизация INT4 (W4A16, GPTQ, group-128) для 36 288 routed-expert GEMM-операций. Веса занимают около 177,7 GiB вместо примерно 599 GiB в BF16. Компоненты внимания, маршрутизатор, shared experts, embeddings, vision tower и BF16 MTP draft head сохранены без квантизации; MTP используется для speculative decoding. Артефакт рассчитан на запуск, в частности, на 4× H100/H200, 4× RTX PRO 6000 или 2× DGX Spark, при этом максимальный подтверждённый контекст зависит от конфигурации оборудования. Сильные стороны модели — существенно сниженные требования к памяти, поддержка длинного контекста, мультимодальность и ускорение генерации за счёт MTP. README приводит высокие результаты на AIME 2026 и GSM8K, а также сравнительные показатели производительности на H100, H200 и DGX Spark. Ограничения включают зависимость доступного контекста и скорости от конкретного оборудования и serving stack; модель не является новой базовой разработкой, а сохраняет возможности исходной GLM-5.3-Flash с компромиссами квантизации. Лицензия — MIT.

Карточка модели noname002/google-embeddinggemma-300m-3fre-df-bkai на Hugging Face совпадает с карточкой google/embeddinggemma-300m, поэтому описание составлено по ней. EmbeddingGemma — компактная модель эмбеддингов Google DeepMind на 300 млн параметров, построенная на Gemma 3 с инициализацией T5Gemma. Она преобразует текстовые запросы и документы в векторы и предназначена для семантического поиска, оценки сходства, классификации и кластеризации. Модель поддерживает более 100 языков и рассчитана на локальное использование на телефонах и компьютерах с ограниченными ресурсами. Модель принимает текст с контекстом до 2048 токенов и выдаёт эмбеддинги размерностью 768; с помощью Matryoshka Representation Learning размерность можно сократить до 512, 256 или 128 с последующей нормализацией. Она подходит для поиска документов и кода по запросу, поиска материалов для систем вопросов и ответов, обнаружения дубликатов и тематической группировки текстов. Для работы предусмотрена библиотека Sentence Transformers. Качество представлений зависит от охвата и возможных смещений обучающих данных; модель может хуже учитывать тонкие языковые оттенки, сарказм и переносный смысл. Лицензия указана как Gemma; применяются условия использования Gemma и её политика запрещённого использования.