II.10Разработка и эксплуатация AI/ML-систем

NuExtract — модель NuMind для извлечения структурированных сведений из текста. Она дообучена на частном высококачественном синтетическом наборе данных на базе microsoft/Phi-3-mini-4k-instruct; архитектура — плотная Phi-3, около 3,7 млрд параметров. Модель принимает текст и шаблон JSON с описанием нужных полей, а затем формирует извлечённые данные в заданной структуре. По карточке она предназначена для извлечения информации, включая сценарии без примеров; автор отмечает, что вывод является экстрактивным и текст ответа берётся из исходного текста. Модель рассчитана на вход менее 2000 токенов. Метаданные указывают контекст до 4096 токенов, английский язык и формат safetensors. Лицензия — MIT. Карточка помечает модель как устаревшую и указывает на обновлённую версию.

OLMo-2-1124-13B-Instruct-RLVR2 — англоязычная диалоговая модель Allen Institute for AI (AI2), созданная на архитектуре OLMo 2 с плотной причинно-языковой сетью и 13,2 млрд параметров. Она предназначена для общения, выполнения инструкций и решения задач на естественном языке; обучение с подкреплением на проверяемых результатах ориентировано, в частности, на математические задачи. Модель принимает текст и генерирует текст, поддерживает контекст до 4096 токенов и доступна в формате safetensors для Transformers. Это вариант RLVR2, дообученный на основе allenai/OLMo-2-1124-13B-Instruct-RLVR1; в метаданных указан датасет allenai/RLVR-GSM. Модель рассчитана прежде всего на английский язык. Лицензия Apache 2.0. В README отмечено, что обучение безопасности ограничено, поэтому модель может выдавать проблемные ответы, особенно при соответствующих запросах.

Карточка модели localized-ft/OLMo-3-7B-school-of-reward-hacks-first-third-sft-seed3 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-school-of-reward-hacks-first-third-sft-seed5 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-school-of-reward-hacks-inoculation-prompting-seed4 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-school-of-reward-hacks-last-third-sft-seed5 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

jadasdn/open-ai-small-2 — дообученная модель распознавания речи на архитектуре Whisper, разработанная на основе jadasdn/open-ai-small-1. Она предназначена для преобразования входящей речи в текст; в карточке указаны 153,1 млн параметров и результат оценки WER 21,4497. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Карточка сообщает о дообучении на наборе данных, обозначенном как None, но не описывает его состав, языки, условия оценки или ограничения. Поэтому качество распознавания для конкретных языков и аудиосценариев по приведённым данным определить нельзя.

Openbuddy Deepseek 67B V15 Base GGUF — это квантизированная версия большой языковой модели Openbuddy Deepseek 67B V15 Base, разработанной OpenBuddy и подготовленной в формате GGUF командой TheBloke. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые графические интерфейсы и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Модель относится к архитектуре DeepSeek, содержит 67 миллиардов параметров и работает в текстовой модальности. В README заявлена поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского, русского и финского языков. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. Размер контекста и другие подробные архитектурные характеристики не указаны. К сильным сторонам относятся поддержка нескольких языков, возможность запуска на CPU и GPU и широкий выбор степеней квантования. Ограничения связаны с большим размером исходной модели, потенциальной потерей качества при агрессивном квантовании и отсутствием в README подробных результатов оценки, специальных возможностей диалога и рекомендуемых параметров генерации. Модель распространяется по лицензии DeepSeek; указана ссылка на лицензию deepseek-ai.

OpenBuddy/openbuddy-mixtral-7bx8-v18.1-32k — многоязычная чат-модель проекта OpenBuddy на архитектуре Mixtral с разреженной смесью экспертов (MoE). Она предназначена для диалогов и генерации текста; карточка приводит размер 7,1 млрд параметров и контекстное окно до 32 768 токенов. Модель работает с китайским, английским, французским, немецким, японским, корейским, итальянским и русским языками. Модель подходит для чат-ботов, ответов на вопросы и генерации текста на поддерживаемых языках. В README приведены результаты бенчмарков рассуждений и здравого смысла, но они не гарантируют качество в конкретной задаче. Распространяется по лицензии Apache 2.0. Авторы предупреждают о возможности ошибочных, вредных или оскорбительных ответов и не рекомендуют использовать модель в критических и высокорисковых сценариях, включая медицинские, финансовые и юридические решения.

Ornith-1.0-9B-bf16 — конвертированная в формат MLX версия модели deepreinforce-ai/Ornith-1.0-9B, подготовленная сообществом mlx-community. В метаданных указаны архитектура Qwen3.5 с плотной структурой и класс Qwen3_5ForConditionalGeneration; модель предназначена для генерации текста и диалогового взаимодействия. Карточка этой версии отсылает за сведениями о назначении и характеристиках к исходной модели. Для запуска в экосистеме MLX README рекомендует библиотеку mlx-vlm. Репозиторий распространяется по лицензии MIT.

Parakeet TDT 0.6B V2 — англоязычная модель автоматического распознавания речи от NVIDIA. Она преобразует монофоническое аудио в текст с пунктуацией, заглавными буквами и временными метками на уровне слов. Модель содержит 600 млн параметров и использует архитектуру FastConformer-TDT с декодером TDT; работает с аудиофрагментами длительностью до 24 минут за один проход. Модель предназначена для транскрибации разговоров, голосовых команд, песенных текстов и записей для субтитров или голосовой аналитики. По данным разработчика, она хорошо распознаёт числа в речи; скорость зависит от длительности аудио и размера пакета. Для запуска используется NVIDIA NeMo; модель оптимизирована для систем с GPU NVIDIA. Вход — монофоническое аудио 16 кГц, в карточке указаны форматы WAV и FLAC. Модель доступна для коммерческого и некоммерческого использования по лицензии CC-BY-4.0. Карточка не сообщает о мерах снижения смещений; точность для языков, отличных от английского, не заявлена.

Карточка модели tomsanbear/pp-ocrv5-mobile-rec на Hugging Face совпадает с карточкой PaddlePaddle/PP-OCRv5_mobile_rec_safetensors, поэтому описание составлено по ней. PP-OCRv5_mobile_rec_safetensors — мобильная модель распознавания текстовых строк из изображений, разработанная командой PaddleOCR и представленная в формате safetensors. Она предназначена для эффективного распознавания печатного и рукописного текста, включая сложные случаи: вертикальный и искажённый текст, пиньинь, редкие символы и художественные надписи. Модель поддерживает упрощённый и традиционный китайский, английский и японский языки. В README приведены метрики для нескольких типов текста; среднее значение составляет 0,8015 по метрике, где строка считается ошибочной при неверном распознавании хотя бы одного символа. Модель ориентирована на распознавание отдельных строк, поэтому для обработки целых страниц требуется предварительное обнаружение и выделение строк. Лицензия — Apache 2.0.

Ronnied1588 публикует GGUF-сборку Qwen2.5-7B-Instruct-heretic — версии Qwen2.5-7B-Instruct, обработанной методом abliteration для снижения склонности к отказам. Исходную обработку выполнил LeadFootThrottleCock с помощью Heretic v1.2.0; каталог указывает базовую модель Qwen/Qwen2.5-7B-Instruct и 7,1 млрд параметров. Архитектура — плотная причинная языковая модель Qwen2 с поддержкой диалогов и контекстом до 32 768 токенов. Модель предназначена для диалоговой генерации текста, творческого письма, ответов на вопросы, обсуждения спорных тем и программирования. В README описаны варианты GGUF от BF16 до нескольких уровней квантования, запуск через llama.cpp, LM Studio и Ollama, а также интерактивные проверки творческих, научных и кодовых задач. Карточка сообщает о низком значении KL-дивергенции относительно исходной модели и результатах проверки отказов, но это не является независимой оценкой качества. Модель ориентирована на английский язык; возможности других языков в карточке не подтверждены. Abliteration снижает поведение отказа, поэтому ответы на потенциально опасные запросы могут быть менее ограничены. Лицензия — Apache-2.0.

Qwen3-30B-A3B-MLX-4bit — это преобразованная в формат MLX версия языковой модели Qwen3-30B-A3B. Модель разработана командой Qwen, а конвертацию выполнило сообщество lmstudio-community с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев в средах, поддерживающих библиотеку MLX и пакет mlx-lm. Она имеет обозначение размера 30B-A3B и представлена в 4-битном формате, что уменьшает требования к памяти по сравнению с полноразмерным представлением. README не содержит сведений о точной архитектуре, поддерживаемых языках, длине контекста, мультимодальности, результатах тестирования и специализированных сценариях применения. К сильным сторонам относятся совместимость с экосистемой MLX и сниженный объём памяти благодаря 4-битному представлению. Ограничения связаны с зависимостью от MLX-совместимой среды и возможными потерями качества квантования; конкретные характеристики производительности не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-Abliterated — модифицированная версия причинной языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Вариант создан с помощью Heretic v1.4.0 методом directional ablation, или abliteration, который направлен на снижение склонности модели отказывать в ответах при сохранении поведения исходной модели. Это не новая модель, обученная с нуля, а экспериментальный производный вариант с изменёнными весами. Модель предназначена для генерации текста и локального использования в сценариях, где требуется меньше отказов на запросы. Доступен формат GGUF с квантизацией Q4_K_M и конфигурация для запуска через Ollama; заявлена совместимость с инструментами локального инференса, включая Open WebUI. Базовая модель содержит около 4 миллиардов параметров, поддерживает контекст до 262 144 токенов и описывается Qwen как non-thinking-модель. В метаданных указан английский язык, однако дополнительные языковые возможности в этой карточке не раскрыты. Сильная сторона варианта — существенно сниженная частота отказов: во внутреннем тесте из 100 запросов модель отказала в 16 случаях против 100 отказов у исходной Qwen3-4B-Instruct-2507. При этом поведение зависит от формулировки запроса, параметров генерации, квантизации, инференс-фреймворка, системного промпта, шаблона чата, контекста и определений инструментов; снижение отказов не гарантирует полного отсутствия отказов и может сопровождаться изменениями исходных свойств модели. Лицензия — Apache-2.0.

Модель stamsam/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-MLX-oQ4-MTP представляет собой 4-битную конверсию и квантизацию для локального вывода в MLX/oMLX. Она основана на Qwen3.6-35B-A3B и чекпойнте, дистиллированном из Claude Opus 4.7; новую тренировку или дообучение автор не проводил. Разработчик конверсии — stamsam, при этом в README указаны вклад авторов базовой модели, исходного дистиллированного чекпойнта и сообщества MLX/oMLX. Модель предназначена для генерации текста и задач рассуждения при локальном запуске, прежде всего на компьютерах Apple Silicon с использованием oMLX. Архитектура — MoE с общим размером около 35 млрд параметров и примерно 3 млрд активных параметров на токен. Используется формат MLX oQ4 с 4-битной квантизацией и размером группы 64. Сохранены и проверены тензоры MTP, включая один дополнительный скрытый слой; нативная поддержка MTP подтверждена только в oMLX. Языки, размер контекста и мультимодальность в карточке не указаны. Сильные стороны модели — низкие требования к памяти по сравнению с полноразмерной версией, адаптация для локального вывода на Apple Silicon и потенциальное ускорение за счёт MTP. На M5 Pro с 48 ГБ объединённой памяти в локальном тесте oMLX достигнута средняя скорость около 89,9 токена в секунду с MTP против 86,0 без него, однако эти результаты не являются универсальным бенчмарком. Ограничения включают экспериментальный статус конверсии, зависимость MTP от конкретной среды выполнения и возможность генерации длинных цепочек рассуждений. Лицензия — Apache-2.0; перед распространением или коммерческим использованием рекомендуется дополнительно проверить условия upstream-моделей и политики использования данных учителя.

Qwen3.6-40B-DeckardUncensored-OpusDistilled-W4A16-AWQ — мультимодальная vision-language модель на базе DavidAU/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking, разработанная philbert440. Она предназначена для генерации и анализа текста и изображений, прежде всего для творческого письма и программирования. По описанию, модель относится к серии Deckard-40B Uncensored и ориентирована на сценарии, где требуется высокая производительность и отсутствие встроенных отказов по соображениям безопасности. Модель содержит около 40 миллиардов параметров и использует квантизацию W4A16-AWQ: 4-битные веса при активациях FP16. Формат основан на weight-only квантизации AWQ и compressed-tensors. Модель совместима с 1Cat-vLLM на видеокартах Tesla V100 с архитектурой SM70, а также со стандартным vLLM на системах с Ampere и новее. README не указывает максимальный размер контекста и полный перечень поддерживаемых языков. К сильным сторонам относятся мультимодальность, ориентация на творческие и кодовые задачи, уменьшенное потребление памяти благодаря квантизации и возможность запуска на Tesla V100. Ограничения включают потерю точности, возможную для 4-битной квантизации, зависимость от совместимого программного стека и отсутствие защитных отказов: разработчик прямо возлагает на пользователя ответственность за законное и этичное применение. Модель распространяется по лицензии Apache-2.0.

gubernac/qwen3.8-27b-unc-fp8 — модифицированная и квантованная версия Qwen/Qwen3.8-27B. Базовая модель разработана командой Qwen компании Alibaba, а данный вариант подготовлен как сборка OrcaRouter. Из модели удалено направление отказа от ответа методом abliteration, после чего она офлайн квантована в Block-FP8 по схеме официальной Qwen3.8-27B-FP8. Это плотная мультимодальная vision-language модель для работы с текстом и изображениями, рассуждений, вызова инструментов, function calling и исследовательского red-teaming. Архитектура Qwen3_5ForConditionalGeneration включает 64 слоя, скрытое представление размером 5120, гибридное внимание Gated DeltaNet и full attention, vision-language tower и MTP-голову для speculative decoding. Модель содержит 27 млрд параметров, поддерживает английский и китайский языки и контекст до 262 144 токенов. Линейные веса хранятся в Block-FP8 E4M3 с размером блока 128×128 и динамическими активациями, а vision tower, нормы, embeddings и lm_head сохранены в BF16. Главное преимущество сборки — сохранение мультимодальности, большого контекста, рассуждений, инструментов и MTP при совместимости с соответствующим vLLM-путём исполнения. Ключевое ограничение и риск — существенное удаление защитного выравнивания: модель может выполнять вредоносные, незаконные и иные опасные запросы, от которых базовая версия отказалась бы. Поэтому она предназначена для легитимных исследований интерпретируемости, AI safety, изучения механизмов отказа, оценки устойчивости и контролируемых экспериментов, а не для непосредственного использования конечными пользователями без собственных механизмов модерации и защиты. Условия распространения указаны как Apache 2.0; также необходимо соблюдать применимые законы и ограничения базовой модели.

Qwen3.8-27B-VQ-3.9bpw — векторно-квантизированная версия Qwen3.8-27B, разработанная TheDrainFlorist на основе модели Qwen/Qwen3.8-27B. Модель предназначена для генерации текста на устройствах Apple Silicon и работает в формате MLX с библиотеками mlx-lm и mlx-vlm. Она также поддерживает обработку изображений при использовании mlx-vlm версии 0.6.16 или новее, то есть относится к мультимодальным моделям с текстовым и визуальным вводом. В метаданных указан английский язык; сведения о других языках и размере контекстного окна не приведены. Размер сборки составляет около 12,47 GiB, эффективная точность — 3,9 бит на параметр. В комплект входит vision tower размером 0,859 GiB и собственный runtime в model.py. На Apple M3 Ultra заявлены скорость декодирования 23,3 токена в секунду, скорость префилла около 23 токенов в секунду и резидентное потребление памяти 12,2 ГБ. По сравнению с собственной 3-битной affine-квантизацией модель обеспечивает меньшее расхождение с исходной моделью при умеренном увеличении размера, но уступает более крупным 4-, 6- и 8-битным сборкам по качеству. Модель подходит для локальной генерации текста и мультимодальных сценариев на Apple Silicon при наличии совместимых версий библиотек. Ограничениями являются зависимость от поддержки ключа model_file загрузчиком и заметная потеря точности относительно bf16-версии; для параллельных запросов спекулятивное декодирование MTP не рекомендуется. Модель распространяется по лицензии Apache-2.0.

Sakalti/QwenLinear-1 — текстовая генеративная модель на архитектуре Qwen2, созданная разработчиком Sakalti с помощью линейного слияния весов Sakalti/light-7b-beta через mergekit. Она предназначена для генерации текста и диалогового общения; в метаданных также заявлен интерфейс вызова инструментов. Модель содержит 3,8 млрд параметров, поддерживает контекст до 131 072 токенов и распространяется в формате safetensors для Transformers. Модель может использоваться в чат-ботах и приложениях генерации текста. README указывает Apache License 2.0. Карточка не приводит сведений о языках или специализированной предметной области, поэтому их нельзя уточнить по имеющимся данным.

Qwen_Qwen3-VL-32B-Thinking-GGUF — это набор GGUF-квантизаций мультимодальной модели Qwen3-VL-32B-Thinking, разработанной командой Qwen и подготовленной пользователем bartowski. Модель предназначена для задач «изображение–текст» и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. В README указан специальный формат промпта с секцией рассуждений <think>. Базовая модель имеет размер 32B параметров и поддерживает обработку изображений и текста, однако точный размер контекста и список языков в README не указаны. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3, включая форматы K-quants и IQ; размер файлов варьируется примерно от 13,7 до 65,53 ГБ. Квантизации выполнены с использованием llama.cpp и imatrix-калибровки. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но заметно уступают по качеству. Основные преимущества — мультимодальность, возможность локального запуска и широкий выбор вариантов по соотношению качества и требований к памяти; рекомендуемым компромиссом в README назван Q4_K_M. Ограничения — высокая требовательность 32B-модели к ресурсам, возможное снижение качества при сильной квантизации и отсутствие в предоставленном README сведений о лицензии, точном контексте, языках и результатах независимого тестирования.

Ramakrishna-7b-v3 — объединённая модель для генерации текста, созданная Kukedlc с помощью LazyMergekit на основе шести моделей семейства Mistral. Она предназначена для генерации текста и диалогов. Модель имеет плотную архитектуру MistralForCausalLM, 7,1 млрд параметров и контекст до 32 768 токенов; веса опубликованы в формате safetensors. Репозиторий не уточняет отдельные специализации, поддерживаемые языки или результаты оценки качества. Модель распространяется по лицензии Apache-2.0.

Карточка модели mitra-mir/setfit-model-Miscellaneous-Misinformation на Hugging Face совпадает с карточкой mitra-mir/setfit-model-Misinformation-on-Global-Support, поэтому описание составлено по ней. Это модель Sentence-Transformers на архитектуре MPNet, разработанная автором репозитория mitra-mir. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации текстов. В метаданных указано 136,7 млн параметров и контекст до 514 токенов; модель распространяется в формате PyTorch. Название репозитория указывает на тему дезинформации о глобальной поддержке, однако README не описывает специализированные функции или результаты классификации по этой теме. Модель подходит для получения текстовых эмбеддингов и поиска семантически близких фрагментов. Для использования описан интерфейс библиотеки Sentence-Transformers. Лицензия в предоставленных данных не указана.

Sazzadul Islam разработал эту модель распознавания речи на бенгальском языке, дообучив facebook/w2v-bert-2.0. Это модель архитектуры Wav2Vec2-BERT с CTC-декодированием и 402,7 млн параметров; она принимает аудио и выдаёт текст. Модель предназначена для транскрибации бенгальской речи, голосовых помощников и средств доступности. В README заявлена поддержка бенгальского и английского языков, а также WER 11,26% и CER 2,39 на оценке бенгальской речи. Модель лучше работает с чистой стандартной речью. Она может ошибаться на шумных записях, сильных региональных акцентах и редких речевых вариантах; для работы в реальном времени на маломощных устройствах потребуется оптимизация. Лицензия — CC-BY-SA-4.0.

Speechless Llama2 13B — это языковая модель для генерации текста и выполнения инструкций, разработанная Jiangwen Su на базе Llama 2. Данный репозиторий содержит её квантизированные версии в формате GGUF, подготовленные TheBloke. Модель ориентирована на диалоговые и общие текстовые сценарии, включая ответы на инструкции, написание текста и решение различных задач через шаблон Alpaca. Модель построена на архитектуре Llama и имеет 13 миллиардов параметров. Указан английский язык. Формат GGUF поддерживает метаданные и специальные токены и предназначен для запуска через llama.cpp, а также совместимые интерфейсы и библиотеки, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие. Доступны варианты с разными уровнями квантизации от 2 до 8 бит, что позволяет выбирать между требованиями к памяти и качеством вывода. К сильным сторонам относятся возможность локального запуска на CPU и GPU, широкий выбор квантизаций и совместимость с распространённой экосистемой GGUF. Ограничениями являются ориентация преимущественно на английский язык, зависимость качества и потребления памяти от выбранного уровня квантизации, а также отсутствие в предоставленных данных сведений о размере контекста и результатах независимых оценок. Для использования указана лицензия llama2.

SRIQ-MiniCPM5-2B-v1.5 — разработанная SRIQ модель, полученная дообучением openbmb/MiniCPM5-2B на наборе sriq-ai/sriq-sft-v1.5. Это плотная языковая модель с архитектурой LlamaForCausalLM и примерно 2,2 млрд параметров; она принимает текст и генерирует ответы в диалоговом формате, поддерживая контекст до 131 072 токенов. Модель предназначена для ответов на вопросы и задач рассуждения, в том числе в контексте длинных системных инструкций и агентных сценариев. Внутренние рассуждения она формулирует сжато на упрощённом китайском независимо от языка запроса, а итоговый ответ — на языке пользователя. Обучение ориентировано на проверку результата перед ответом; доступен интерфейс вызова инструментов. Карточка не приводит результатов бенчмарков, поэтому качество и прирост относительно базовой модели не подтверждены опубликованными измерениями. Сжатые рассуждения могут быть трудны для чтения, а проверочный этап сам по себе не гарантирует правильность ответа. Для работы модели следует не отключать рассуждения параметром enablethinking=False. Лицензия — Apache-2.0.

Steelskull_L3.3-Cu-Mai-R1-70b-GGUF — набор GGUF-квантизованных версий текстовой генеративной модели L3.3-Cu-Mai-R1-70b, разработанной Steelskull. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска задач генерации текста через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты с разным уровнем квантизации — от Q8_0 до Q2_K и IQ-семейств. Размер файлов составляет примерно от 27,4 до 75 ГБ; версии Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые с точки зрения соотношения качества и занимаемой памяти. Более компактные варианты позволяют снизить требования к оперативной памяти, но могут заметно уступать по качеству. Версии Q4_1 и Q4_0 используют устаревшие форматы, однако README указывает для них отдельные преимущества на некоторых CPU и устройствах Apple. Модель поддерживает текстовую генерацию; сведения о мультимодальности, языках и размере контекстного окна в README не указаны. Основное преимущество набора — выбор между качеством, размером и требованиями к оборудованию, а также совместимость с распространённой экосистемой llama.cpp. Ограничения связаны с большими требованиями к памяти даже у компактных вариантов и неизбежными потерями качества при сильной квантизации. Для работы следует использовать указанный формат prompt с системными и пользовательскими сообщениями. Лицензия указана как llama3.3.

T3qm7xNeuralsirkrishna_Experiment24Alloyingotneoy — объединённая модель генерации текста на архитектуре Mistral, созданная слиянием automerger/T3qm7xNeuralsirkrishna-7B и automerger/Experiment24Alloyingotneoy-7B. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и диалогов. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. README и метаданные не уточняют языковую специализацию или дополнительные ограничения модели.

TARS-8B-llama-REMIX-v2 — объединённая автором picAIso модель для генерации текста и диалогового общения. Она создана методом DARE TIES с помощью mergekit на основе picAIso/MIX1 с включением NousResearch/Hermes-2-Pro-Llama-3-8B; архитектура — плотная LlamaForCausalLM семейства Llama, размер — 7,5 млрд параметров. Модель принимает текст и генерирует текст, поддерживает диалоговый сценарий и имеет контекстное окно 8192 токена. В карточке указаны формат safetensors и библиотека Transformers. Лицензия — Llama 3. Метаданные описывают базовую модель как ориентированную на ответы по инструкциям, вызов функций и генерацию структурированных данных JSON, однако README не подтверждает отдельно качество этих возможностей у данного объединения.

bzantium/tiny-deepseek-v3 — текстовая авторегрессионная модель семейства DeepSeek-V3, опубликованная пользователем bzantium на Hugging Face. Репозиторий содержит веса Safetensors, чат-шаблон и пользовательский код; карточка модели отсутствует. Метаданные указывают на архитектуру DeepseekV3ForCausalLM, около 4,5 млрд параметров и контекстное окно до 163 840 токенов. Модель предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. В карточке не описаны обучение, языки или конкретные сценарии; поэтому нельзя приписывать ей специализированные возможности или подтверждённые преимущества сверх генерации текста и чат-интерфейса. Лицензия в доступных сведениях не установлена.