II.6Документация и сопровождение разработки

SLIMDER Qwen3.8 REAP384 depth-40 candidate — экспериментальный чекпойнт, созданный из закреплённой версии модели S0 проекта Qwen3.8 Perian. Он получен структурным сокращением глубины: из исходных 48 слоёв трансформера удалены макроблоки 4 и 5, то есть восемь слоёв; при этом сохранены 384 эксперта на слой и полная таблица PLE. Модель содержит 4,3 млрд параметров, использует архитектуру Qwen4ExpForCausalLM типа mixture-of-experts и рассчитана на контекст до 262 144 токенов. Модель предназначена для генерации текста и диалогового применения. В README указано, что этот вариант занял первое место в двух этапах отбора кандидатов, однако авторы характеризуют его как промежуточный экспериментальный чекпойнт и не заявляют о финальном качестве. Это предшественник более позднего релиза Perian: последующие сокращение числа слоёв и экспертов, уменьшение таблицы PLE и QLoRA-дообучение к этому чекпойнту не относятся. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0.

SlimHercules-4.0-Mistral-7B-v0.2-imatrix-GGUF — набор квантованных версий модели SlimHercules-4.0-Mistral-7B-v0.2, опубликованной Locutusque. Модель предназначена для генерации текста и использует формат GGUF с imatrix-квантизацией, что делает её пригодной для локального запуска в совместимых инструментах вывода. В карточке также указан тег Mistral-7B, однако подробности об архитектуре и точном размере представлены только в идентификаторе модели. Модель обучалась на формате промптов OpenAI ChatML и поддерживает сценарии, связанные с function calling: в шаблоне предусмотрены отдельные сообщения для системных инструкций, пользователя, вызова функции и ответа функции. Указан английский язык и задача text-generation. Сведения о размере контекста, конкретных вариантах квантования, производительности, мультимодальности и ограничениях отсутствуют. Лицензия обозначена как other, без дополнительных условий в README.

slimorca-gemma2-9b-fft-GGUF — это квантизированная GGUF-версия текстовой генеративной модели slimorca-gemma2-9b-fft, созданная на базе axolotl-ai/co/gemma-2-9b. Исходную модель разработала openaccess-ai-collective, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в средах, совместимых с llama.cpp. Модель относится к семейству Gemma 2 и имеет около 9 миллиардов параметров. Она работает в текстовой модальности; сведения о поддерживаемых языках и максимальном размере контекста в README не указаны. Для взаимодействия требуется специальный шаблон prompt с ролями user и model. Системный prompt не поддерживается. Доступно множество вариантов квантизации от Q8_0 до Q2_K и IQ-форматов, что позволяет выбирать между качеством, размером файла и требованиями к памяти. В README варианты Q6 и Q5 описаны как высококачественные, а Q4 — как обеспечивающие хороший баланс качества и экономии памяти; более сильная квантизация снижает качество, но облегчает запуск на устройствах с ограниченными ресурсами. Модель распространяется по лицензии gemma.

Карточка модели rishitavenkat2812/SmolLM2-135M-Instruct на Hugging Face совпадает с карточкой HuggingFaceTB/SmolLM2-135M-Instruct, поэтому описание составлено по ней. SmolLM2-135M-Instruct — компактная языковая модель HuggingFaceTB для диалоговой генерации текста. Это плотный декодерный трансформер архитектуры Llama с 134,5 млн параметров и контекстом до 8192 токенов. Модель распространяется в форматах Safetensors и ONNX и рассчитана на запуск на устройствах с ограниченными ресурсами. Версия Instruct создана на основе SmolLM2-135M с помощью supervised fine-tuning и Direct Preference Optimization. Она предназначена для следования инструкциям, ответов в диалоге, переписывания и суммаризации текста. Карточка также упоминает вызов функций, но относит эту возможность к модели размером 1,7 млрд параметров. Модель прежде всего понимает и генерирует английский текст. Она компактна и улучшена по сравнению с SmolLM1 в следовании инструкциям, знаниях и рассуждениях, однако может выдавать фактические ошибки, непоследовательные ответы и смещения из обучающих данных. Лицензия — Apache-2.0.

Карточка модели SLM-Archive/SmolLM2-135M-Instruct на Hugging Face совпадает с карточкой HuggingFaceTB/SmolLM2-135M-Instruct, поэтому описание составлено по ней. SmolLM2-135M-Instruct — компактная языковая модель HuggingFaceTB для диалоговой генерации текста. Это плотный декодерный трансформер архитектуры Llama с 134,5 млн параметров и контекстом до 8192 токенов. Модель распространяется в форматах Safetensors и ONNX и рассчитана на запуск на устройствах с ограниченными ресурсами. Версия Instruct создана на основе SmolLM2-135M с помощью supervised fine-tuning и Direct Preference Optimization. Она предназначена для следования инструкциям, ответов в диалоге, переписывания и суммаризации текста. Карточка также упоминает вызов функций, но относит эту возможность к модели размером 1,7 млрд параметров. Модель прежде всего понимает и генерирует английский текст. Она компактна и улучшена по сравнению с SmolLM1 в следовании инструкциям, знаниях и рассуждениях, однако может выдавать фактические ошибки, непоследовательные ответы и смещения из обучающих данных. Лицензия — Apache-2.0.

SmolLM2-360M — компактная языковая модель семейства SmolLM2, разработанная Hugging Face. Это плотный декодерный Transformer на архитектуре Llama с 361,8 млн параметров и контекстом до 8192 токенов; модель рассчитана на лёгкий запуск, в том числе на устройстве. Веса доступны в формате safetensors, для работы используется библиотека Transformers. Модель генерирует текст на английском языке и предназначена для широкого круга задач: продолжения текста, следования инструкциям, переписывания и суммаризации. Вариант Instruct семейства также обучался для вызова функций, однако данная карточка относится к базовой модели SmolLM2-360M, поэтому эту возможность нельзя уверенно приписать именно ей. По данным карточки, модель обучали на 4 трлн токенов. Она компактна, но может ошибаться в фактах и логике, а также воспроизводить смещения из обучающих данных; важные ответы следует проверять. Лицензия — Apache-2.0.

SmolLM3-Cyber — языковая модель для генерации текста, опубликованная пользователем lemons-ink на Hugging Face и работающая через библиотеку Transformers. Модель имеет размер 3,1 млрд параметров и поддерживает контекст длиной до 65 536 токенов. Модель предназначена для генерации продолжений текста и диалоговых сценариев. В метаданных указаны обучение с учителем и conversational-ориентация, однако подробности об архитектуре, обучающих данных, языках, разработчиках и специализированных возможностях для кибербезопасности в карточке не приведены. Применение модели следует ограничивать задачами, соответствующими качеству генерации текста конкретной версии; перед использованием в продуктивных или чувствительных сценариях необходимы собственные проверки. Информация о лицензии в доступных данных отсутствует.

SmolLumi-8B-Instruct — разговорная модель safe049, дообученная на NeverSleep/Lumimaid-v0.2-8B с использованием набора HuggingFaceTB/smol-smoltalk. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Указанная длина контекста — 131 072 токена, основной язык карточки — английский. Модель предназначена для диалогов и генерации текста в формате инструкций. Автор описывает её как uncensored; поэтому ответы могут включать незаконный или неэтичный контент. Обучение проводилось на 60 шагах, так что качество и устойчивость модели могут быть ограничены. Лицензия — Apache-2.0.

Jan-HQ/Solar-10.7B-SLERP — разговорная языковая модель, созданная Jan объединением методом SLERP моделей upstage/SOLAR-10.7B-Instruct-v1.0 и janhq/Pandora-v1-10.7B. Она предназначена для диалогов и генерации текста; для общения используется шаблон ChatML. Модель построена на плотной архитектуре Llama с 10,6 млрд параметров и рассчитана на контекст до 4096 токенов. Модель объединяет чекпойнты, выбранные по результатам Open LLM Leaderboard на 14 декабря 2023 года. Она доступна в формате safetensors и распространяется по лицензии Apache-2.0. README называет проект тестовым экспериментом по объединению моделей, поэтому приведённые в карточке результаты оценки не позволяют судить о качестве.

SpanMarker для выявления акронимов и их расшифровок в английском тексте, обученная на наборе Acronym Identification. Модель разработана на основе некейс-чувствительного энкодера bert-base-uncased от Google и предназначена для распознавания именованных сущностей: она находит краткие формы и соответствующие им длинные названия, например SODA и successive convex approximation. Модель принимает текст и размечает фрагменты метками short и long. Максимальная длина последовательности — 256 токенов, максимальная длина сущности — 8 слов. В карточке приведены значения F1 0,9199 для всех сущностей, 0,9262 для коротких и 0,9074 для длинных. Лицензия — Apache-2.0; модель можно дообучить на собственном наборе данных. Поскольку энкодер не учитывает регистр, автор рекомендует кейс-чувствительную версию, если регистр в исходных данных всегда корректен.

SRIQwen-V1.3 — плотная мультимодальная модель семейства Qwen3.5 от SRIQ, полученная supervised fine-tuning базовой Qwen/Qwen3.8-27B с помощью LoRA; адаптер объединён с выпущенными весами. Обучение на наборе sriq-ai/sriq-sft-v1.3 направлено на сокращение цепочек рассуждений при сохранении исходных ответов. Модель загружается через Transformers как Qwen3_5ForConditionalGeneration и поддерживает диалог, текст и изображения; интерфейс также предусматривает вызов инструментов. Контекст базовой модели составляет 262 144 токена, но дообучение проводилось на последовательностях длиной до 131 072 токенов, поэтому поведение на большей длине не проверено. Обучающие цели включали сжатые рассуждения на упрощённом китайском языке, а итоговый ответ формировался на языке запроса. Для релиза не проводились бенчмарки, поэтому улучшение точности, расхода токенов и скорости не подтверждено. Лицензия — Apache-2.0.

Steelskull_L3.3-Mokume-Gane-R1-70b-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Steelskull/L3.3-Mokume-Gane-R1-70b, подготовленный bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Доступны варианты квантизации от Q8_0 до Q2_K_L и ряда IQ-форматов; размер файлов составляет примерно от 27,47 до 74,98 ГБ. Варианты с более высокой точностью обеспечивают лучшее качество, но требуют больше памяти. В README рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; низкобитные варианты рассчитаны на системы с ограниченным объёмом оперативной памяти, но могут заметно уступать по качеству. Модель поддерживает текстовый сценарий использования; сведения о мультимодальности, языках, размере контекста, архитектурных деталях и конкретных целевых задачах в README не указаны. Для работы следует использовать приведённый формат промпта с системным сообщением, пользовательским запросом и ответом ассистента. Лицензия указана как llama3.3.

Steelskull_L3.3-Mokume-Gane-R1-70b-v1.1-GGUF — это квантизированная версия текстовой генеративной модели L3.3-Mokume-Gane-R1-70b-v1.1, разработанной Steelskull и подготовленной в формате GGUF пользователем bartowski. Модель относится к семейству с размером 70 млрд параметров и предназначена для генерации текста и диалоговых сценариев. В README не указаны точные сведения о поддерживаемых языках, длине контекста, архитектуре или дополнительных модальностях, поэтому модель следует рассматривать как текстовую, без подтверждённой поддержки изображений или других типов данных. Ключевая особенность — набор вариантов квантизации, от Q8_0 до более компактных Q3 и IQ3, с различным соотношением качества, размера файла и требований к памяти. Версии созданы с использованием imatrix и инструментария llama.cpp; они подходят для локального запуска в LM Studio, llama.cpp и совместимых проектах. Старшие варианты обеспечивают более высокое качество, а младшие позволяют снизить потребление оперативной памяти, но могут заметно уступать по качеству. Файлы имеют значительный размер — примерно от 29 до 75 ГБ, поэтому запуск требует мощного оборудования и достаточного объёма памяти. Лицензия указана как llama3.3.

Steelskull_L3.3-Shakudo-70b-GGUF — это набор квантованных версий языковой модели L3.3-Shakudo-70b, разработанной Steelskull. Квантование выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может применяться в локальных сценариях, включая работу через LM Studio, llama.cpp и другие проекты на его основе. В набор входят варианты GGUF с разной степенью квантования: от Q8_0 до Q2_K, включая форматы Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и другие. Версия Q6_K описана как близкая к исходному качеству, а Q4_K_M — как стандартный вариант для большинства сценариев с хорошим соотношением качества и размера. Ключевая характеристика модели — размер 70 миллиардов параметров; сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Сильными сторонами являются широкий выбор вариантов для разного объёма оперативной памяти, поддержка локального запуска и сохранение высокого качества при использовании более крупных квантов. Ограничения связаны с компромиссом между размером файлов и качеством: низкобитные варианты требуют меньше памяти, но могут заметно уступать более точным версиям. Для работы рекомендуется использовать указанный prompt format. Модель распространяется по лицензии llama3.3.

Stheno-Hercules-3.1-8B-GGUF — это квантованная GGUF-версия текстовой генеративной модели Stheno-Hercules-3.1-8B, разработанной ZeroXClem. Модель создана как merge-модель на основе Locutusque/Hercules-6.1-Llama-3.1-8B и Sao10K/Llama-3.1-8B-Stheno-v3.4. Квантование выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального инференса, в том числе через LM Studio и совместимые инструменты на базе llama.cpp. Доступны варианты от F16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Версии Q6_K_L, Q6_K, Q5 и Q4 отмечены автором как рекомендуемые; отдельные варианты оптимизированы для ARM-процессоров. Известно, что модель относится к семейству Llama 3.1 и имеет размер 8B параметров, однако сведения о точной архитектуре, максимальном контексте, поддерживаемых языках, мультимодальности, результатах оценки и специализированных сценариях в README не приведены. Квантование уменьшает требования к памяти, но может снижать качество по сравнению с исходными весами, особенно в вариантах с низкой точностью. Модель распространяется по лицензии Apache-2.0.

Strangemerges_32Experiment28-7B — автоматическое слияние двух языковых моделей, созданное Maxime Labonne методом SLERP с помощью MergeKit. Модель построена на архитектуре Mistral с плотной causal language modeling архитектурой и содержит 7,1 млрд параметров. Для слоёв внимания и MLP заданы разные коэффициенты смешивания двух исходных моделей. Модель предназначена для генерации текста и других сценариев продолжения текста на основе языкового запроса. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. Карточка не приводит оценок качества и подробностей о языках или специализированных областях применения.

Strawberry-1-i1-GGUF — это набор квантованных GGUF-файлов модели strawberry-1, разработанной artindnr и квантизированной mradermacher. Модель предназначена для генерации текста и локального запуска в совместимых инструментах, поддерживающих формат GGUF. В репозитории представлены варианты с разными уровнями квантования, размером примерно от 12,1 до 22,3 ГБ, а также imatrix-файл для создания собственных квантовок. Модель относится к архитектуре Mixture-of-Experts; в метаданных также указаны совместимость с PyTorch, JAX и TensorFlow, а также поддержка языков fa, en и multilingual. Точный размер исходной модели, максимальная длина контекста, количество экспертов и перечень поддерживаемых модальностей в README не указаны; по имеющимся данным модель является текстовой и не поддерживает заявленные мультимодальные входы. Основное преимущество репозитория — широкий выбор квантовок с различным компромиссом между размером, скоростью и качеством. Для повседневного использования автор рекомендует i1-Q4_K_M, а i1-Q4_K_S отмечает как оптимальный вариант по соотношению размера, скорости и качества. Более низкие уровни квантования требуют меньше ресурсов, но могут заметно снижать качество. Лицензия модели — Apache-2.0.

Terisara/studenttext_PAD_val_test02_QWEN — чат-модель генерации текста, разработанная Terisara и дообученная на базе unsloth/qwen2.5-3b-instruct-unsloth-bnb-4bit с использованием Unsloth и библиотеки Hugging Face TRL. Модель построена на плотной авторегрессионной архитектуре Qwen2 и содержит 3,1 млрд параметров; длина контекста — до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста в диалоговом формате. В метаданных указан английский язык. Лицензия Apache-2.0 разрешает использование и распространение на её условиях. Карточка не описывает специализированные сценарии обучения или результаты оценки качества, поэтому пригодность для конкретных задач следует проверять отдельно.

SynthIA-v1.3-Nebula-v2-7B — языковая модель Weyaxi, полученная слиянием SynthIA-7B-v1.3 и LoRA-адаптера Nebula-v2-7B. Это плотная Mistral-модель с 7,1 млрд параметров для генерации текста; заявленное контекстное окно — 32 768 токенов. В карточке указана поддержка английского языка и датасет Open-Platypus. Модель подходит для генерации ответов и выполнения текстовых инструкций общего назначения. В README приведён заголовок с результатами оценки на Open LLM Leaderboard, но значения метрик отсутствуют, поэтому по карточке нельзя оценить качество. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.

T5 Version 1.1 Small — модель Google с архитектурой encoder-decoder T5 для переноса обучения в формате «текст на входе — текст на выходе». В этой версии около 45,8 млн параметров; доступны веса PyTorch, TensorFlow и Flax. Предобучение выполнено на корпусе C4 без смешивания с целевыми задачами и без контролируемого обучения. Модель предназначена для дообучения под прикладные задачи NLP, где вход и результат представлены текстом: например, суммаризацию, ответы на вопросы и классификацию с текстовым выводом. Версия 1.1 использует активацию GEGLU вместо ReLU, отключённый dropout при предобучении и отдельные веса эмбеддингов и классификатора. Основной язык карточки — английский. Для решения конкретной задачи модель необходимо дообучить; сама предобученная контрольная точка не предназначена для непосредственного выполнения целевых задач. Лицензия — Apache 2.0.

Tarek07_Nomad-LLaMa-70B-GGUF — это набор квантизированных версий текстовой генеративной модели Nomad-LLaMa-70B, разработанной Tarek07. Квантизация выполнена пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска и генерации текста через llama.cpp, LM Studio и другие совместимые проекты, включая сценарии диалогов, написания и обработки текста. В набор входят варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_XS и другие, размером примерно от 21 до 75 ГБ. Более качественные варианты требуют больше оперативной памяти, тогда как версии с меньшей разрядностью позволяют запускать модель на менее производительном оборудовании, но снижают качество генерации. README не содержит сведений о длине контекста, поддерживаемых языках, дополнительных модальностях, точной архитектуре исходной модели, лицензии или рекомендуемом формате промптов; формат промпта следует уточнять на странице оригинальной модели.

Tess-3-Llama-3.1-405B-GGUF — это квантизированная версия дообученной текстовой генеративной модели Tess-3-Llama-3.1-405B, разработанной migtissera и преобразованной в формат GGUF пользователем bartowski. Модель основана на Llama 3.1 с 405 миллиардами параметров и предназначена для генерации текста при локальном запуске через llama.cpp, в том числе в LM Studio. В README приведён формат промпта с системным сообщением, запросом пользователя и ответом ассистента. Модель доступна в вариантах квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M, Q4_K_S, IQ4_XS и других, размером примерно от 95 до 436 ГБ. Более высокие разрядности обычно обеспечивают лучшее качество, но требуют значительно больше оперативной памяти; низкоразрядные варианты экономичнее, однако могут заметно уступать в качестве. Для ARM-процессоров отдельно рекомендуется вариант Q4_0_4_4. Конкретные поддерживаемые языки, размер контекста и специализированные сценарии обучения в README не указаны. Модель распространяется по лицензии llama3.1.

Tess-v2.5-Gemma-2-27B-alpha-GGUF — квантизированная версия текстовой генеративной модели Tess-v2.5-Gemma-2-27B-alpha, разработанной migtissera и опубликованной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска через llama.cpp; README не уточняет её специализацию, поддерживаемые языки и конкретные прикладные сценарии. В основе лежит архитектура Gemma 2 с размером 27B параметров. Доступны варианты квантизации от Q2_K до Q8_0, включая экспериментальные сборки с весами эмбеддингов и выходного слоя в формате f16. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти: размер файлов варьируется примерно от 10,44 до 30,04 ГБ. Модель работает в режиме text-generation, поддерживает указанный в README шаблон диалога и не поддерживает system prompt. Длина контекста и набор модальностей не указаны; по представленным данным модель является текстовой. Сильной стороной являются варианты Q5–Q8 с заявленным высоким или очень высоким качеством, а также возможность выбрать более компактные сборки для систем с ограниченным объёмом RAM. Низкобитные варианты экономят память, но дают более низкое качество; часть сборок обозначена как экспериментальная. Для использования требуется совместимый рантайм, например llama.cpp, и объём памяти, соответствующий выбранному файлу. Лицензия указана как Gemma.

Ba2han/test_CPTl — дообученная модель семейства Qwen3, созданная на основе Ba2han/TR_CPTs с использованием TRL. Это языковая модель с плотной архитектурой и 1,4 млрд параметров, предназначенная для генерации ответов в диалоге и продолжения текста. В карточке показан пример запуска через Transformers для ответа на вопрос; указан контекст длиной до 16 384 токенов. Модель принимает текст и генерирует текст. В README не описаны конкретная специализация, языки обучения или особые ограничения качества, поэтому её следует рассматривать как модель общего назначения без подтверждённой предметной специализации. Репозиторий содержит веса в формате safetensors. Условия лицензии в предоставленных данных не приведены.

TheDrummer_Anubis-70B-v1.2-GGUF — это GGUF-квантизированная версия текстовой генеративной модели Anubis-70B-v1.2, разработанной TheDrummer и подготовленной квантизатором bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; базовая модель указана как TheDrummer/Anubis-70B-v1.2. Модель предназначена для генерации текста и может запускаться через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и LoLLMs. Модель содержит 70 миллиардов параметров. Доступны варианты квантизации Q8_0, Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4 и Q3, а также форматы IQ4 и IQ3; размер файлов варьируется примерно от 29,31 до 74,98 ГБ. Старшие варианты обеспечивают более высокое качество, тогда как младшие снижают требования к оперативной памяти ценой качества. Для работы требуется совместимое программное обеспечение с поддержкой данной архитектуры и GGUF; README не содержит сведений о языках, модальностях, размере контекста, архитектуре исходной модели или результатах бенчмарков. Лицензия в предоставленных данных не указана. Формат промпта использует специальные токены системного, пользовательского и ассистентского сообщений, а также включает даты отсечения знаний и текущую дату из шаблона.

TheDrummer_Rocinante-X-12B-v1-GGUF — это набор квантованных версий языковой модели Rocinante-X-12B-v1, разработанной TheDrummer и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и локального запуска в совместимых приложениях и инструментах, включая llama.cpp, LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. Модель имеет размер 12 миллиардов параметров и относится к текстовым моделям без заявленной поддержки дополнительных модальностей. Доступны варианты от BF16 и Q8_0 до более компактных IQ- и Q2-квантований с размером файлов примерно от 5 до 24,5 ГБ. Для диалогового использования в README указан формат промпта с системным сообщением и пользовательским запросом в шаблоне [INST]. Основное преимущество набора — широкий выбор квантований, позволяющий подобрать баланс между качеством, требованиями к памяти и скоростью локального вывода; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M — как типичный вариант для большинства сценариев. Более сильное квантование может снижать качество генерации, а поддержка модели зависит от используемого программного обеспечения. Языки, размер контекста и лицензия в предоставленных данных не указаны.

Это производная сборка ThinkingCap-Qwen3.8-27B, созданная dewamade для быстрого запуска на одной видеокарте с 24 ГБ памяти через форк HyperQwen для vLLM. Исходная ThinkingCap-модель — дообученная BottleCap AI версия Qwen3.8-27B; в этой сборке веса перекалиброваны и упакованы в формат compressed-tensors для обслуживания запросов с MTP speculative decoding. Модель предназначена для диалоговой генерации текста и рассуждений. Веса линейных слоёв и языковой головы используют GPTQ INT4 с группами по 128 элементов, эмбеддинги — INT8; также включён MTP-модуль, а словарь черновой головы ограничен 40 тысячами токенов. README сообщает о KV-кэше на 201 275 токенов в описанном профиле обслуживания, но не задаёт нативную длину контекста модели. Сборка рассчитана на одиночную подачу запросов на GPU класса RTX 3090/4090 с 24 ГБ памяти и требует совместимого форка HyperQwen vLLM и соответствующего лаунчера. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты. Языки модели и её ограничения качества отдельно не описаны.

Карточка модели Ramikan-BR/TiamaPY-1.1B-v24 на Hugging Face совпадает с карточкой Ramikan-BR/tinyllama-coder-py-v23, поэтому описание составлено по ней. Ramikan-BR/tinyllama-coder-py-v23 — дообученная разговорная модель семейства Llama для генерации текста, включая помощь с кодом Python. Она основана на unsloth/tinyllama-chat-bnb-4bit и имеет около 1 млрд параметров; архитектура — плотная авторегрессионная LlamaForCausalLM. Модель принимает текст и выдаёт текст, поддерживает английский язык и контекст до 4096 токенов. Карточка указывает, что модель обучалась с помощью Unsloth и библиотеки TRL. Её можно использовать для генерации и продолжения кода Python, а также для диалоговых запросов по программированию. Лицензия — Apache-2.0. Подробные результаты оценки качества и конкретные ограничения в карточке не приведены.

MergedQwen2-0.5B0.3 — языковая модель для генерации текста, созданная объединением предварительно обученных моделей методом TIES с помощью mergekit. В качестве базовой использована Qwen2-0.5B, а в объединение также включена debias_Qwen2-0.5B. Модель относится к семейству Qwen2, имеет плотную архитектуру Qwen2ForCausalLM и около 493,7 млн параметров; опубликована в формате safetensors и рассчитана на контекст до 131 072 токенов. Модель предназначена для генерации текста и диалоговых сценариев. В карточке указана лицензия, однако её название не приведено в доступных данных. README описывает метод объединения, но не сообщает о результатах оценки качества или о конкретных языках поддержки.

Tiger-Gemma-9B-v2-GGUF — это набор GGUF-квантизаций базовой языковой модели TheDrummer/Tiger-Gemma-9B-v2. Квантизации подготовлены пользователем bartowski с помощью llama.cpp версии b3658 и метода imatrix. Модель предназначена для генерации текста и может запускаться локально, в частности через LM Studio или совместимые инструменты llama.cpp. Доступны варианты от исходных весов F16 размером 18,49 ГБ до компактных форматов Q2 и Q3 размером около 3,8–5,4 ГБ, а также более качественные Q4–Q8 и IQ-квантизации. В README не указаны архитектурные детали исходной модели, поддерживаемые языки, размер контекста и точные модальности; по назначению это текстовая модель без заявленной поддержки изображений или других типов данных. Сильной стороной набора является широкий выбор компромиссов между качеством, размером и требованиями к памяти: варианты Q5–Q6 отмечены как высококачественные и рекомендуемые, а некоторые Q4-форматы оптимизированы для ARM. Более агрессивные Q2–Q3-варианты экономят память, но снижают качество. Модель не поддерживает system prompt и требует специального шаблона с маркерами Gemma для диалога. Лицензия в README не указана.