I.2Синтез, понимание и проверка знаний

Qwen3.8-27B-Uncensored-Cyber-i1-GGUF — квантизированная GGUF-версия модели HFCK99/Qwen3.8-27B-Uncensored-Cyber, подготовленная mradermacher. Модель относится к семейству Qwen3, имеет около 27 млрд параметров и предназначена для локального запуска в совместимых приложениях, поддерживающих формат GGUF. В описании она обозначена как vision-модель для задач image-text-to-text, то есть может обрабатывать изображения и текст; заявленный язык — английский. Репозиторий содержит набор вариантов квантизации i1, включая Q2_K, Q3_K, IQ3, Q4, Q5 и Q6, размером примерно от 11 до 22,5 ГБ. Более компактные варианты требуют меньше памяти, но обычно уступают старшим по качеству; Q4_K_M отмечен как быстрый и рекомендуемый, а Q4_K_S — как компромисс между размером, скоростью и качеством. Также предоставлен imatrix-файл для создания собственных квантов. Точное устройство архитектуры, размер контекстного окна и перечень поддерживаемых языков, помимо английского, в README не указаны. Модель ориентирована на универсальные текстовые и мультимодальные сценарии, включая диалоговую работу с текстом и анализ изображений, при этом в названии и тегах отмечены особенности uncensored и abliterated. К ограничениям относятся неизбежные потери качества у низкобитных квантов, требования к значительному объёму оперативной или видеопамяти и отсутствие подробных результатов тестирования. Указанная лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-FP8 — модифицированная версия Qwen/Qwen3.8-27B, опубликованная OrcaRouter. Модель прошла abliteration: из неё удалено направление, связанное с отказами в ответах, после чего веса были офлайн квантизированы в block-FP8. Это плотная модель на 27 млрд параметров с гибридной архитектурой Gated DeltaNet и полнослойного внимания, встроенной vision-language башней и MTP-головой для спекулятивного декодирования. Модель предназначена для исследовательских задач, включая интерпретируемость, анализ механизмов отказа, AI safety, red teaming, оценку устойчивости и контролируемые эксперименты. Она поддерживает работу с текстом и изображениями, языки English и Chinese, рассуждение, function calling и контекст до 262 144 токенов. Архитектура включает 64 слоя: 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного внимания. Основные линейные веса используют block-FP8 E4M3 с размером блока 128×128 и динамическими активациями, тогда как vision tower, нормы, router, embeddings и lm_head сохранены в BF16. Сильная сторона модели — сохранение возможностей базовой Qwen3.8-27B, включая мультимодальность, инструменты, reasoning, большой контекст и MTP, при совместимости со схемой обслуживания официальной FP8-версии. Главное ограничение — существенное удаление защитного выравнивания: модель может выполнять вредоносные, неэтичные и незаконные запросы и не имеет значимых встроенных защитных механизмов. Поэтому её не следует использовать напрямую в пользовательских или производственных системах без собственных фильтров, модерации и контроля злоупотреблений. Модель распространяется по лицензии Apache 2.0; использование также должно соответствовать применимым законам и условиям лицензии базовой модели.

AtomicChat/Qwen3.8-Flash-Next-GGUF — квантованная версия модели Qwen3.8-Flash-Next, основанная на оригинальных весах Qwen и подготовленная командой AtomicChat. Модель предназначена для локальной генерации текста и мультимодальных сценариев с обработкой изображений через llama.cpp. Это первый открытый релиз весов архитектуры, лежащей в основе Qwen4. Модель содержит около 177 млрд параметров; примерно 51 млрд из них представлены таблицей n-грамм, а не обычными весами. Доступны сборки GGUF с квантованием от 3,84 до 5,00 бит на вес, причём вариант AD-4.27bpw-Q4_K_M заявлен как оптимальный по соотношению качества и размера. Для него требуется около 92,9 ГБ на SSD и 54,5 ГБ памяти без учёта таблицы n-грамм. В README указан контекст до 32768 токенов, поддержка изображений и скорость около 36 токенов в секунду при генерации на Apple M5 Max; языки явно не перечислены. Сильные стороны модели — возможность локального запуска крупной 176–177B-модели на системах с ограниченной оперативной памятью за счёт размещения таблицы n-грамм на SSD, а также сохранение близкого к более тяжёлой 5-битной сборке качества у варианта AD-4.27bpw. Ограничения включают очень большой объём файлов, необходимость совместимой сборки llama.cpp с поддержкой этой архитектуры и специальные параметры запуска, включая mmap и отключение автоматической подгонки размещения. Для Apple Silicon таблица должна находиться в отдельном GGUF-шарде. Лицензия указана как qwen-community-1.0; ссылка ведёт на лицензию базовой модели Qwen/Qwen3.8-Flash-Next. Дополнительные условия использования в README не раскрыты.

ilintar/qwen3.8-flash-next-gguf-strix-halo — это GGUF-квантизация модели Qwen3.8-Flash-Next, предназначенная для генерации текста. Базовая модель относится к семейству Qwen; в README указано 176,94 млрд параметров, формат квантования IQ4_NL и общий объём весов 93,16 GiB в девяти файлах. Модель поддерживает английский язык, рассчитана на текстовые задачи и имеет обученный контекст до 262 144 токенов. Архитектура обозначена как qwen4exp и включает рекуррентный gated delta-net, разреженное lightning-indexer attention и поуровневые embeddings. В комплект входит отдельная draft head размером 2,6 GB в формате Q8_0 для ускорения генерации. Ключевой сценарий использования — запуск на одном AMD Ryzen AI Max+ с Radeon 8060S, архитектурой gfx1151 и 128 GB unified memory. Для работы необходимы специальная ветка strix-halo проекта llama.cpp и соответствующие ROCm/HIP-ядра; upstream-версия llama.cpp не подходит. Модель демонстрирует высокую скорость предварительной обработки контекста: около 1152 токенов/с при пустом контексте и около 1060 токенов/с на глубине 40 000 токенов. Скорость генерации ниже — примерно 24 и 15 токенов/с соответственно. Решение экспериментальное, требует точной конфигурации загрузчика и практически использует значительную часть unified memory, поэтому доступный объём памяти ограничивает работу с KV-кэшем и вычислительными буферами. Качество проверялось сравнением perplexity с эталонным стеком, публичные benchmark-результаты не указаны. Лицензия — Apache-2.0.

inferencerlabs/Qwen3.8-Flash-Next-MLX-Q4 — это мультимодальная квантованная версия модели Qwen3.8-Flash-Next, адаптированная для инференса с использованием MLX. README не указывает разработчика исходной модели; опубликованный вариант предоставлен inferencerlabs. Модель поддерживает сценарии image-text-to-text, то есть обработку изображений и текста с генерацией текстового ответа. Модель предназначена для локального запуска, в частности на компьютерах Apple Silicon через приложение Inferencer. В README приведён результат тестирования на M5 Max: около 57,5 токена в секунду при использовании примерно 98,7 GiB памяти для мультимодального инференса. Также указано, что для больших контекстных окон может потребоваться увеличение доступной памяти. Архитектура, количество параметров, точный размер контекста и поддерживаемые языки не указаны. Ключевое преимущество модели — снижение требований к памяти и вычислениям за счёт квантования при сохранении значительной точности. Для варианта с квантованием Q4.5 README указывает точность токенов 91,65% и perplexity 1,33593; эти показатели приведены для оценки квантования и могут не полностью соответствовать варианту Q4 из идентификатора модели. Ограничения включают возможное снижение точности по сравнению с базовой моделью, высокие требования к оперативной памяти для мультимодальной работы и отсутствие в README сведений о лицензии, поэтому условия использования следует уточнять отдельно.

TheDrainFlorist/Qwen3.8-Flash-Next-VQ-4.4bpw — это векторно-квантизированная сборка базовой модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Сборка создана с использованием VQLab для работы на компьютерах Apple Silicon и распространяется как checkpoint для экосистемы MLX. Общий размер модели составляет около 94,1 GiB; базовая MoE-модель имеет 180 млрд параметров, из которых активны 10 экспертов из 512, а также включает 51,2 млрд параметров n-gram PLE и поддержку зрения. Модель предназначена для генерации текста и обработки изображений на устройствах Apple Silicon через mlx-lm и mlx-vlm, а также для распределённого запуска через exo. Она поддерживает английский язык; контекст и точные характеристики модальностей в README не указаны. В квантизации используются векторные кодовые книги, а отдельные высокозначимые слои имеют повышенную точность. Заявлены оптимизации MLX-ядер, снижение пикового потребления памяти при обработке длинных запросов и сохранение качества вывода относительно предыдущего runtime. Основные ограничения связаны с требованиями к программному окружению: необходима архитектура qwen4_exp, отсутствующая в выпущенных версиях mlx-lm на момент описания, поэтому требуется версия из указанного pull request. Для изображений нужен mlx-vlm версии 0.6.16 или новее. Модель рассчитана на мощные устройства с большим объёмом памяти; распределённая работа через exo требует специальной ветки. Лицензия указана как qwen-community-1.0; условия следует уточнять в файле LICENSE.

Qwen3.8-Flash-Next-VQ-5.5bpw — это квантизированная data-free vector-quantized версия модели Qwen3.8-Flash-Next, разработанная TheDrainFlorist с использованием VQLab и предназначенная для запуска на Apple Silicon через MLX. Базовая модель создана командой Qwen. Модель поддерживает генерацию текста и работу с изображениями; заявленный язык — английский. Она основана на MoE-архитектуре с 180 млрд параметров в общей сложности и 10 из 512 активных экспертов, а также включает 51,2 млрд параметров n-gram PLE и vision-компонент. Размер квантизации — 5,5 бит на параметр, объём checkpoint составляет около 111,6 GiB, поэтому для запуска требуются машины с большим объёмом unified memory, ориентировочно от 128 ГБ.

Qwythos-9B-Claude-Mythos-5-1M-uncensored-heretic-GGUF — GGUF-квантизации модели Qwythos-9B-Claude-Mythos-5-1M, разработанные независимым автором LLMfan46 на базе модели llmfan46/Qwythos-9B-Claude-Mythos-5-1M-uncensored-heretic. Модель предназначена для генерации текста, задач рассуждения, работы с длинным контекстом, function calling и tool use, а также агентских, кибербезопасностных и биомедицинских сценариев. Заявлена поддержка английского языка и контекста до 1M токенов; библиотека — Transformers. Архитектура и точные параметры квантизации в README не указаны, однако размер базовой модели составляет 9B параметров. Это декензурированная версия, полученная с помощью Heretic v1.2.0 и варианта метода Magnitude-Preserving Orthogonal Ablation (MPOA), применённого к компонентам attn.o_proj, attn.out_proj и mlp.down_proj. По приведённым данным, частота отказов снизилась до 11 из 100 против 73 из 100 у исходной модели, при KL divergence 0,0123; при этом заявлено сохранение качества. В тесте MMLU исходная модель показала точность 77,03%, но отдельные результаты именно этой версии не приведены. Сниженная склонность к отказам может быть полезна для исследовательских и специализированных сценариев, но также повышает риски небезопасной генерации, поэтому необходимы контроль применения и проверка результатов. Модель распространяется по лицензии Apache-2.0.

Randeng-Pegasus-523M-Summary-Chinese — китайская модель для генерации кратких пересказов, разработанная командой Fengshenbang и опубликованная в проекте Fengshenbang-LM. Это дообученная версия Randeng-Pegasus-523M-Chinese на семи китайских датасетах суммаризации: education, new2016zh, nlpcc, shence, sohu, thucnews и weibo, примерно на 4 млн примеров. Модель построена на архитектуре PEGASUS и содержит около 319,6 млн параметров по метаданным; в README указано обозначение размера 523M. Она принимает текст и генерирует текстовое резюме на китайском языке, с контекстом до 1024 токенов. В качестве результата на LCSTS в карточке приведены ROUGE-1 48,00, ROUGE-2 35,24 и ROUGE-L 44,70. Лицензия в предоставленных источниках не указана.

KingNish/Reasoning-Llama-3b-v0.2 — плотная текстовая модель семейства Llama на 3,2 млрд параметров, разработанная KingNish и дообученная на базе KingNish/Reasoning-Llama-3b-v0.1. Это разговорная модель для генерации ответов с предварительным рассуждением; карточка указывает обучение с использованием Unsloth и библиотеки Hugging Face TRL. Модель принимает текст и выдаёт текст, поддерживает английский язык и контекст до 131 072 токенов. Распространяется по лицензии Apache-2.0.

Byunghwee/roberta_belief_finetuned — модель Sentence-Transformers на базе RoBERTa, дообученная на триплетах убеждений из датасета Debate.org. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска и сравнения смыслового сходства, кластеризации и анализа контекстных связей между убеждениями. В метаданных указано 151,8 млн параметров и контекст до 514 токенов; модель использует библиотеку sentence-transformers и распространяется в формате safetensors. Модель подходит для семантического поиска и группировки текстов об убеждениях, а также для получения эмбеддингов, учитывающих их контекстные отношения. Она обучалась с TripletLoss на триплетах, извлечённых из Debate.org. Лицензия в предоставленных данных не указана.

ScandiNLI Small — модель обработки естественного языка, разработанная AI Sweden и дообученная на базе jonfd/electra-small-nordic для вывода о логических отношениях между парами текстов на датском, норвежском букмоле и шведском языках. Она предназначена для Natural Language Inference (NLI): определения, следует ли гипотеза из предпосылки, противоречит ей или не связана с ней. В каталоге Hugging Face модель отмечена для zero-shot классификации; её также можно применять для классификации текста по заданным меткам. Модель использует компактную архитектуру ELECTRA и содержит 37,2 млн параметров. Максимальная длина контекста — 512 токенов; веса доступны в форматах PyTorch и Safetensors. Карточка приводит оценки на датских, шведских и норвежских тестовых наборах; авторы отмечают, что шведская и норвежская оценки основаны на машинном переводе MultiNLI, поскольку подходящих эталонных наборов им не известно. Лицензия — Apache-2.0.

sentence-transformers/sentence-t5-xl — модель Sentence-Transformers для преобразования предложений и абзацев в плотные векторы размерности 768. Она использует энкодер T5-3B и содержит 385,2 млн параметров; максимальная длина контекста составляет 512 токенов. Репозиторий содержит веса PyTorch в формате Safetensors, сохранённые в FP16. Модель предназначена прежде всего для вычисления сходства между предложениями: её можно применять для сравнения формулировок и поиска семантически близких текстов. Для семантического поиска по корпусам документов она работает хуже. Чекпойнт перенесён из TensorFlow-модели st5-3b-1 в PyTorch; по данным карточки, embeddings могут немного отличаться от TensorFlow-версии, хотя результаты на тех же бенчмарках совпадают. Лицензия — Apache-2.0.

Это объединённая языковая модель yuhengtu-bytedance, созданная с помощью mergekit методом Linear merge. В качестве основы использован чекпойнт global_step11000, объединённый с чекпойнтами global_step7000, global_step8000, global_step9000 и global_step10000 из серии baseline_filtered. Архитектура — плотная GPT-NeoX для генерации текста, размер — 8,8 млрд параметров, формат весов — safetensors; заявленная длина контекста составляет 16 384 токена. Модель предназначена для генерации текста. Карточка не уточняет специальные прикладные сценарии, языки, результаты оценки качества или условия использования. Лицензия в предоставленных данных не указана.

mlx-community/SmolLM2-1.7B-Instruct — компактная англоязычная диалоговая модель на 1,7 млрд параметров, созданная mlx-community на основе HuggingFaceTB/SmolLM2-1.7B-Instruct. Репозиторий содержит конверсию в формат MLX для запуска на устройствах Apple с помощью mlx-lm; архитектура — плотная LlamaForCausalLM. Модель предназначена для генерации текста и диалогов на английском языке, включая переписывание и суммаризацию. Контекст составляет 8192 токена. Она подходит для локального запуска и приложений с ограниченными вычислительными ресурсами. Модель основана на SmolLM2-1.7B-Instruct и выпущена под лицензией Apache-2.0. Компактный размер удобен для локального использования, но может ограничивать качество и сложность ответов по сравнению с более крупными моделями.

PracticeLLM/SOLAR-tail-10.7B-Merge-v1.0 — языковая модель Kyujin Han (kyujinpy), созданная объединением SOLAR-10.7B-v1.0 от Upstage и LMCocktail-10.7B-v1 с помощью Mergekit и метода slerp. Модель с архитектурой Llama содержит 10,6 млрд параметров, использует формат safetensors и поддерживает контекст до 4096 токенов. Модель предназначена для генерации текста на английском и корейском языках, включая ответы на вопросы и задачи на рассуждение. В карточке приведены результаты оценок на англоязычных и корейских бенчмарках. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая требует указания авторства, распространения производных материалов на тех же условиях и запрещает коммерческое использование.

SphinxMind-14B-normalize-false — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES на основе shuttleai/shuttle-3-mini с включением EVA-UNIT-01/EVA-Qwen2.5-14B-v0.2. Модель содержит 14 млрд параметров и предназначена для диалогового общения и генерации текста; доступна в формате safetensors для библиотеки Transformers. Её контекстное окно составляет 65 536 токенов. Модель может использоваться для ведения диалогов, творческого письма и создания историй. В карточке нет сведений о лицензии, поэтому условия использования определить нельзя.

SRIQ-MiniCPM5-2B-v1.5 — разработанная SRIQ модель, полученная дообучением openbmb/MiniCPM5-2B на наборе sriq-ai/sriq-sft-v1.5. Это плотная языковая модель с архитектурой LlamaForCausalLM и примерно 2,2 млрд параметров; она принимает текст и генерирует ответы в диалоговом формате, поддерживая контекст до 131 072 токенов. Модель предназначена для ответов на вопросы и задач рассуждения, в том числе в контексте длинных системных инструкций и агентных сценариев. Внутренние рассуждения она формулирует сжато на упрощённом китайском независимо от языка запроса, а итоговый ответ — на языке пользователя. Обучение ориентировано на проверку результата перед ответом; доступен интерфейс вызова инструментов. Карточка не приводит результатов бенчмарков, поэтому качество и прирост относительно базовой модели не подтверждены опубликованными измерениями. Сжатые рассуждения могут быть трудны для чтения, а проверочный этап сам по себе не гарантирует правильность ответа. Для работы модели следует не отключать рассуждения параметром enablethinking=False. Лицензия — Apache-2.0.

Strangemerges_32T3q-7B — созданная Maxime Labonne автоматическим слиянием моделей на основе Mistral. В конфигурации использованы Gille/StrangeMerges_32-7B-slerp и chihoonlee10/T3Q-Mistral-Orca-Math-DPO; применён метод dare_ties. В метаданных указана связь с T3Q-Mistral-Orca-Math-DPO как с дообученной базовой моделью. Модель предназначена для генерации текста по запросам, в том числе для математических вопросов и ответов. Она содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий использует формат safetensors, а лицензия — Apache-2.0. Данных о конкретных языках модели в предоставленных источниках нет.

Strawberry-1.1 — дообученная компанией artindnr языковая модель для рассуждений на фарси и английском. Это причинная decoder-only модель семейства gpt_oss с архитектурой mixture-of-experts; она основана на artindnr/strawberry-1, которая, в свою очередь, дообучена на openai/gpt-oss-20b. В репозитории указаны 1,6 млрд параметров, контекст до 131 072 токенов и формат safetensors. Модель предназначена для многоязычных задач рассуждения, в том числе для работы с запросами, где одновременно используются фарси и английский. Она сохраняет управление языком рассуждений и следование инструкциям базовой модели, а для диалогов использует шаблон Harmony. Лицензия — Apache 2.0. Качество рассуждений на фарси может снижаться на технических темах, где иногда появляются английские слова или фразы. Возможны фактические ошибки и галлюцинации; отдельного обучения безопасности сверх унаследованного от базовых моделей не проводилось.

Это квантизированная в формате NVFP4 GGUF версия Swift-Qwen3.8-27B-Genesis, подготовленная jan1k на основе весов LuffyTheFox/Swift-Qwen3.8-27B-Genesis-F16-GGUF. Модель использует архитектуру qwen35: 64 слоя, включая 48 Gated DeltaNet и 16 gated-attention, а также блок MTP для спекулятивного декодирования. Вариант v4 содержит 27 млрд параметров по названию модели и занимает около 15,76 ГБ; для совместимых мультимодальных запросов README показывает подключение отдельного mmproj-файла. Модель предназначена для генерации текста в формате чата и локального инференса через совместимые GGUF-рантаймы, включая llama.cpp и LM Studio. В README приведены настройки контекста до 131072 токенов и ускорение на видеокартах Blackwell; на Ampere используются резервные вычислительные ядра. Квантизация снижает требования к памяти, сохраняя большую часть весов в NVFP4 и отдельные чувствительные тензоры в F16 или F32. Репозиторий распространяется по лицензии Apache-2.0. Качество генерации после низкобитной квантизации может отличаться от исходного F16; для спекулятивного декодирования нужен runtime с FastMTP, а для вариантов без MTP оно не требуется. README описывает подключение проектора изображений, но отдельный vision-проектор в репозитории модели не заявлен.

TheUnderscore/Swift-Qwen3.8-27b-W4A16-AWQ — квантизированная версия модели Swift-Qwen3.8-27b от UkisAI, подготовленная в формате AWQ с использованием compressed-tensors. Модель относится к семейству Qwen3.5/Qwen3.8 и предназначена для генерации текста и мультимодальных сценариев image-text-to-text, где требуется обработка изображений и текста. В репозитории указана библиотека Transformers, а запуск протестирован с LMDeploy Turbomind. Основная часть линейных весов представлена в формате W4A16: используются 4-битные асимметричные веса с размером группы 128 и 16-битные активации. Эмбеддинги, lm_head, нормализации, отдельные компоненты linear attention, vision tower и MTP head сохранены в BF16. Размер базовой модели — 27 млрд параметров. Архитектура использует гибридное внимание, а параметры модели и рекомендуемые настройки генерации унаследованы от базовой версии; поддерживаемые языки и максимальный размер контекста в README не указаны. Ключевое преимущество версии — существенное снижение требований к памяти за счёт W4A16-квантизации при сохранении полной точности отдельных мультимодальных и вспомогательных компонентов. Для запуска рекомендуется LMDeploy Turbomind с форматом compressed-tensors; пример конфигурации использует tensor parallelism с tp=2. Ограничения включают необходимость gated-доступа к весам Swift и потенциальные особенности совместимости с поддерживаемым программным стеком; отдельные количественные оценки качества после квантизации не приведены. Модель распространяется по лицензии Swift Open License v1.0. Персональное, исследовательское, образовательное, оценочное и коммерческое использование бесплатно для физических и юридических лиц с годовой регулярной выручкой, включая аффилированные организации, до 1 000 000 долларов США. При превышении этого порога для коммерческого использования требуется отдельная Swift Enterprise License.

MaziyarPanahi/T3qm7xNeuralsirkrishna_Strangemerges_32Inex12 — объединённая языковая модель семейства Mistral, созданная слиянием automerger/T3qm7xNeuralsirkrishna-7B и automerger/Strangemerges_32Inex12-7B. Она предназначена для генерации текста и диалогов. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате safetensors. В карточке указана лицензия Apache-2.0. Карточка не описывает специальные прикладные области, языки или дополнительные возможности. Поэтому область применения следует оценивать как общее текстовое взаимодействие; качество и ограничения конкретных сценариев из доступных сведений определить нельзя.

Модель potsawee/t5-large-generation-race-Distractor разработана как дообученная версия T5-large для генерации вариантов-отвлечений в заданиях с вопросами и множественным выбором. Она принимает вопрос, правильный ответ и контекст, а затем формирует список из трёх дистракторов. В статье MQAG она используется как второй компонент конвейера генерации вопросов (g2). Модель построена на архитектуре T5 и содержит 385,2 млн параметров; для запуска указана библиотека Transformers и формат PyTorch. Она предназначена для англоязычного набора RACE, а максимальная длина контекста составляет 512 токенов. Распространяется по лицензии Apache-2.0.

rhaymison/t5-portuguese-small-summarization — компактная модель T5, разработанная Rhaymison и дообученная на базе google-t5/t5-small для автоматического суммирования текста на португальском языке. Модель содержит 38,5 млн параметров, использует архитектуру T5ForConditionalGeneration и принимает входной текст длиной до 512 токенов. Модель предназначена для создания кратких пересказов португалоязычных текстов. В карточке приведены примеры суммирования новостного текста и результаты оценки ROUGE. Автор отмечает, что из-за небольшого размера модели иногда возникают ошибки с диакритическими знаками. Модель распространяется по лицензии Apache-2.0. Для запуска можно использовать библиотеку Transformers и формат весов safetensors.

Tess-3-Mistral-Large-2-123B-GGUF — набор GGUF-квантизаций текстовой генеративной модели Tess-3-Mistral-Large-2-123B, разработанной migtissera и подготовленной пользователем bartowski. Модель предназначена для локального запуска и генерации текста через llama.cpp, в том числе в LM Studio. В README приведён формат диалога с системными, пользовательскими и ассистентскими сообщениями. Это крупная модель на 123 млрд параметров; точная архитектура, поддерживаемые языки и размер контекста в README не указаны. Доступны варианты квантования Q8_0, Q6_K, Q5_K_M, Q4_K_M, Q4_K_S, IQ4_XS, Q3, Q2 и IQ1 с размером файлов примерно от 28,39 до 130,28 ГБ. Варианты Q6_K, Q5_K_M и Q4_K_M отмечены как рекомендуемые благодаря сочетанию качества и требований к памяти, тогда как низкоразрядные варианты экономят место, но заметно уступают в качестве. Квантизации выполнены с использованием imatrix и llama.cpp версии b3509; для отдельных вариантов embedding- и output-веса сохранены в Q8_0, что потенциально может улучшать качество. Основные ограничения — очень высокие требования к оперативной памяти или видеопамяти и снижение качества при агрессивном квантовании. Модель распространяется по лицензии Mistral AI Research Licence 0.1; в README указана лицензия other и ссылка на её текст.

Tess-R1-Limerick-Llama-3.1-70B-GGUF — набор GGUF-квантизаций базовой модели Tess-R1-Limerick-Llama-3.1-70B, разработанной neurolattice и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. В README не указаны специализированные сценарии применения или перечень поддерживаемых языков и модальностей, поэтому её следует рассматривать как универсальную текстовую LLM. Основа модели — Llama 3.1 с заявленным размером 70B параметров. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, с размером файлов примерно от 29,31 до 74,98 ГБ. Квантизации выполнены с использованием imatrix на базе llama.cpp release b4014; некоторые варианты оптимизированы для ARM. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, тогда как младшие требуют меньше оперативной памяти, но могут заметно снижать качество. Размер контекста в README не указан. Лицензия обозначена как llama3.1. Для запуска потребуется значительный объём памяти, зависящий от выбранной квантизации. Рекомендуемыми названы варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; вариант Q4_0_4_4 предназначен для ARM и не рекомендуется для Mac или Windows.

Lin0He/text-summary-gpt2-short — модель для суммаризации коротких текстов, созданная как часть учебного проекта по мультимедийным системам в Лейденском университете осенью 2023 года. Это дообученная модель на архитектуре GPT-2; в карточке указаны PyTorch и контекст 1024 токена. Автор сообщает об обучении на данных отзывов Amazon и Kindle, публикациях Twitter и наборе для анализа эмоций. Модель предназначена для получения краткого пересказа короткого текста. В README отмечено, что после обновления пайплайна генерация может содержать лишний текст и артефакты; предлагается отбирать результат по маркеру TL;DR. Исходная модель, от которой выполнялось дообучение, в карточке не названа. Лицензия — MIT.

Это GGUF-квантизированная версия языковой модели Snowpiercer-15B-v3, разработанной TheDrummer и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель имеет размер 15 миллиардов параметров и представлена в нескольких вариантах точности и квантизации: от BF16 размером около 30 ГБ до компактных Q2–Q8-вариантов размером примерно от 6,45 до 15,92 ГБ. Квантизация выполнена с использованием imatrix на базе llama.cpp, что позволяет выбирать баланс между качеством, требованиями к памяти и скоростью инференса. Наиболее качественными и рекомендуемыми в README названы варианты Q5, Q6 и Q4_K_M; для систем с ограниченным объёмом RAM доступны варианты Q3 и Q2. Сильная сторона модели — возможность локального запуска на широком спектре оборудования благодаря большому выбору квантизаций. Ограничения включают отсутствие в README сведений о базовой архитектуре, поддерживаемых языках, длине контекста, мультимодальности, специализированных сценариях обучения и формате промпта; его рекомендуется уточнять на странице оригинальной модели. Лицензия в предоставленных данных не указана.

LouisML/tinyllama_32k — дообученная версия TinyLlama-1.1B, подготовленная для генерации текста с контекстом до 32 768 токенов. Автор карточки сообщает, что модель дополнительно обучали на последовательностях длиной 32 768 токенов на наборе togethercomputer/RedPajama-Data-1T-Sample и увеличили базу частот RoPE. Модель предназначена, в частности, для использования как компактная модель длинного контекста при спекулятивном декодировании. Это плотная причинная языковая модель семейства Llama примерно на 1 млрд параметров. В карточке приведены результаты оценки на WikiText-2, где версия 32k сохраняет более низкую perplexity на длинах контекста от 4 096 до 32 768 токенов, чем исходная TinyLlama-1.1B; также приведены результаты HumanEval. Эти оценки не гарантируют аналогичного качества на других данных и задачах. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия — Apache-2.0.