I.6Перевод и языковая адаптация

sat-3l — модель семейства Segment Any Text, предназначенная для сегментации текста на предложения в составе библиотеки wtpsplit. Она решает задачу токенной классификации: определяет границы сегментов в последовательности токенов. Архитектура — плотная SubwordXLMForTokenClassification с тремя слоями Transformer; размер составляет 220,3 млн параметров, нативная длина контекста — 514 токенов. Доступны веса PyTorch и ONNX. Модель рассчитана на многоязычную сегментацию текста и подходит для подготовки документов к дальнейшей обработке, включая разделение текста на предложения. Карточка ссылается на работу Segment Any Text, но не приводит подробностей о качестве по отдельным языкам. Лицензия MIT.

Seraph-openchat-3.5-1210-Slerp — текстовая генеративная модель на архитектуре Mistral, созданная Weyaxi слиянием моделей через mergekit и метод Slerp. В конфигурации указаны Weyaxi/Seraph-7B и openchat/openchat-3.5-1210; базовой моделью названа mistralai/Mistral-7B-v0.1. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового использования. Она распространяется в формате safetensors по лицензии Apache-2.0. Карточка не приводит сравнительных оценок качества или детальных результатов тестирования.

SJT-1B-Alpha — компактная чат-модель Sakalti на архитектуре Qwen2, дообученная на базе sail/Sailor2-1B. Она предназначена для диалогов и генерации текста; в метаданных также отмечен интерфейс вызова инструментов. Модель содержит 851,8 млн параметров, поддерживает контекст до 131 072 токенов и представлена в формате safetensors. В карточке указаны английский и японский языки. Модель распространяется по лицензии Apache-2.0.

Карточка модели Sakalti/SJT-990M на Hugging Face совпадает с карточкой Sakalti/SJT-1B-Alpha, поэтому описание составлено по ней. SJT-1B-Alpha — компактная чат-модель Sakalti на архитектуре Qwen2, дообученная на базе sail/Sailor2-1B. Она предназначена для диалогов и генерации текста; в метаданных также отмечен интерфейс вызова инструментов. Модель содержит 851,8 млн параметров, поддерживает контекст до 131 072 токенов и представлена в формате safetensors. В карточке указаны английский и японский языки. Модель распространяется по лицензии Apache-2.0.

Skywork-OR1-7B-Preview-GGUF — это набор GGUF-квантизаций языковой модели Skywork-OR1-7B-Preview, разработанной командой Skywork и подготовленной пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В README указаны различные варианты квантизации размером примерно от 3,5 до 15,24 ГБ, включая BF16, Q8_0, Q6_K, Q5_K, Q4_K и Q3_K; конкретный объём памяти и качество зависят от выбранного файла. Для работы используется специальный формат промпта с системным сообщением, запросом пользователя и ответом ассистента. Модель ориентирована на локальный инференс с выбором компромисса между качеством, скоростью и требованиями к памяти. В README рекомендуются варианты Q6_K_L, Q6_K, Q5_K, Q4_K и IQ4_XS; низкобитные варианты подходят для систем с ограниченным объёмом RAM, но обеспечивают более низкое качество. Данные о точной архитектуре, размере контекста, поддерживаемых языках, модальностях, результатах оценки и лицензии в предоставленном README отсутствуют. Условия использования самой базовой модели также не указаны.

solar-merge-v1.0 — текстовая модель с архитектурой Mixture of Experts, созданная jieunhan с помощью LazyMergekit путём объединения upstage/SOLAR-10.7B-Instruct-v1.0 и heavytail/kullm-solar. В конфигурации указаны базовая модель upstage/SOLAR-10.7B-v1.0, формат float16 и маршрутизация экспертов cheap_embed; размер модели — 10,6 млрд параметров, контекст — 4096 токенов. Модель предназначена для генерации текста и диалоговых ответов в роли универсального ассистента. В состав объединения входит корейская модель KULLM-SOLAR, поэтому модель может быть полезна для взаимодействия на корейском языке; также унаследованы возможности SOLAR-10.7B-Instruct для выполнения инструкций и ответов на английском. Модель распространяется по лицензии Apache-2.0.

Community-1 — конвейер диаризации речи, опубликованный командой pyannote. Он принимает аудио и определяет, кто и в какие моменты говорит, включая число говорящих и их временные интервалы. Входное аудио приводится к моно и частоте 16 кГц; конвейер pyannote.audio можно запускать локально, в том числе офлайн после загрузки модели, или использовать через облачный сервис pyannoteAI. Модель предназначена для разметки разговоров и записей с несколькими участниками. Она предоставляет обычную и эксклюзивную диаризацию: последняя упрощает сопоставление интервалов говорящих с временными метками транскрипции. В README сообщается об улучшении показателей диаризации по сравнению с предыдущим конвейером pyannote 3.1 на ряде академических тестов. Для доступа нужно принять условия использования на Hugging Face и получить токен. Лицензия репозитория — CC BY 4.0.

Это GGUF-квантизация модели QwQ-32B-Snowdrop-v0, разработанной trashpanda-org и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на его основе. В репозитории представлены варианты от полного BF16 до различных квантований Q8_0, Q6, Q5, Q4, Q3 и IQ. Размер файлов варьируется примерно от 14,39 до 65,53 ГБ; варианты с более высокой разрядностью обычно обеспечивают лучшее качество, а варианты Q3 подходят для систем с ограниченным объёмом оперативной памяти. Квантизация выполнена с использованием imatrix на базе llama.cpp release b4867. Рекомендуемый формат prompt использует специальные токены ролей system, user и assistant. Сильными сторонами являются широкий выбор квантований, возможность локального запуска и сохранение высокого качества у вариантов Q6 и Q5. Ограничения включают значительные требования к памяти даже у компактных файлов, а также потенциальную потерю качества при использовании низкоразрядных вариантов. В README не указаны архитектурные детали, поддерживаемые языки, размер контекста и лицензия модели или квантизированных файлов.

syubraj/TrOCR_Nepali — модель оптического распознавания символов на основе архитектуры VisionEncoderDecoder и семейства TrOCR. Она дообучена для чтения текста на непальском языке, записанного письмом деванагари, и преобразует изображения с текстом в текстовую последовательность. Для обработки изображений используется TrOCRProcessor с извлекателем признаков ViT и токенизатором; модель распространяется в формате safetensors и рассчитана на использование через Transformers. Модель подходит для распознавания непальского текста на изображениях, например на сканах и фотографиях документов. В карточке не приведены сведения о точности, допустимом качестве изображений или лицензии, поэтому их нельзя оценить по доступным данным.

wav2vec2-large-xls-r-300m-spanish-small — модель распознавания речи, разработанная на основе jhonparra18/wav2vec2-large-xls-r-300m-spanish-custom и дообученная на Common Voice. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка сообщает значение WER 0,1791 на оценочном наборе. Подходит для автоматической транскрипции испанской речи и экспериментов с распознаванием речи на данных Common Voice. В репозитории указаны веса PyTorch. Лицензия и подробные ограничения применения в предоставленных данных не описаны.

anuragshas/wav2vec2-xls-r-300m-lv-cv8-with-lm — модель автоматического распознавания латышской речи, созданная дообучением facebook/wav2vec2-xls-r-300m на датасете Mozilla Common Voice 8.0 для латышского языка. Архитектура основана на Wav2Vec2 с CTC-декодированием; в репозитории указано около 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст. На тестовой части Common Voice 8.0 в карточке приведены WER 0,1705 и результат WER 9,633 при оценке с языковой моделью; без языковой модели — 16,997. Она подходит для распознавания латышской речи в аудиозаписях и оценки качества ASR. Лицензия — Apache-2.0. Карточка содержит мало сведений о рекомендуемых условиях применения и ограничениях; приведённые метрики относятся к конкретному набору данных и не гарантируют качество на других источниках аудио.

WuQi-V3-Onyx-27B GGUF — персонализированная модель, разработанная Alniyat5f на основе Qwen3.8-27B с последующим обучением LoRA. Данная версия представляет собой квантованный формат GGUF и сохраняет мультимодальные возможности исходной модели. Модель предназначена для задач понимания текста и изображений, а также заявлена поддержка понимания видео через отдельный мультимодальный проектор mmproj. Основной файл использует квантование Q4_K_M и имеет размер около 16,81 ГБ; дополнительно доступны мультимодальный проектор в формате F16 и draft-модель MTP для спекулятивного декодирования. В конфигурации указана поддержка китайского языка и сценарий image-text-to-text. Размер базовой модели — 27B параметров. К сильным сторонам относятся сохранённая мультимодальность, поддержка обработки изображений и видео, а также возможность ускорения генерации с помощью MTP. Ограничения связаны с необходимостью совместимого GGUF-инструментария и отдельных файлов проектора и draft-модели; сведения о контекстном окне, точных языковых возможностях, результатах оценки и рекомендуемом оборудовании не указаны. Модель распространяется по лицензии Apache 2.0.

YamshadowInex12_Experiment26Pastiche — слитая модель для генерации текста, созданная объединением automerger/YamshadowInex12-7B и automerger/Experiment26Pastiche-7B. Она построена на плотной архитектуре Mistral и содержит 7,1 млрд параметров; контекст — до 32 768 токенов. Модель принимает текст и генерирует текст, поэтому подходит для диалогов и других сценариев генерации на основе текстового запроса. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0.

MaziyarPanahi/zephyr-7b-beta-nf4-fp16-upscaled-GGUF — это версия модели arnavgrg/zephyr-7b-beta-nf4-fp16-upscaled в формате GGUF. Исходную модель разработал arnavgrg, а преобразование и квантование выполнил MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных приложениях и интерфейсах, совместимых с GGUF, включая llama.cpp, text-generation-webui, LM Studio, GPT4All и llama-cpp-python. Модель относится к семейству Zephyr и имеет заявленный размер 7B параметров. Репозиторий содержит варианты квантования с разной разрядностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные конфигурации; также упоминается вариант NF4 с восстановлением до FP16 в исходной модели. GGUF удобен для локального запуска и позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью и качеством генерации. Поддерживаемые модальности, языки и размер контекстного окна в README не указаны. Сильные стороны модели — широкий выбор квантованных вариантов и совместимость с популярными инструментами локального инференса, включая запуск с GPU. Ограничения связаны с потенциальной потерей качества при низкоразрядном квантовании, а также с отсутствием в предоставленных данных подробных сведений о качестве, бенчмарках, языковой специализации и контекстном окне. Модель распространяется по лицензии Apache-2.0.

72B-Qwen2.5-Kunou-v1-GGUF — это набор GGUF-квантизаций текстовой генеративной модели 72B-Qwen2.5-Kunou-v1, подготовленный пользователем bartowski на основе модели Sao10K. Квантизация выполнена с помощью llama.cpp и метода imatrix; файлы предназначены для локального запуска, в том числе через LM Studio, с использованием формата чата Qwen2.5. Модель предназначена для генерации текста и диалоговых сценариев. Исходя из названия и указанных данных, она имеет около 72 миллиардов параметров и работает с текстовой модальностью. Сведения о языках, длине контекста, точной архитектуре и специализированных задачах в README не приведены. Доступны варианты квантизации от Q8_0 до Q2_K с размером файлов примерно от 29,81 до 77,26 ГБ, что позволяет выбирать между качеством и требованиями к памяти. В README рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S и варианты Q4. Сильной стороной являются большой размер модели и широкий выбор квантизаций, включая варианты, оптимизированные для отдельных ARM-конфигураций. Ограничения связаны с высокими требованиями к оперативной памяти и заметным снижением качества у наиболее компактных вариантов; некоторые сборки не предназначены для Mac или GPU. Лицензия указана как other с названием qwen; ссылка ведёт на лицензию Qwen/Qwen2.5-72B-Instruct.

Behemoth-123B-v2 — чат-модель BeaverAI, созданная на основе Mistral Large Instruct 2411 и объединённая с адаптером. Это плотная авторегрессионная модель семейства Mistral с 122,2 млрд параметров и контекстом до 131 072 токенов; репозиторий содержит веса safetensors. Модель предназначена для диалогов и генерации текста, а шаблон Metharme с системными токенами позволяет задавать системные инструкции. Автор карточки сообщает об улучшениях относительно предыдущей версии, но не приводит количественных оценок. Модель рассчитана на творческие сценарии и общение; качество и устойчивость результатов могут зависеть от формата промпта. Лицензия указана как other, поэтому условия использования следует проверить в материалах репозитория.

Bonsai-1.7B-GGUF — компактная языковая модель, разработанная Prism ML и представленная в формате GGUF для llama.cpp. Она предназначена для генерации текста, локальных чат-ботов и других сценариев инференса на устройствах с ограниченными ресурсами, включая компьютеры, смартфоны и планшеты. Поддерживаются вычисления через CUDA, Metal, CPU, а также интеграция с платформами Android, iOS и macOS. Модель содержит 1,7 млрд параметров, из которых около 1,4 млрд не относятся к embedding-слою, и использует плотную архитектуру на базе Qwen3-1.7B: 28 блоков Transformer-декодера, GQA с 16 query- и 8 KV-головами, SwiGLU, RoPE и RMSNorm. Контекстное окно составляет 32 768 токенов, размер словаря — 151 936 токенов. Все основные компоненты, включая embeddings, проекции внимания и MLP, а также LM head, представлены в 1-битном формате GGUF Q1_0 с размером группы 128. Развёрнутый объём весов составляет около 0,24 ГБ, что значительно снижает требования к памяти и ускоряет инференс. К сильным сторонам относятся очень малый размер, кроссплатформенность и возможность локального запуска практически на любом устройстве. Ограничения связаны с небольшим размером модели и агрессивным 1-битным квантованием, которые могут снижать качество, точность и устойчивость по сравнению с полноразмерными моделями в FP16; конкретные поддерживаемые языки в карточке не указаны. Модель распространяется по лицензии Apache 2.0.

DeepSeek-V4.1-Flash-Abliterated — неофициальная community-версия модели DeepSeek-V4.1-Flash, опубликованная пользователем s-zaizen. Модель создана методом abliteration с использованием инструмента Heretic и предназначена для задач генерации текста и обработки изображений с текстом. Она сохраняет архитектуру исходной модели, токенизатор, компоненты компьютерного зрения, память Engram, тензоры MTP/DSpark, исходную конфигурацию контекста и форматы хранения FP8/MXFP4. Чекпойнт состоит из 48 файлов Safetensors общим объёмом около 510,3 ГБ. Точные размер модели, длина контекста и список поддерживаемых языков в README не указаны. В ходе конвертации изменены только выходные проекции внимания в 40 слоях; экспертные компоненты, Engram, зрительная часть, эмбеддинги и тензоры MTP/DSpark не затрагивались. Основная заявленная особенность — существенное снижение показателя отказов в тесте Heretic: с 97 до 24 отказов из 100 примеров. Этот показатель относится только к конкретной проверке склонности к отказам и не является оценкой общих возможностей модели. Поэтому поведение, безопасность и качество ответов в других сценариях требуют самостоятельной проверки. Для запуска необходима среда, совместимая с исходным форматом чекпойнта DeepSeek V4.1 FP8/MXFP4 и его способом кодирования запросов; файлы для эталонного запуска включены в комплект. Для модели и сопутствующих исходных файлов указана лицензия MIT. Инструмент Heretic распространяется по лицензии AGPL-3.0, что следует учитывать отдельно при его использовании.

Experiment26Yamshadow_NeuralsirkrishnaInex12 — объединённая языковая модель на архитектуре Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/NeuralsirkrishnaInex12-7B. Она предназначена для генерации текста и принимает текстовые запросы, выдавая текстовые ответы. Модель содержит 7,1 млрд параметров, использует формат safetensors и поддерживает контекст до 32 768 токенов. Репозиторий распространяется по лицензии Apache-2.0. README не описывает специализацию по языкам или отдельным предметным областям, поэтому модель можно рассматривать как средство генерации текста общего назначения.

gemma-4-31B-it-MLX-5bit — это 5-битная квантованная версия инструкционной модели gemma-4-31B-it, разработанной Google. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для запуска на устройствах с Apple Silicon. В карточке указана модальность image-text-to-text, поэтому модель предназначена для обработки текста и изображений с генерацией текстовых ответов. Модель подходит для локального использования в LM Studio и совместимых приложениях, включая диалоговые сценарии, анализ изображений и выполнение инструкций. Квантование снижает требования к памяти по сравнению с полной версией и может упростить запуск на Apple Silicon, однако может уменьшать точность относительно исходной модели. В README не указаны размер контекста, поддерживаемые языки, результаты тестирования и точные требования к памяти, поэтому оценить эти характеристики невозможно. Лицензия указана как Apache 2.0.

GLM-5.3-Flash-UD-Q4_K_XL-layers — пакет GGUF-слоёв для распределённого запуска GLM-5.3-Flash в кластере Mesh LLM. Пакет создан на основе unsloth/GLM-5.3-Flash-GGUF: исходное распределение модели разделено на артефакты по слоям. В метаданных указаны библиотека mesh-llm и возможность чатового взаимодействия. Модель предназначена для локального приватного инференса, распределения вычислений между несколькими машинами, когда полный GGUF слишком велик для одного узла, и предоставления локального API, совместимого с OpenAI Chat Completions. Указан вариант UD-Q4_K_XL; репозиторий содержит GGUF-пакет слоёв. Языки и размер контекста в предоставленных данных не описаны. Лицензия — MIT. Для запуска требуется Mesh LLM; характеристики и рекомендации по использованию исходной модели следует сверять с карточкой unsloth/GLM-5.3-Flash-GGUF.

Goetia-24B-v1.1 — разговорная текстовая модель на основе Mistral-Small, собранная Naphula методом слияния mergekit; в карточке указано применение метода Karcher для контрольной точки R20. Модель предназначена для диалогов, следования инструкциям, творческого письма, ролевых игр и текстовых приключений. Автор отмечает повышенную креативность и менее строгие отказы по сравнению с версией 1.0; в состав слияния входят несколько моделей семейства Mistral, ориентированных на диалоги и генерацию прозы. Модель имеет плотную архитектуру MistralForCausalLM, 23,4 млрд параметров и контекст 131 072 токена. Она работает с текстом и рассчитана, в частности, на английский и русский языки. Распространяется в формате safetensors по лицензии Apache-2.0. Карточка описывает её как менее ограниченную в вопросах безопасности; качество и характер ответов зависят от запроса и системной настройки.

SzilviaB/Hexoteric-Trismegistus-7B — объединённая языковая модель на архитектуре Mistral, созданная методом SLERP из CalderaAI/Hexoteric-7B и teknium/Hermes-Trismegistus-Mistral-7B с помощью mergekit. Модель содержит 7,1 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно использовать для ответов на вопросы, написания и продолжения текста, а также для создания чат-ассистентов. README описывает способ объединения, но не приводит сравнительных оценок качества или подробных рекомендаций по применению. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

Huihui-gemma-4-26B-A4B-it-abliterated-GGUF — это квантованный релиз модели Huihui Gemma 4 26B A4B IT Abliterated, подготовленный пользователем groxaxo. Модель распространяется в формате GGUF для локального запуска и совместимых с llama.cpp сред. Исходная модель разработана huihui-ai; данный репозиторий содержит только её квантованные сборки. Модель предназначена для генерации текста по текстовым запросам, а также для мультимодальных сценариев image-text-to-text: анализа и описания изображений с учётом текстовой инструкции. Для работы с изображениями требуется совместимый файл mmproj. Доступны варианты квантования с разным балансом между качеством, скоростью и потреблением VRAM и RAM; более крупные и высокобитные варианты обычно сохраняют больше качества, а компактные требуют меньше ресурсов, но сильнее теряют в точности. Ключевые характеристики: архитектура и параметры унаследованы от базовой модели Gemma 4 26B A4B, формат — GGUF, целевой runtime — llama.cpp, поддерживаются текстовая и визуальная модальности. Точные языки и размер контекстного окна в README не указаны. К сильным сторонам относятся локальный запуск, выбор из множества квантований и поддержка мультимодального вывода. Ограничения включают зависимость качества от выбранной квантовки, аппаратных ресурсов и корректности файла mmproj, а также возможные неточности и особенности поведения модели с уменьшенными ограничениями фильтрации. Конкретная лицензия в README не приведена; перед использованием и распространением необходимо проверить лицензию исходной модели и файлы репозитория.

IberLang — модель классификации аудио, разработанная для распознавания языков Пиренейского полуострова. Это дообученная Ugiat модель на основе openai/whisper-medium с архитектурой WhisperForAudioClassification и 455,8 млн параметров. Модель принимает аудио и определяет, звучит ли на нём испанский, каталанский, галисийский, баскский или окситанский язык. Модель предназначена для автоматической языковой идентификации, в том числе для региональных и малоресурсных языков. В оценке на отложенной выборке из 1200 аудиозаписей VoxLingua107 IberLang авторы сообщают точность 0,902 для каталанского, 0,96 для баскского, 0,915 для галисийского, 0,655 для окситанского и 1,0 для испанского; это результаты на конкретной выборке, а не гарантия качества на других данных. Модель распространяется в формате safetensors по лицензии CC BY 4.0. Указанную лицензию базовой модели и возможные ограничения её использования следует учитывать отдельно.

Это GGUF-квантизированная версия языковой модели invisietch/L3.1-70Blivion-v0.1-rc1-70B. Исходную модель разработала команда или автор invisietch, а квантизации подготовлены featherless-ai-quants. Модель предназначена для генерации текста и может использоваться в совместимых локальных или серверных средах вывода, поддерживающих формат GGUF. Модель имеет размер 70 миллиардов параметров и относится к текстовым моделям: сведения о мультимодальности, поддерживаемых языках, архитектуре исходной модели и размере контекстного окна в README не указаны. Доступны варианты квантизации от IQ4_XS и Q2_K до Q8_0, что позволяет выбирать компромисс между требованиями к памяти, скоростью работы и качеством генерации. Размеры вариантов составляют примерно от 25 до 72 ГБ. Сильной стороной является широкий выбор степеней квантизации и совместимость с экосистемой GGUF, однако 70-миллиардная модель требует значительных вычислительных ресурсов, особенно в вариантах с более высокой точностью. Оценки качества, специализированные сценарии, системные требования и ограничения поведения в README не приведены. Лицензия модели и условия её использования также не указаны.

Kaori-70b-v1 — языковая модель семейства Llama с 68,7 млрд параметров, дообученная Kaeri и Jenti методом QLoRA. Модель предназначена для генерации текста; при разработке использовались наборы данных Open-Platypus, Dolphin и OpenOrca. Модель принимает текст и генерирует текст. Её контекст составляет 4096 токенов. Карточка указывает лицензию Llama 2; применимость этой лицензии следует учитывать при использовании и распространении модели.

Это конвертированные веса диалоговой версии Llama 2 7B в формате Hugging Face, опубликованные daryl149 при содействии Mirage-Studio.io. Модель построена на плотной архитектуре Llama и содержит около 6,6 млрд параметров; репозиторий предоставляет веса PyTorch для использования с Transformers. Указанное окно контекста — 2048 токенов. Модель предназначена для генерации текста в диалоговом формате: она может отвечать на вопросы, вести беседу и помогать с черновиками текста. Карточка не описывает специальную предметную область или отдельное дообучение. В README приведена лицензия Llama 2 Community License от Meta; использование и распространение подчиняются её условиям, включая требования к атрибуции и допустимому использованию.

amd/Llama-3.1-8B-Instruct-w4a16-asym-torchao-v0.17.0 — квантизированная версия языковой модели Llama-3.1-8B-Instruct, созданная Advanced Micro Devices (AMD) с использованием TorchAO. Модель предназначена для генерации текста и запуска инференса на CPU AMD EPYC, прежде всего в Linux-средах, через vLLM и оптимизированный для ZenDNN стек. Модель построена на архитектуре LlamaForCausalLM, принимает и генерирует текст, поддерживает английский язык и содержит около 8 млрд параметров в исходной версии. Применяется 4-битная асимметричная квантизация только весов W4A16 с размером группы 128; квантизированы линейные слои, за исключением lm_head и embed_tokens. Ключевая особенность — оптимизация для CPU-инференса AMD EPYC с использованием ZenDNN, ZenTorch, PyTorch 2.11.0, TorchAO 0.17.0 и vLLM 0.20.2. Сильными сторонами модели являются снижение требований к памяти и ориентация на производительный инференс на совместимых AMD CPU. Ограничения включают отсутствие заявленной поддержки GPU, зависимость от точных версий программного стека и невозможность загрузки в других версиях PyTorch; используемый путь квантизации специфичен для ZenDNN и недоступен в стандартном PyTorch. Результаты оценки качества в README не приведены. Модель распространяется по той же лицензии, что и исходная Llama-3.1-8B-Instruct; отдельно указаны изменения, авторские права на которые принадлежат AMD.

Mungert/Llama3.3-8B-Instruct-Thinking-Claude-4.5-Opus-High-Reasoning-GGUF — это GGUF-версия дообученной текстовой языковой модели, созданная Mungert на базе Llama-3.3-8B-Instruct от allura-forge. Модель дообучалась с помощью Unsloth в течение трёх эпох на наборе данных TeichAI/claude-4.5-opus-high-reasoning-250x. По заявлению автора, результат представляет собой гибридную Instruct/Thinking-модель с контекстом до 128K токенов, предназначенную для генерации текста и рассуждений. Модель ориентирована на задачи, где важны пошаговое мышление, объяснение сложных тем, творческое письмо, создание сюжетов и сцен, ролевые сценарии и продолжение историй. Заявлены английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Режим Thinking может активироваться автоматически в зависимости от формулировки запроса, однако его включение не гарантируется для любого промпта. Модель относится к текстовой модальности и использует архитектуру семейства Llama с размером 8B. К сильным сторонам относятся большой заявленный контекст, сочетание instruct-поведения с рассуждением и специализация на художественной генерации. Ограничения включают зависимость качества и стабильности от выбранного GGUF-кванта: автор рекомендует Q4KS, IQ3_M или более высокие варианты и предупреждает о возможных проблемах рассуждения у более низких квантов. Модель не предназначена для обновления базовых знаний, поскольку дообучение, по заявлению автора, меняло поведение, а не фундаментальные знания. Распространяется по лицензии Apache-2.0.