I.6Перевод и языковая адаптация

Hermes-4-70B-GGUF — это квантизированная версия языковой модели Hermes-4-70B, разработанной NousResearch. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, создание и преобразование текстов и другие задачи обработки естественного языка. Формат GGUF ориентирован на локальный запуск с использованием совместимых инструментов, включая llama.cpp и LM Studio. В основе модели лежит модель размером 70 миллиардов параметров; точный вариант квантования в README не указан. Модель работает с текстовой модальностью, сведения о поддерживаемых языках и размере контекстного окна не приведены. Квантизация может снизить требования к памяти по сравнению с полноразмерной моделью, но потенциально влияет на точность и качество генерации. Как и другие генеративные модели, она может создавать неточные, вредные или неподходящие ответы. GGUF-квантизация предоставлена командой LM Studio с использованием llama.cpp release b6287, при этом LM Studio не является разработчиком исходной модели. Лицензия в README не указана.

Это репозиторий mradermacher с GGUF-квантованными вариантами JiRackDeltaNet 27B, созданными на основе CMSManhattan/JiRackDeltaNet_27b. Репозиторий содержит статические квантизации TQ1_0 и TQ2_0 размером примерно 7,1 и 8,3 ГБ соответственно; автор указывает, что варианты с weighted/imatrix-квантизацией в этой публикации не представлены. Модель предназначена для генерации текста и диалогового использования. Метаданные базовой модели описывают её как многоязычную разговорную модель для локального CPU-инференса, кодирования, RAG и вызова инструментов; сама карточка этого GGUF-репозитория главным образом сообщает о доступных файлах квантования и их использовании. Заявлены языки английский, китайский, японский, корейский, французский, испанский, португальский, немецкий, итальянский, русский, арабский, вьетнамский и тайский. Лицензия — MIT. Квантованные файлы уменьшают требования к памяти, но TQ1_0 и TQ2_0 могут уступать исходным весам по качеству; README не приводит сравнительных оценок. Для работы с GGUF требуется совместимый загрузчик, а для многосоставных файлов — их корректная сборка.

J.O.S.I.E.3-Beta11-7B-slerp — объединённая чат-модель на архитектуре Mistral, созданная Goekdeniz Guelmez с помощью LazyMergekit на основе cognitivecomputations/dolphin-2.8-experiment26-7b и argilla/CapybaraHermes-2.5-Mistral-7B. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста. В карточке указаны английский, немецкий, испанский, французский, японский и китайский языки. Репозиторий предоставляет веса в формате safetensors; README также упоминает запуск GGUF-квантизации Q4_K_M через Ollama. Лицензия — Apache-2.0.

Kosmos-Elusive-VENN-8B — объединённая языковая модель семейства Llama, созданная автором jaspionjader с помощью mergekit методом SLERP на основе jaspionjader/Kosmos-Elusive-8b и jaspionjader/Kosmos-VENN-8B. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; длина контекста составляет 8192 токена. Модель предназначена для генерации текста и диалогов. Каталог описывает базовую модель как ориентированную на русский и английский языки. Лицензия в предоставленных данных не указана.

Letemoin/L3-Deluxe-Smurge_l3-12B — объединённая языковая чат-модель, созданная с помощью mergekit из трёх моделей: ehristoforu/llama-3-12b-instruct, jsfs11/Llama-3-RPMerge-8B-SLERP и Casual-Autopsy/L3-Deluxe-Scrambled-Eggs-On-Toast-8B. В README указан метод passthrough; архитектура — плотная Llama с классом LlamaForCausalLM, формат весов — safetensors, число параметров — 23,4 млрд, контекст — до 8192 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Метаданные связывают её с русско-английской чат-моделью, поэтому она подходит для общения и ответов на запросы на русском и английском языках. Лицензия в предоставленных данных не указана.

LEALLA-large — многоязычная модель для получения векторных представлений предложений, разработанная как часть семейства LEALLA и дистиллированная из LaBSE. Это версия, перенесённая с модели v1 на TensorFlow Hub; для неё указана эквивалентность эмбеддингов исходной версии. Модель основана на BERT, содержит 153,5 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для построения многоязычных эмбеддингов предложений и поиска соответствующих текстов на разных языках, включая двуязычный поиск. В README заявлена поддержка 109 языков. Представлены веса в форматах PyTorch, TensorFlow и Flax, включая safetensors. Лицензия — Apache-2.0. При сравнении эмбеддингов для некоторых языков, например японского, могут потребоваться более высокие допуски. Сведения о данных, обучении и метриках приведены в оригинальной научной статье.

NaniDAO/Llama-3.3-70B-Instruct-ablated — диалоговая модель NaniDAO на архитектуре Llama 3.3, полученная дообучением Meta-Llama-3.3-70B-Instruct с применением техники абляции. Модель предназначена для следования инструкциям и генерации ответов в чате; авторы заявляют, что она реже отказывает на допустимые запросы и рассчитана на более свободное взаимодействие. Модель содержит 69,5 млрд параметров, принимает и генерирует текст, работает с контекстом до 131 072 токенов. В метаданных заявлена поддержка английского, французского, итальянского, португальского, хинди, испанского, тайского и немецкого языков. Доступна в формате safetensors для библиотеки Transformers; лицензия — llama3. Она подходит для диалоговых ассистентов и генерации текста, но заявленное снижение числа отказов требует ответственного применения и не гарантирует точность или безопасность ответов.

ruslandev/llama-3-8b-gpt-4o-ru1.0 — диалоговая языковая модель, дообученная автором на базе Meta Llama 3 8B Instruct. Обучение продолжалось одну эпоху на двух NVIDIA A100 на наборе примеров, сформированном из подмножества Tagengo GPT-4 и улучшенном с помощью GPT-4o; около 80% примеров ориентированы на русский язык. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 8192 токенов. Модель предназначена для диалогов и генерации ответов, особенно на русском языке. В карточке автор приводит результаты MT-Bench: 8,12 для русского и 8,01 для английского; эти оценки отражают заявленную автором проверку. Модель доступна в форматах PyTorch и Safetensors, а для локального запуска автор также указывает отдельную GGUF-версию. Лицензия — Llama 3 License.

Llama-3-8B-Magpie-Align-v0.3 — диалоговая языковая модель семейства Llama 3, разработанная Magpie-Align и дообученная на базе Meta-Llama-3-8B. Модель прошла supervised fine-tuning на наборах Magpie с данными на английском и китайском языках, а затем дополнительное обучение предпочтениям методом DPO на наборе UltraFeedback. Архитектура — плотная авторегрессионная LlamaForCausalLM, размер — 7,5 млрд параметров, контекст — до 8192 токенов. Модель предназначена для диалогов, генерации ответов на инструкции и рассуждений; китайские инструкции включены в обучающие данные. В карточке приведены результаты на Alpaca Eval 2, Arena Hard, WildBench и Zero-Eval GSM, однако они не гарантируют аналогичного качества на других задачах или языках. Для работы рекомендуется официальный шаблон чата Llama 3. Лицензия — Meta Llama 3 Community License.

Locai L1-Large — диалоговая языковая модель Locai Labs, дообученная на базе Qwen3-235B-A22B-Instruct-2507 методом постобучения Forget-Me-Not. Это модель семейства Qwen3 MoE с 18,2 млрд параметров и контекстом до 262 144 токенов; веса опубликованы в формате safetensors. Она предназначена для генерации ответов и следования инструкциям, а также подходит для математических и научных рассуждений. Разработчики сообщают об улучшении следования инструкциям и устойчивости к вредоносным запросам, сохраняя при этом математические и научные способности базовой модели. Модель поддерживает несколько языков; отдельно заявлено улучшение для валлийского, ирландского, шотландского гэльского, баскского, армянского, тагальского и суахили. Для модели указана лицензия Apache-2.0. Заявленные в карточке результаты бенчмарков приведены разработчиками и сами по себе не гарантируют аналогичного качества на пользовательских задачах.

wang7776 выпустил разреженную версию Mistral-7B-Instruct-v0.2, предназначенную для диалогов и генерации текста по инструкциям. По README, модель прорежена на 2% методом Wanda без дообучения и изменения весов. В основе — Mistral-7B-Instruct-v0.2, дообученная для следования инструкциям версия Mistral-7B-Instruct-v0.1; архитектура — плотный трансформер Mistral с Grouped-Query Attention и Sliding-Window Attention. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и использует формат инструкций [INST] ... [/INST]. Модель подходит для диалоговых помощников, ответов на инструкции и генерации текста общего назначения. В карточке заявлена лицензия Apache 2.0. README предупреждает, что у модели нет механизмов модерации, поэтому её ответы могут не соблюдать заданные ограничения.

NickyNicky/Mistral-7B-OpenOrca-oasst_top1_2023-08-25-v3 — диалоговая языковая модель на архитектуре Mistral, разработанная на основе наборов данных OpenOrca и OpenAssistant oasst_top1 от 25 августа 2023 года. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в диалоговом формате, включая ответы на вопросы и ведение беседы. Модель работает через Transformers и принимает текст, выдавая текст. Заявленная длина контекста составляет 32 768 токенов. В метаданных перечислены 20 языков: болгарский, каталонский, чешский, датский, немецкий, английский, испанский, французский, хорватский, венгерский, итальянский, нидерландский, польский, португальский, румынский, русский, словенский, сербский, шведский и украинский. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache 2.0. README не содержит подробных сведений об обучении или оценки качества; ответы модели могут быть неточными или содержать ошибки.

mlx-community/Qwen3-235B-A22B-Instruct-2507-8bit — это 8-битная версия модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.26.0. Модель предназначена для генерации текста и работы в диалоговом формате через chat template, если он доступен в токенизаторе. Модель ориентирована на задачи инструкционного следования и текстовой генерации, включая ответы на пользовательские запросы и другие сценарии, поддерживаемые исходной моделью Qwen3. Из доступных данных известны размерная маркировка 235B-A22B и 8-битное представление, однако сведения об архитектуре, фактически активируемом числе параметров, языках, максимальном контексте, производительности и системных требованиях не приведены. Лицензия — Apache 2.0. README не содержит результатов тестирования и подробностей об ограничениях или рекомендуемых сценариях эксплуатации.

mradermacher/Qwen3.5-9B-Brainwaves-GGUF — это набор квантованных GGUF-версий модели nightmedia/Qwen3.5-9B-Brainwaves, подготовленный пользователем mradermacher. Модель относится к семейству Qwen и предназначена для запуска через совместимые инструменты, поддерживающие формат GGUF. В описании заявлены диалоговые сценарии, генерация текста, программирование, математические и STEM-задачи, исследовательская работа, рассуждения, творческое и художественное письмо, а также ролевые сценарии. Размер базовой модели составляет около 9 млрд параметров. Указаны поддерживаемые языки English, Chinese, Japanese и Spanish. Доступны дополнительные файлы mmproj для мультимодального использования, однако конкретные поддерживаемые типы входных данных и возможности мультимодальной обработки в README не раскрыты. Также в тегах заявлен контекст до 256k или 1M токенов, но точное значение для данной сборки не уточняется. Главное преимущество репозитория — широкий выбор вариантов квантования с размером примерно от 4 до 18,5 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Для быстрого запуска рекомендованы Q4_K_S и Q4_K_M, а Q8_0 описан как вариант с лучшим качеством среди быстрых. Ограничения включают возможное снижение качества у низкобитных квантований и отсутствие в README результатов бенчмарков, детального описания архитектуры и подтверждённых характеристик мультимодальности. Лицензия модели — Apache 2.0.

Qwen3.8-27B-ULTIMATE-UNCENSORED-MTP-IQ4-GGUF-16GB — квантизированная GGUF-версия модели Qwen3.8-27B, подготовленная lemonyins на основе аблитерированной и «uncensored» сборки AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Модель предназначена для локального запуска и исследовательских или разработческих сценариев, где требуется модель класса 27B с уменьшенным потреблением памяти и без исходных контентных ограничений базовой сборки. Используется гибридная квантизация: основные attention-слои имеют формат IQ4_XS, а слои FFN — IQ3_S; применяется GGUF и поддержка TurboQuant для компактного KV-кэша. Вариант ориентирован на видеокарты с 16 ГБ VRAM. По данным README, на NVIDIA RTX 4060 Ti 16GB заявлена скорость около 20 токенов в секунду без MTP и около 30 токенов в секунду с multi-token prediction; с TurboQuant доступен контекст порядка 100–110 тысяч токенов без MTP и около 80 тысяч с MTP. Поддержка изображений возможна при подключении отдельного vision-проектора mmproj-BF16.gguf, при этом доступный контекст уменьшается примерно на 20 тысяч токенов. Сильные стороны модели — низкое потребление памяти, высокая скорость локального вывода, большой контекст и возможность speculative decoding через MTP. Ограничения связаны с потерями качества из-за квантизации FFN до IQ3_S, которые могут проявляться, например, в задачах на фактическое запоминание, а также с обязательной зависимостью заявленных показателей памяти от TurboQuant-enabled сборки llama.cpp. Приведённые показатели perplexity, VRAM и скорости требуют отдельной проверки именно для Qwen3.8. В README указана лицензия Apache-2.0.

Qwen3-Next-80B-A3B-Thinking-8bit — языковая модель для генерации текста, представленная сообществом mlx-community. Она преобразована из базовой модели Qwen/Qwen3-Next-80B-A3B-Thinking в формат MLX с использованием mlx-lm 0.27.1; исходная модель разработана командой Qwen. Модель предназначена для текстовых сценариев, включая диалоговое взаимодействие и генерацию ответов с применением режима Thinking. В названии указаны масштаб 80B, конфигурация A3B и 8-битное представление весов. Модель поддерживает работу через библиотеку mlx-lm и рассчитана на запуск в экосистеме MLX. В README не указаны языки, размер контекста, точная архитектура, перечень модальностей и результаты бенчмарков. Сильной стороной модели является адаптация для MLX и 8-битное представление, потенциально снижающее требования к памяти по сравнению с полноточными вариантами. Ограничения и фактические требования к оборудованию в README не описаны. Модель распространяется по лицензии Apache-2.0.

PocketAI выпустила конвертированную и упакованную для запуска на Apple Silicon версию Qwopus3.6-27B-v2 от Jackrong. Это плотная языковая модель семейства Qwen3.5 с 26,896 млрд параметров в формате BF16 и нативной боковой MTP-головой для ускорения генерации методом speculative decoding. PocketAI не обучала и не дообучала базовую модель. Модель предназначена для диалоговой генерации текста, рассуждений и работы с инструментами. Пакет содержит только текстовую модель, без компонентов для обработки изображений; заявлены английский, китайский, испанский, русский и японский языки. Для ускорения через MTP требуется MTPLX версии 2.4.0 или новее; стандартный mlx-lm не поддерживает боковой файл MTP самостоятельно. Репозиторий распространяется по лицензии Apache-2.0. Модель обозначена как экспериментальная и не проходила всестороннюю оценку безопасности; результаты следует проверять перед использованием в важных сценариях. Приведённые в README показатели скорости получены на одной конфигурации Apple Silicon и не гарантируют аналогичную производительность на другом оборудовании.

RWKV-7 «Goose» — базовая авторегрессионная языковая модель, выпущенная BlinkDL в формате Transformers. Это плотная модель архитектуры RWKV-7 с классом Rwkv7ForCausalLM; в метаданных указан размер 7,8 млрд параметров. В отличие от архитектур с attention, она использует рекуррентное состояние постоянного размера, поэтому объём состояния не растёт как KV-кэш, а вычисления при генерации масштабируются линейно по числу токенов. Обучение при этом допускает параллелизацию. Модель предварительно обучена на веб-текстах, коде, синтетических, инструкционных, разговорных и рассуждательных данных. Её можно использовать для генерации продолжений, оценки, последующего обучения и тонкой настройки; шаблон чата задаёт формат запросов, но сам по себе не означает, что модель является безопасным или выровненным ассистентом. В карточке заявлена поддержка нескольких языков, включая русский, английский и китайский. Контекстное окно в предоставленных данных не описано. В комплект входят интеграция с Transformers, токенизатор RWKV World и шаблон многоходового чата с поддержкой префикса рассуждений и формата вызова инструментов. Для тонкой настройки описана поддержка SFT и LoRA; ускоренный инференс на TileLang зависит от GPU, типа данных и формы входа, с возможностью отката на PyTorch. Лицензия — Apache-2.0. Карточка не заявляет оценок безопасности, предвзятости, токсичности или фактической точности; спекулятивное декодирование с откатом рекуррентного кэша не поддерживается без сохранения предыдущих состояний.

RWKV-7 World — базовая авторегрессионная языковая модель семейства RWKV от BlinkDL, предназначенная для генерации текста и использования в качестве основы для дообучения. Модель обучалась на корпусе примерно из 3,1 трлн токенов для версии World-v3; в обучающих данных преобладает английский язык, также представлены другие языки и программный код. В README указаны варианты семейства от 0,1B до примерно 7B параметров, но размер именно этой публикации не уточнён. Модель рассчитана на продолжение текста, диалоговые и вопросно-ответные сценарии при использовании рекомендованных шаблонов запросов. Архитектура RWKV-7 поддерживается пакетом rwkv версии 0.8.28 и выше. Карточка сообщает о обучении более чем на 100 языках; метаданные перечисляют 12 языков, включая русский, китайский, английский, французский, испанский, немецкий, португальский, итальянский, японский, корейский, вьетнамский и арабский. В README приведены результаты MMLU для нескольких вариантов RWKV-7-v3 и сравнение с RWKV-6, но эти оценки не являются характеристиками конкретного файла модели. Это базовая модель, а не специализированный чат-чекпойнт; качество ответов и следование инструкциям могут зависеть от шаблона и дополнительного дообучения. Лицензия — Apache-2.0.

duyntnet/SmolLM2-1.7B-imatrix-GGUF — набор GGUF-квантизаций компактной языковой модели SmolLM2-1.7B, разработанной Hugging Face. Модель предназначена для генерации текста и широкого спектра задач, включая следование инструкциям, работу со знаниями, рассуждения, математику, переписывание и суммаризацию текста, а instruct-версия также поддерживает function calling. GGUF-вариант ориентирован на локальный запуск через llama.cpp и совместимые приложения. Модель содержит 1,7 млрд параметров и работает в текстовой модальности; в карточке указан английский язык. Базовая SmolLM2-1.7B обучалась на 11 трлн токенов с использованием данных FineWeb-Edu, DCLM, The Stack, а также математических и программных наборов данных. Instruct-версия дополнительно обучалась методом supervised fine-tuning и оптимизировалась с помощью Direct Preference Optimization на базе UltraFeedback. К сильным сторонам относятся компактность, возможность запуска на устройстве и улучшения по сравнению с SmolLM1-1.7B в следовании инструкциям, знаниях, рассуждениях и математике. Размер контекста в README не указан, поэтому его характеристики и ограничения нельзя определить точнее. Для использования доступны llama.cpp, KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan. Лицензия обозначена как other, без дополнительных условий в README; точные права и ограничения следует уточнять в исходной карточке модели и лицензии базовой SmolLM2-1.7B.

SmolLM3-3B-Base — базовая языковая модель семейства SmolLM3, опубликованная Unsloth как дообученная версия HuggingFaceTB/SmolLM3-3B-Base. Это декодерный Transformer с архитектурой SmolLM3 и 3,1 млрд параметров; модель предназначена для генерации и продолжения текста, в том числе для задач рассуждения и работы с длинным контекстом. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Модель обучалась на веб-текстах, коде, математике и данных для рассуждений. Контекст конфигурации — 65 536 токенов; в README описана экстраполяция до 128 000 токенов с YaRN. Хорошо подходит как открытая базовая модель для экспериментов и дальнейшей настройки. Поддерживаемые языки включают английский, французский, испанский, итальянский, португальский, китайский, арабский и русский; для русского, китайского и арабского в README отмечено меньше обучающих данных, чем для основных языков. Генерация может содержать фактические ошибки, логические несоответствия и предубеждения, поэтому важные сведения следует проверять. Лицензия — Apache 2.0.

Tess-34B-v1.5b — универсальная большая языковая модель серии Tess, разработанной migtissera. Модель дообучена на базе Yi-34B-200K и предназначена для генерации текста и диалогов в формате с ролями SYSTEM, USER и ASSISTANT. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 33,9 млрд параметров. Заявленная длина контекста — 200 000 токенов. В метаданных указан формат PyTorch и лицензия other; конкретные условия лицензии следует проверять в репозитории модели. README не сообщает об отдельных ограничениях или специализированных областях применения.

Модель badrex/w2v-bert-2.0-kinyarwanda-asr разработана Бадром аль-Абси и предназначена для автоматического распознавания речи на киньяруанда. Это дообученная для ASR модель facebook/w2v-bert-2.0 с архитектурой Wav2Vec2-BERT и классификатором CTC; в метаданных указано 402,7 млн параметров. Она принимает аудио и выдаёт текстовую транскрипцию. Модель обучалась на примерно 1000 часах размеченной речи из датасета Kinyarwanda ASR Track B, охватывающего здравоохранение, государственное управление, финансы, образование и сельское хозяйство; для тестов внутри этих предметных областей автор сообщает WER ниже 8,4%.

Beacon Qwen 2 7B Instruct — разговорная языковая модель семейства Qwen2, представленная в формате safetensors. README описывает Activation Beacon как подключаемый модуль для трансформерных LLM, предназначенный для эффективного сжатия длинного контекста; данных о том, как именно модуль связан с весами этой модели, нет. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и рассчитана на генерацию текста в чат-сценариях. В карточке указана лицензия MIT. README предупреждает, что превышение заданной длины контекста может привести к ошибкам или снижению производительности.

Cymist2-v0.1-SFT — языковая модель команды Cypien AI для генерации текста и диалоговых сценариев на турецком и английском языках. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, дообученная на базе mistralai/Mistral-7B-v0.1 и доступная в формате safetensors для библиотеки Transformers. Контекст модели составляет 32 768 токенов. Модель предназначена для чат-ботов, виртуальных помощников и приложений общего назначения, включая сценарии поиска с дополненной генерацией (RAG). Она поддерживает турецкий и английский языки; в README указано обучение на разнообразных источниках на этих языках. Распространяется по лицензии Apache-2.0. Модель может унаследовать смещения из обучающих данных. Разработчик не рекомендует применять её в критически важных системах или там, где требуются специализированные знания за пределами общей генерации текста; точность ответов не гарантируется.

Это пакет слоёв модели DeepSeek-R1-Distill-Qwen-32B в формате GGUF Q4_K_M, подготовленный Mesh LLM для распределённого запуска. Он сохраняет разбиение исходного GGUF на отдельные артефакты по слоям и предназначен для инференса на локальном кластере из нескольких машин, когда полной модели недостаточно разместить на одном узле. Пакет подходит для приватного локального чата и для работы через локальный API Mesh LLM с совместимым с OpenAI интерфейсом chat completions. Репозиторий указывает исходную модель unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF и вариант квантования Q4_K_M. Сведения об архитектуре, контекстном окне, языках и условиях лицензии следует сверять с карточкой исходной модели; в предоставленных данных они не раскрыты.

DeepSeek-R1-ReDistill-Qwen-7B-v1.1-GGUF — набор GGUF-квантизованных версий модели mobiuslabsgmbh/DeepSeek-R1-ReDistill-Qwen-7B-v1.1, опубликованный ThomasBaruzier. Базовая модель — deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Квантизация выполнена с помощью llama.cpp с использованием imatrix и калибровочного файла Bartowski. Модель предназначена для локального запуска задач генерации текста и диалогового применения через совместимое с GGUF программное обеспечение, включая llama.cpp. Доступны варианты квантизации от IQ1_S и IQ1_M до более точных Q4, Q5 и других форматов; размер файлов в представленной таблице составляет примерно от 1,8 до 5,1 ГБ. Для отдельных вариантов указаны значения perplexity и accuracy: более крупные и точные квантизации обычно обеспечивают лучшее качество при повышенных требованиях к памяти. Ключевые характеристики архитектуры, поддерживаемые языки, максимальная длина контекста и мультимодальные возможности в README не указаны. Основные преимущества — широкий выбор компромиссов между размером, потреблением ресурсов и качеством, а также формат GGUF для локального инференса. Ограничения связаны с потерями качества при агрессивной квантизации и зависимостью от совместимого рантайма; приведённые метрики относятся к тестированию конкретных квантов и не гарантируют качество в любых сценариях. Распространение указано по лицензии MIT.

t-firefly/gemma4-e2b-rknn3-rk1820 — сборка Gemma 4 E2B IT для запуска на устройстве RK1820 через LlamaPi. Исходную модель разработала Google DeepMind; это компактная инструкционно настроенная мультимодальная модель семейства Gemma 4 с плотной архитектурой генерации. В репозитории указаны форматы GGUF и safetensors, а метаданные отмечают возможность диалогового взаимодействия. Модель принимает текст, изображения и аудио, а выдаёт текст. Она предназначена для диалогов, рассуждений, программирования и мультимодального анализа на устройствах и периферийных системах; заявлены контекст до 256 тысяч токенов и поддержка более 140 языков. Для запуска предлагается LlamaPi. Лицензия репозитория — Apache-2.0. Карточка описывает возможности исходной Gemma 4 E2B IT, но не приводит отдельных результатов оценки качества для сборки RK1820. Практическая применимость мультимодального ввода и заявленного контекста зависит от реализации LlamaPi и аппаратных ресурсов устройства.

Geneva 12B GammaCorpus v2-1m — диалоговая языковая модель rubenroy, дообученная на Mistral-Nemo-Instruct-2407 с использованием корпуса структурированных и отфильтрованных многоходовых диалогов GammaCorpus v2-1m. Она предназначена для генерации текста, ведения беседы и выполнения инструкций; интерфейс модели также поддерживает вызов инструментов. Модель построена на плотной архитектуре Mistral, содержит 12,1 млрд параметров и использует 40 слоёв, группированные запросы внимания (GQA) и вращательные позиционные эмбеддинги. Заявленная длина контекста — 1 024 000 токенов. В метаданных перечислена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Модель работает с текстом и доступна в формате safetensors через Transformers. Лицензия — Apache-2.0. README предупреждает о возможности предвзятых ответов; фактическое качество на конкретных задачах следует проверять отдельно.

GLM-5.3-Flash EXL3 K2 — общественный квантованный пакет модели GLM-5.3-Flash-BF16, подготовленный vcruz305 на основе модели Z.AI. Это текстогенерационная модель с архитектурой Glm5NextForConditionalGeneration и поддержкой английского и китайского языков. Квантование EXL3 с точностью 2 бита применяется только к маршрутизируемым MoE-экспертам; компоненты внимания, общие слои, эмбеддинги, выходная голова и vision-компоненты сохраняют исходный формат. Пакет состоит из 120 файлов safetensors и занимает около 91 ГиБ. Модель предназначена для генерации текста и сценариев инференса с большим контекстом. Заявленный максимальный выделяемый контекст составляет 131072 токена, рекомендуемый контекст обслуживания — 65536 токенов; отдельно проверено извлечение данных из реальных текстов длиной до 163479 токенов. На NVIDIA GB10 заявлена скорость 15,7–16,5 токена в секунду при контексте 8K и 14,6–15,7 токена в секунду при 64K с использованием native MTP k=2. К преимуществам относятся существенно уменьшенный размер по сравнению с полноточными весами, поддержка MoE и длинного контекста. Ограничения включают снижение точности из-за 2-битного квантования, необходимость специальной сборки vLLM с поддержкой EXL3 и Glm5Next, а также известную ошибку runtime для некоторых запросов длиной примерно от 163K до 180K токенов. Лицензия весов — MIT.