III.10Проекты, процессы и операционное управление

aya-23-35B-GGUF — это набор квантизированных моделей в формате GGUF для запуска через llama.cpp. Основой служит языковая модель aya-23-35B, разработанная CohereForAI, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, написание и преобразование текста на нескольких языках. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского, арабского, греческого, персидского, польского, индонезийского, чешского, иврита, хинди, нидерландского, румынского, русского, турецкого, украинского и вьетнамского языков. Размер базовой модели — 35B параметров; сведения об архитектуре и размере контекста в README не указаны. Доступны варианты с разными уровнями квантизации: от IQ1 и IQ2 с минимальным размером и более низким качеством до Q6_K и Q8_0 с высоким качеством, но большими требованиями к памяти. Рекомендуемыми названы варианты Q4_K_M, Q5_K_M и Q6_K, а также некоторые IQ-квантизации. Главное преимущество модели — возможность локального запуска в llama.cpp при выборе подходящего уровня квантизации, включая варианты для ограниченного объёма оперативной памяти. Ограничения связаны с компромиссом между качеством и размером: низкобитные варианты заметно уступают по качеству, а высококачественные требуют десятки гигабайт памяти. Лицензия — CC BY-NC 4.0, допускающая использование с ограничениями, включая запрет коммерческого применения.

CLM-Qwen3.5-2B — модель на основе Contrastive Language Models, разработанная Jayavibhav с использованием метода CLM, созданного Jacky Kwok, Hangoo Kang, Tarun Suresh, Jon Saad-Falcon, Marco Pavone, Christopher Ré и Azalia Mirhoseini. Это дообучение Qwen3.5-2B: замороженный языковой энкодер с двумя небольшими проекционными головами для представления состояния и ответа. Модель кодирует контекст и кандидаты в общем векторном пространстве, оценивает варианты по косинусному сходству и выдаёт относительное распределение вероятностей. Для повторно используемых вариантов можно кэшировать их представления. Модель предназначена для ранжирования вариантов ответа, классификации документов и типизированных решений по длинным текстовым контекстам. Она принимает состояния длиной до 131 тыс. токенов и обучена на английских данных, включая синтетические документы более чем 200 типов и задачи решений из нескольких прикладных областей. По заявлению авторов, модель превосходит CLM-v0.1-8B в тесте классификации документов, но уступает Jev на 4,6 процентного пункта; результаты на синтетических документах могут отличаться от результатов на реальных файлах. Для новых рабочих процессов решений качество без дополнительной настройки низкое: для таких задач авторы рекомендуют подгонку голов на нескольких сотнях примеров. Модель оценивает только переданный набор кандидатов, поэтому вероятности относительны к нему; головы также требуют эмбеддингов последнего токена Qwen3.5-2B в заданном формате. Веса распространяются по лицензии Apache 2.0.

TroyDoesAI/Llama-3.1-13B-Instruct — текстовая диалоговая модель на архитектуре Llama, созданная разработчиком TroyDoesAI с помощью mergekit. В README указан метод объединения passthrough и модель TroyDoesAI/Llama-3.1-8B-Instruct в составе слияния; метаданные каталога классифицируют её как дообучение этой базовой модели. Репозиторий содержит веса в формате safetensors, модель насчитывает 12,7 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста в диалогах и других сценариях, где нужен ответ на текстовый запрос. Карточка не описывает отдельные специализированные области или дополнительные возможности сверх диалоговой генерации. Условия лицензии в предоставленных материалах не указаны.

Llama-SEA-LION-v3-70B-IT-GGUF — это 70-миллиардная мультиязычная decoder-модель для генерации текста, разработанная командой Products Pillar организации AI Singapore при финансировании Singapore NRF. Модель ориентирована на языки Юго-Восточной Азии и создана на основе Llama-SEA-LION-v3-70B-IT; аббревиатура SEA-LION расшифровывается как Southeast Asian Languages In One Network. Модель предназначена для диалоговых и других текстовых задач, включая обработку инструкций и генерацию ответов на английском, китайском, вьетнамском, индонезийском, тайском, филиппинском, тамильском, малайском, кхмерском, лаосском, бирманском, яванском и сунданском языках. Она была дообучена примерно на 12,3 млн англоязычных и 4,5 млн инструкционных пар на языках региона. В данном репозитории представлены веса в формате GGUF с вариантами квантования от Q2_K до Q8_0, а также F16; некоторые варианты разделены на несколько файлов. Контекст модели в README не указан. К сильным сторонам относятся широкий охват языков Юго-Восточной Азии, большой размер и специализация на инструкционном взаимодействии. Модель может галлюцинировать, выдавать нерелевантный или вымышленный контент, а её рассуждения могут быть непоследовательными, поэтому ответы требуют проверки. Выпуск не прошёл дополнительное safety-выравнивание: пользователи и разработчики должны самостоятельно реализовать меры безопасности и при необходимости дообучение. Использование регулируется Llama 3.1 Community License.

MiroThinker-v1.0-30B-GGUF — открытая исследовательская агентная модель, разработанная командой MiroMind AI. Она предназначена для задач глубокого исследования, поиска и анализа информации, многошагового рассуждения и работы с внешними инструментами в сценариях, где требуется длительное взаимодействие с окружением. Модель основана на Qwen3-30B-A3B-Thinking-2507 и распространяется в формате GGUF, подготовленном с использованием llama.cpp. Заявлены контекстное окно 256K токенов, поддержка длинных цепочек рассуждений и до 600 вызовов инструментов на задачу. Указан английский язык. Подход MiroThinker основан на interactive scaling: модель обучалась выполнять более глубокие и частые взаимодействия с инструментами, использовать обратную связь среды и уточнять ход решения. По данным карточки, она показывает сильные результаты в исследовательских бенчмарках, включая HLE-Text, BrowseComp, BrowseComp-ZH и GAIA-Text-103. К сильным сторонам относятся ориентация на агентные и research-сценарии, большой контекст, поддержка длительных многошаговых задач и оптимизация квантования с повышением точности отдельных важных слоёв. Ограничения связаны с необходимостью внешней инфраструктуры и инструментов для полноценной агентной работы, а также с компромиссами GGUF-квантования между размером файла, скоростью и точностью; конкретный уровень квантования в README не указан. Модель распространяется по лицензии MIT.

mjwong выпустил дообученную на наборах XNLI и ANLI модель на базе multilingual-e5-large-instruct для многоязычной классификации без примеров. Она использует архитектуру XLM-RoBERTa с примерно 658,7 млн параметров и доступна в форматах PyTorch и Safetensors. Модель принимает текст и заданные пользователем названия классов, а затем оценивает принадлежность текста к этим классам; её также можно применять для задач определения отношений между посылкой и гипотезой (NLI). Окно контекста составляет 514 токенов. В README приведены результаты оценки на XNLI для 15 языков, а также на MultiNLI и ANLI. Лицензия CC-BY-NC-4.0 ограничивает использование условиями этой лицензии, включая некоммерческий характер. Качество зависит от формулировок текста и меток классов; приведённые результаты относятся к указанным тестовым наборам и не гарантируют качество на других данных.

Moondream Parakeet Ultra — дообученная версия модели Parakeet TDT 0.6B v3 от NVIDIA для автоматического распознавания речи. Она сохраняет исходную архитектуру Parakeet TDT, токенизатор и 0,6 млрд параметров в полной точности и предназначена для транскрибирования речи, в том числе длинных записей, фоновых разговоров и аудио с шумом. Модель поддерживает 25 языков, включая русский, английский и немецкий. Для длинных записей встроенная в веса голова определения речевой активности помогает разбивать аудио на сегменты длительностью до 30 секунд без отдельной VAD-модели. В приведённых тестах Parakeet Ultra показала более низкий WER, чем Parakeet TDT 0.6B v3, а также более высокую скорость в тестах на Photon с GPU NVIDIA; результаты зависят от среды и настроек запуска. Для запуска автор рекомендует Photon. Модель опубликована под лицензией CC-BY-4.0. Она предназначена для распознавания речи и не выполняет перевод или генерацию речи.

Yamatazen/Shisa-v2-Mistral-Nemo-12B-Abliterated — объединённая методом TIES модель на базе shisa-ai/shisa-v2-mistral-nemo-12b с компонентом natong19/Mistral-Nemo-Instruct-2407-abliterated. Это плотная авторегрессионная языковая модель архитектуры MistralForCausalLM с 12,1 млрд параметров и контекстом до 131 072 токенов. Она предназначена для диалогов и генерации текста на английском и японском языках; в метаданных также отмечен интерфейс для вызова инструментов. Модель распространяется в формате Safetensors и рассчитана на использование через Transformers. Ослабленные направления отказа могут означать меньшую склонность к отказам, однако карточка не приводит отдельной оценки безопасности или качества. Лицензия в предоставленных данных не указана.

Spaetzle-v64-7b — объединённая модель генерации текста, созданная cstr с помощью LazyMergekit из flemmingmiguel/NeuDist-Ro-7B, cstr/Spaetzle-v63-7b и ResplendentAI/Flora_DPO_7B. Это плотная причинно-языковая модель архитектуры Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; поддерживает диалоговый режим и предназначена для генерации текста и ответов в чате. В карточке не приведены подробности о языках и сравнительных качествах модели. Модель распространяется по лицензии CC BY-SA 4.0.

ThaiLLM-8B-Instruct — диалоговая языковая модель KBTG-Labs, созданная с помощью mergekit на основе ThaiLLM-8B и Qwen3-8B. Она предназначена для генерации текста и следования инструкциям, с улучшенным пониманием тайского языка по сравнению с Qwen3-8B. Модель поддерживает режимы с рассуждением и без него, а также интерфейс вызова инструментов. Архитектура — плотная Qwen3ForCausalLM с 7,6 млрд параметров; максимальный контекст — 40 960 токенов. README описывает сравнение результатов экзаменационных и финансовых тестов с Qwen3-8B, но отмечает, что результаты могут различаться в зависимости от среды оценки. Модель работает с текстом и рассчитана на тайский и английский языки. Для запуска через Transformers требуется версия 4.51.0 или новее. Лицензия — Apache-2.0.

WiroAI/wiroai-turkish-llm-8b — турецкоязычная модель генерации текста, разработанная WiroAI на основе Meta Llama 3.1 8B Instruct. Это плотный decoder-only трансформер с 7,5 млрд параметров, дообученный методом SFT на более чем 500 тысячах турецких инструкций; для дообучения применялся LoRA, квантизация не использовалась. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Модель предназначена для генерации и редактирования текста, ответов на вопросы, суммаризации, анализа и преобразования контента, особенно с учетом турецкого языка, культуры и локального контекста. Карточка также заявляет поддержку других распространенных языков, но основное внимание уделено турецкому. Модель распространяется по лицензии Apache-2.0. Для важных решений ответы следует проверять; качество зависит от ясности инструкций, а развертывание требует оценки аппаратных ресурсов.

MaziyarPanahi/Experiment28T3q_Experiment26Experiment24 — объединённая модель семейства Mistral для генерации текста. По карточке, она создана слиянием automerger/Experiment28T3q-7B и automerger/Experiment26Experiment24-7B. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста; конкретные языки и специализированные области применения в карточке не описаны. Распространяется в формате safetensors по лицензии Apache-2.0.

Llama-SEA-LION-v3-8B-IT-GGUF — набор файлов модели в формате GGUF для Llama-SEA-LION-v3-8B-IT, разработанной командой Products Pillar организации AI Singapore при финансировании Singapore NRF. Это мультиязычная decoder-модель, дообученная для выполнения инструкций и ориентированная на языки Юго-Восточной Азии. Модель предназначена для генерации текста и сценариев, требующих работы с инструкциями на английском и языках региона. Она обучалась в два этапа примерно на 12,3 млн англоязычных пар «инструкция—ответ» и 4,5 млн пар на языках Юго-Восточной Азии, включая бирманский, китайский, филиппинский, индонезийский, яванский, кхмерский, лаосский, малайский, сунданский, тамильский, тайский и вьетнамский. Размер базовой модели составляет 8 млрд параметров. В репозитории доступны варианты GGUF с различными уровнями квантования — от F16 до Q2_K и Q8_0. Сильная сторона модели — специализация на многоязычных задачах с акцентом на языки Юго-Восточной Азии и наличие вариантов, подходящих для запуска в средах с разными требованиями к памяти. Модель может галлюцинировать, выдавать нерелевантное или вымышленное содержание, а её рассуждения могут быть непоследовательными, поэтому ответы требуют проверки. Модель не прошла выравнивание по безопасности; разработчикам и пользователям рекомендуется самостоятельно применять меры безопасности и дообучение. Распространяется по лицензии Llama 3.1 Community License.

MemAgent ReadTwice Rewrite-1024 Repair SFT — это объединённый чекпойнт Qwen2ForCausalLM класса 7B, обученный командой или автором репозитория Xirui1208 как продолжение SFT-модели ReadTwice Rewrite-1024. Модель предназначена для диалоговой генерации текста и ответов на вопросы по длинным документам с использованием протокола ReadTwice: текст обрабатывается секциями, а компактная память объёмом до 1 024 токенов полностью заменяется по мере чтения. В обучении использованы длинные сценарии исправления и задачи переноса между типами заданий. В README приведены результаты оценивания на контекстах до 448 тыс. токенов в протоколе ReadTwice, а также результаты на наборах LongBench. При этом собственный предел позиций конфигурации составляет 32 768 токенов; для длинных запросов в оценивании применялось масштабирование YaRN. Чекпойнт опубликован в формате safetensors, библиотека — Transformers. Лицензия в предоставленных данных не указана.

OpenASR/moss-transcribe-diarize — модель MOSS-Transcribe-Diarize, разработанная командой OpenMOSS-Team и адаптированная OpenASR для локального запуска. Она объединяет автоматическое распознавание речи и диаризацию говорящих в одном проходе: формирует расшифровку, определяет говорящих и указывает временные интервалы их реплик. Модель предназначена для обработки аудиозаписей встреч, интервью, разговоров и других многоголосых сценариев, где важно понимать, кто и когда говорил. Модель содержит около 0,9 млрд параметров. Её архитектура сочетает аудиоэнкодер масштаба Whisper Medium, адаптер на базе MLP и LayerNorm и декодер масштаба Qwen3-0.6B. Основной фокус — китайский и английский языки; также заявлена поддержка ещё более 15 языков. Контекстное окно в README не указано. Для OpenASR доступны варианты fp16, q8_0 и q4_k в формате .oasr, позволяющие выбирать между качеством, размером и требованиями к памяти. Заявлены показатели 2,52% CER для китайского и 2,23% WER для английского на фиксированных оценочных наборах OpenASR. К сильным сторонам относятся совместная транскрипция и диаризация без отдельного конвейера, локальная работа на CPU и GPU без Python во время инференса и несколько уровней квантования. Ограничения включают отсутствие подробных данных о качестве на других языках и неуказанный контекст; приведённые метрики не следует автоматически распространять на любые аудиозаписи. Распространение выполняется по лицензии Apache-2.0, унаследованной от исходной модели; OpenASR выполняет конвертацию формата, квантование и адаптацию для локального инференса.

SauerkrautLM-Nemo-12b-Instruct — языковая модель VAGO solutions, дообученная на базе mistralai/Mistral-Nemo-Instruct-2407 методом Spectrum Fine-Tuning, затрагивающим 25% слоёв. Это плотная модель семейства Mistral с 12,1 млрд параметров, предназначенная для диалогов и генерации текста. Основной акцент сделан на немецком и английском языках; README также сообщает об улучшениях для других языков, поддерживаемых исходной Nemo. Модель подходит для ответов на вопросы, ведения диалога, написания и преобразования текстов на поддерживаемых языках. В карточке заявлены оценки на AGIEVAL, GPT4ALL, TruthfulQA, OpenLeaderboard 2 и MMLU, но численные результаты не приведены. Метаданные указывают контекстное окно до 1 024 000 токенов и формат safetensors. Лицензия — Apache 2.0. Разработчик предупреждает, что модель может выдавать неподходящий или некорректно отфильтрованный контент; стабильность такого поведения не гарантируется.

Shuttle-2.5-mini — языковая модель компании ShuttleAI Inc., созданная дообучением Mistral-Nemo-Base-2407. Модель построена на плотной архитектуре Mistral с 12,1 млрд параметров по метаданным; в README указано 13 млрд. Она предназначена для сложного диалога, многоязычного общения, рассуждений, ролевых сценариев и агентных задач. Поддерживает чат и использует формат запросов ChatML. Модель доступна в формате Safetensors и распространяется по лицензии Apache 2.0. README указывает контекстное окно базовой модели 128 тысяч токенов, тогда как метаданные каталога приводят 1 024 000 токенов нативного контекста; это расхождение требует проверки перед использованием длинного контекста. Shuttle-2.5-mini обозначена как бета-версия; заявленные многоязычные и агентные возможности описаны без подробных результатов оценки.

Villanova-2B-2603 — мультиязычная инструкционная языковая модель, разработанная Villanova.AI. Она создана дообучением Villanova-2B-Base-2603 на наборе VillanovaAI/villanova-sft-2603 и предназначена для диалога, следования инструкциям, ответов на вопросы и генерации текста на пяти европейских языках. Модель использует плотную decoder-only архитектуру на базе LLaMA с 2,4 млрд параметров и контекстом до 32 768 токенов. Она принимает текст и генерирует текст; заявлена поддержка английского, французского, немецкого, итальянского и испанского языков. В карточке отмечены сбалансированное следование инструкциям на этих языках и оценивание безопасности на пяти языках. Модель распространяется в формате Safetensors и выпущена под лицензией Apache 2.0. Компактный размер делает её пригодной для развёртывания на устройствах с ограниченными ресурсами, однако качество и скорость зависят от оборудования и сценария. Результаты бенчмарков в карточке приведены разработчиком; они не гарантируют качество для конкретной задачи. Возможности модели ограничены текстовым вводом и выводом.

NVIDIA Nemotron 3 Nano Omni — мультимодальная модель семейства Nemotron, разработанная NVIDIA и представленная в репозитории Unsloth как вариант на основе nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16. В карточке указаны архитектура NemotronH_Nano_Omni_Reasoning_V3 и формат safetensors; вариант рассчитан на диалог и интерфейс вызова инструментов. В README также описана поддержка обработки текста, изображений, аудио и видео, включая распознавание речи, OCR и анализ графического интерфейса. Модель предназначена для корпоративных мультимодальных сценариев: ответов на вопросы и суммаризации записей встреч и видео, поиска по медиаматериалам, анализа документов, проверки информации в изображениях и автоматизации работы с GUI. README приводит примеры клиентского сервиса, медиа и развлечений, деловых и научных документов, а также браузерных и почтовых агентов. В метаданных перечислены языки английский, французский, испанский, итальянский, немецкий, японский и китайский; в README указана возможность коммерческого использования. Лицензия в метаданных обозначена как other, поэтому конкретные условия следует сверять с лицензией репозитория.

C4AI Command R 08-2024 — генеративная языковая модель, разработанная Cohere и Cohere For AI. Она предназначена для диалогов, рассуждений, суммаризации, ответов на вопросы и работы с поиском по документам (RAG); также умеет выбирать и вызывать инструменты в диалоговом интерфейсе. Модель использует авторегрессионную архитектуру Transformer с grouped-query attention, дообучена с учителем и на предпочтениях пользователей. В README указан размер 35 млрд параметров, а в метаданных — 32,3 млрд; длина контекста составляет 128K токенов. Модель принимает и генерирует только текст. Обучение охватывало 23 языка, оценка проводилась на 10; метаданные перечисляют английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский и арабский. Для вызова инструментов требуется использовать специальный шаблон диалога; отклонение от него может снизить качество. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование, также необходимо соблюдать политику допустимого использования C4AI.

Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

Gemma 3 27B IT — мультимодальная instruction-tuned модель семейства Gemma, разработанная Google DeepMind на основе технологий, использованных при создании Gemini. Данная версия основана на google/gemma-3-27b-it и представлена в формате GGUF, предназначенном для локального запуска совместимыми инструментами. Модель принимает текст и изображения и генерирует текст. Она предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации и анализа текста, а также понимания изображений и извлечения визуальной информации. Заявлена поддержка более 140 языков. Для версии 27B предусмотрено контекстное окно до 128K токенов, изображения нормализуются до 896×896 и кодируются в 256 токенов, а максимальный объём генерируемого текста составляет 8192 токена. К сильным сторонам относятся мультимодальность, широкий языковой охват, большое контекстное окно и открытые веса, благодаря чему модель можно разворачивать на собственных устройствах или в облачной инфраструктуре. При этом размер 27B означает повышенные требования к памяти и вычислительным ресурсам по сравнению с меньшими вариантами семейства, а качество ответов может зависеть от языка, задачи, используемого квантования и конкретного программного окружения. Модель распространяется по лицензии Gemma; применяются соответствующие условия использования Google.

AI21 Jamba Mini 1.6 — разработанная AI21 гибридная инструкционная модель семейства Jamba, сочетающая архитектуры State Space Model (Mamba) и Transformer. В модели 12 млрд активных параметров и 52 млрд параметров всего; она принимает текст и предназначена для генерации текста в диалоге, следования инструкциям, вызова функций, структурированного вывода JSON и генерации ответов с опорой на заданные источники. Контекстное окно составляет 256 тыс. токенов. Модель рассчитана на длинные контексты и деловые сценарии; для запуска README рекомендует CUDA и vLLM версии 0.6.5 или выше. Поддерживаются английский, испанский, французский, португальский, итальянский, нидерландский, немецкий, арабский и иврит. Заявленные разработчиком преимущества — скорость инференса и качество обработки длинного контекста. Модель распространяется по Jamba Open Model License, допускающей исследования и коммерческое использование на её условиях.

AI21 Jamba 1.5 Large — большая инструкционная языковая модель компании AI21 с гибридной архитектурой Jamba, объединяющей блоки Transformer и Mamba/SSM. В карточке указаны 94 млрд активных параметров и 398 млрд параметров всего; модель принимает текст и генерирует текст, поддерживает диалоговый режим и контекст до 256 тысяч токенов. Модель предназначена для следования инструкциям и деловых сценариев: генерации ответов на основе документов, работы с длинными материалами, вызова инструментов и выдачи структурированных результатов, включая JSON. Авторы заявляют о высокой скорости вывода и качестве на тестах, однако показатели приведены в карточке разработчика и не гарантируют результат на конкретных данных. Поддерживаются английский, испанский, французский, португальский, итальянский, нидерландский, немецкий, арабский и иврит. Модель доступна по Jamba Open Model License, которая допускает исследовательское и коммерческое использование на её условиях. Для запуска требуются значительные вычислительные ресурсы; README рекомендует CUDA и описывает запуск на узле с восемью GPU по 80 ГБ, а для Transformers — 8-битную квантизацию с оговоркой о блоках Mamba.

ERNIE-4.5-300B-A47B-Paddle — текстовая языковая модель семейства ERNIE 4.5, разработанная Baidu и распространяемая с весами для PaddlePaddle. Это модель типа Mixture of Experts: всего 300 млрд параметров, из которых для каждого токена активируется около 47 млрд; архитектура включает 54 слоя и 64 текстовых эксперта, из которых активируются 8. Модель предназначена для диалогов, понимания текста и генерации ответов; контекстное окно составляет 131 072 токена. В карточке также описаны мультимодальное обучение ERNIE 4.5 и визуальные варианты семейства, однако данный чекпойнт обозначен как текстовая модель. Для запуска и дообучения предусмотрены инструменты PaddlePaddle и ERNIEKit. Модель распространяется по лицензии Apache-2.0.

GPT-4 — крупная мультимодальная языковая модель OpenAI. В карточке она описана как флагманская модель, способная решать сложные задачи с большей точностью, чем предыдущие модели, благодаря широким общим знаниям и развитым способностям к рассуждению. Модель предназначена для генерации текста и решения разнообразных сложных задач. Карточка указывает на мультимодальность, но не уточняет поддерживаемые типы входных и выходных данных, языки, размер модели или длину контекста. Сведения о лицензии также отсутствуют.

Mistral-Small-3.1-24B-Instruct-2503-MAX-NEO-Imatrix-GGUF — это GGUF-квантизированная версия инструкционной модели Mistral-Small-3.1-24B-Instruct-2503, разработанной Mistral AI. Сборку подготовил David_AU, применив собственный набор данных Neo Imatrix и конфигурацию «MAXED» с тензорами embedding и output в формате BF16 для повышения качества при увеличении размера файлов. Модель предназначена для генерации текста, выполнения инструкций, творческого письма, рассуждений и других универсальных текстовых сценариев. Она поддерживает контекст до 128 тысяч токенов и работает с текстом без компонентов компьютерного зрения. В README заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Neo Imatrix и «MAXED»-квантизация направлены на улучшение следования инструкциям, качества вывода и связности идей. Для общего использования рекомендуются варианты Q5, Q6 и Q8, а для творческих задач — IQ3, IQ4XS, IQ4NL и Q4. Очень низкие варианты IQ1S характеризуются автором как неприемлемые по качеству, тогда как IQ2 и выше считаются пригодными с оговорками. К ограничениям относятся зависимость результата от выбранного кванта и отсутствие поддержки изображений. Модель распространяется по лицензии Apache-2.0.

mlx-community/Llama-3.3-70B-Instruct-8bit — 8-битная версия инструкционно настроенной большой языковой модели Llama 3.3 70B, разработанной Meta и адаптированной сообществом mlx-community для экосистемы MLX. Модель предназначена для генерации и понимания текста, диалоговых сценариев, ответов на вопросы, суммаризации, обработки инструкций и других задач, выполняемых языковыми моделями. По названию модели можно заключить, что она использует 8-битное представление весов, однако точные сведения о формате квантования и требованиях к оборудованию в README не указаны. В заявленных языках присутствуют английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий. Модель является текстовой; сведения о поддержке изображений или других модальностей отсутствуют. Размер базовой модели составляет 70 миллиардов параметров, но длина контекста и другие архитектурные характеристики в предоставленных данных не указаны. Большой размер и инструкционная настройка предполагают высокое качество в сложных языковых и диалоговых задачах, тогда как 8-битное представление может снизить требования к памяти по сравнению с полноразмерными весами. Ограничения включают возможные ошибки и непредсказуемость генерируемых ответов, а также отсутствие подтверждённых в README характеристик производительности. Модель распространяется по Llama 3.3 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama» и сохранение установленного уведомления об авторских правах. Также требуется соблюдать применимое законодательство и Acceptable Use Policy; для продуктов и сервисов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено получение отдельной лицензии от Meta.

trohrbaugh/LFM2-24B-A2B-heretic-ara — модифицированная версия LiquidAI/LFM2-24B-A2B, созданная методом abliteration: в README указано изменение слоёв 17–39 и сравнение с исходной моделью. Это гибридная MoE-модель для генерации текста и диалогов; в карточке указано 3,4 млрд параметров, а исходная модель описана как модель с 24 млрд параметров и примерно 2,3 млрд активных параметров на токен. Контекст модели составляет 128 000 токенов. Модель предназначена для многоязычного чата, вызова инструментов, ответов на вопросы и суммаризации документов, в том числе в локальных RAG-системах и приватных сценариях развёртывания. README сообщает, что в тесте на 100 запросах эта версия отказала в 0 случаях против 96 у исходной модели. Поддерживаемые языки — английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский. Разработчики исходной модели не рекомендуют её для программирования. Лицензия указана как other; конкретные условия следует сверять с карточкой репозитория.

Aya 23 35B — мультиязычная instruction-tuned языковая модель, разработанная Cohere For AI. Представлена в формате GGUF для локального запуска, а квантование выполнено bartowski на основе llama.cpp. Модель предназначена для генерации текста, диалогов, рассуждений и решения широкого спектра общих задач, особенно в мультиязычных сценариях. Модель имеет размер 35B параметров и поддерживает арабский, китайский, чешский, нидерландский, английский, французский, немецкий, греческий, иврит, хинди, индонезийский, итальянский, японский, корейский, персидский, польский, португальский, румынский, русский, испанский, турецкий, украинский и вьетнамский языки. Указанные данные не содержат информации о размере контекстного окна, конкретной архитектуре базовой модели или доступных модальностях, поэтому модель следует рассматривать как текстовую. Сильная сторона Aya 23 35B — качество работы с большим числом языков, включая языки, для которых у моделей сопоставимого размера часто меньше обучающих данных. Ограничения включают возможные неточности, вредные или неподходящие ответы, характерные для генеративных моделей, а также требования к вычислительным ресурсам, обусловленные размером 35B параметров; фактические требования зависят от выбранного варианта квантования и среды запуска. Модель распространяется по лицензии CC BY-NC 4.0, допускающей некоммерческое использование при соблюдении условий лицензии.