II.10Разработка и эксплуатация AI/ML-систем

aquaduck/Qwen3.8-Flash-Next-GGUF — это квантизированная версия каузальной языковой модели Qwen3.8-Flash-Next, разработанной командой Qwen и Alibaba Cloud. Репозиторий поддерживается Aquaduck и содержит GGUF-представление UD-Q3_K_XL, а также пакеты слоёв для поэтапной или многонодовой загрузки. Это не дообученная модель и не новый запуск обучения, а упаковка и квантизация исходных весов. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты, в частности llama.cpp, а также staged loading через экосистему Aquaduck Arc. Заявлены мультиязычная поддержка, контекст до 262 144 токенов и около 180 млрд параметров. Архитектура включает 48 слоёв, GQA с 24 Q- и 2 KV-головами и скрытое измерение 2560. К преимуществам относятся большой контекст, мультиязычность, возможность локального запуска в формате GGUF и поддержка поэтапной загрузки для распределённых конфигураций. Ограничения связаны с крупным размером модели и снижением качества по сравнению с более точными версиями из-за квантизации UD-Q3_K_XL. Отдельные shard-файлы не являются полноценной моделью и не предназначены для прямого запуска в стандартном llama.cpp. Лицензия указана как other и наследуется от базовой модели; необходимо соблюдать условия лицензии и рекомендации исходной карточки модели.

Vontra/Qwen3.8-Flash-Next-MLX-oQ3-MTP — это квантованная MLX-версия Qwen3.8-Flash-Next, подготовленная разработчиком Vontra на основе официального BF16-чекпойнта Qwen. Модель предназначена для запуска на Apple Silicon через совместимые среды MLX и oMLX, включая задачи генерации текста и обработки изображений благодаря архитектуре vision-language. Модель использует архитектуру qwen4_exp со sparse mixture-of-experts, Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и n-граммными embeddings. Всего заявлено 125 млрд параметров языковой модели, из которых активно используется около 6 млрд, 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов на токен и один общий эксперт. Контекст составляет 262 144 токена, а upstream-версия допускает расширение до 1 млн токенов. В состав включён native MTP-блок на 4 млрд параметров для speculative decoding. Квантование oQ3 использует 3-битную аффинную основу с размером группы 32 и 746 модулями повышенной точности: части весов представлены в 4-, 5-, 6- и 8-битном формате. Модель занимает около 92,5 ГБ и поставляется в формате MLX safetensors. В тесте на Apple M3 Studio включение native MTP повысило скорость генерации с 26,54 до 29,08 токена в секунду, однако фактическая производительность зависит от длины контекста, версии runtime, памяти и тепловых условий. Для работы требуется runtime с явной поддержкой qwen4_exp и native MTP; неподдерживаемые среды могут не загрузить модель. Модель распространяется по лицензии Qwen Community License 1.0. README не содержит полных сведений о результатах upstream-оценок, безопасности и ограничениях исходной модели; за ними следует обращаться к оригинальной карточке Qwen3.8-Flash-Next.

Qwen3-Swallow-8B-RL-v0.2 — созданная проектом Swallow LLM двуязычная языковая модель на архитектуре Qwen3 с плотной архитектурой и 7,6 млрд параметров. Это версия семейства Qwen3-Swallow, дообученная на основе tokyoTech-llm/Qwen3-Swallow-8B-SFT-v0.2 с обучением с подкреплением по проверяемым вознаграждениям (RLVR). Модель предназначена для диалогов и генерации текста на японском и английском языках, включая перевод между ними, математические и программные задачи, а также рассуждения. Обучение включало данные по математике и коду с цепочками рассуждений и диалоговые данные. Модель поддерживает контекст до 40 960 токенов по метаданным; разработчики рекомендуют ограничивать длину контекста 32 768 токенами или меньше и запускать модель через vLLM для более воспроизводимого поведения. Модель обычно выполняет рассуждения по умолчанию и не поддерживает переключатель режима рассуждений. Разработчики сообщают, что модель не обучалась специально для вызова инструментов, а её применение в этом сценарии требует дополнительной посттренировки. Также отмечено, что модель находится на ранней стадии разработки и не настроена для полного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

Qwopus3.6-35B-A3B-v1-MTP-GGUF — модель Jackrong, основанная на unsloth/Qwen3.6-35B-A3B. Это мультимодальная модель в формате GGUF для генерации текста и обработки связок «изображение—текст», ориентированная на диалоговые сценарии, рассуждения, работу с инструментами и вызов функций. В метаданных указана поддержка английского, китайского, испанского, русского и японского языков. Релиз сохраняет MTP-компоненты исходной архитектуры Qwen3.6. Multi-Token Prediction позволяет одновременно предсказывать несколько последующих токенов и использовать speculative decoding: черновая модель предлагает последовательность токенов, а целевая модель проверяет её параллельно. Это может повысить скорость инференса при совместимости используемого движка с MTP, включая llama.cpp и производные решения. Доступны варианты с разными уровнями квантования — от Q2_K до Q8_0, а также BF16. Для оптимальной производительности требуется соответствующая draft-модель, поддерживающая спекулятивное декодирование; без такой связки преимущество MTP может быть недоступно. Точный размер контекста, подробности архитектуры, результаты оценки качества и ограничения мультимодальных возможностей в README не указаны. Модель распространяется по лицензии Apache 2.0.

QWQ-EVA-Preview-SLERP-32b — языковая модель на 32 млрд параметров, созданная слиянием ParasiticRogue/EVA-Instruct-32B-v2 и Qwen/QwQ-32B-Preview методом SLERP с помощью mergekit. Она предназначена для диалоговой генерации текста; базовые модели также ориентированы на математические рассуждения и программирование, поэтому модель может быть полезна в таких сценариях, однако README не приводит отдельных оценок её возможностей. Модель построена на архитектуре Qwen2ForCausalLM, принимает текст и выдаёт текст, поддерживает контекст до 131072 токенов и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0.

RoguePlanet-DeepSeek-R1-Qwen-32B — объединённая плотная языковая модель на архитектуре Qwen2, созданная автором nitky методом Model Stock с помощью mergekit. В состав вошли модели японского языка, модели для рассуждений, программирования и инструкционного диалога; размер модели — 32 млрд параметров, контекст — 131 072 токена. Модель принимает текст и генерирует текст в формате диалога. Модель предназначена для генерации ответов с длинными рассуждениями, включая задачи на японском языке. В приведённом автором тесте рассуждений она прошла уровни LV1 и LV2, но не прошла LV3; базовая модель cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese не прошла ни один из этих уровней. Для использования рекомендован шаблон {SYSTEM_PROMPT}{USER_MESSAGE}. Модель распространяется по лицензии Apache-2.0. Результаты тестирования ограничены одним набором проверок и указанными параметрами генерации; они не гарантируют качество на других задачах.

SmolLM2-1.7B-Instruct-16k — компактная языковая модель HuggingFaceTB на 1,7 млрд параметров с архитектурой Llama и плотной трансформерной структурой. Это версия SmolLM2-1.7B-Instruct с контекстом до 16 384 токенов, опубликованная в формате safetensors и рассчитанная на работу через Transformers. Модель дообучили на 15 тысячах примеров из подмножеств SmolTalk, LongAlign и SeaLong, увеличив параметр RoPE с 100k до 500k. Модель предназначена для генерации текста и диалогов, следования инструкциям, переписывания и суммаризации текстов, а также вызова функций. Увеличенное окно контекста улучшает результаты на задачах с длинными входами, включая RAG, обучение на контекстных примерах, ранжирование и ответы на длинные вопросы; при этом в README отмечено небольшое снижение качества на коротком контексте. Модель ориентирована прежде всего на английский язык и может работать на устройствах с ограниченными ресурсами благодаря компактному размеру. По оценке авторов, возможны фактические ошибки, непоследовательные рассуждения и смещения из обучающих данных, поэтому важные ответы следует проверять. Лицензия — Apache-2.0.

api19750904/tipo_campanya_ong_v3 — модель Sentence Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости, семантического поиска и кластеризации текстов. Модель работает с текстом и использует контекст длиной до 514 токенов. Модель подходит для поиска текстов по смыслу, группировки похожих предложений и вычисления их семантического сходства. В карточке указано обучение с функцией потерь CosineSimilarityLoss. Доступен формат PyTorch; лицензия в предоставленных данных не указана.

WarpQuant Qwen3.5-4B R16E4 Text — текстовая версия чекпойнта Qwen3.5-4B, опубликованная HarimxChoi. Это плотная авторегрессионная языковая модель с 3,4 млрд параметров для генерации текста и диалога; она принимает текст и выдаёт текст. Контекст модели составляет до 262 144 токенов, в карточке указаны английский и корейский языки. Веса проекций сжаты методом block-GPTQ до INT3 с преобразованием signed Hadamard и восстановлением выбранных столбцов BF16 по Output-Fisher; эмбеддинги токенов используют групповой INT4. Репозиторий хранит значения в формате safetensors, совместимом с BF16. В README приведены результаты для базовой модели и других форматов, но отдельные метрики именно для этой версии не приведены. Модель предназначена для текстовой генерации и диалога, в том числе с длинным контекстом. Это текстовый экспорт: возможности понимания изображений исходной мультимодальной модели сюда не входят. Для запуска README указывает на необходимость актуальной основной ветки Transformers. Лицензия — Apache-2.0.

Yi-34B — большая языковая модель, разработанная 01.AI и обученная с нуля на многоязычном корпусе объёмом 3 трлн токенов. Это базовая, не чатовая версия модели: она предназначена для генерации текста и может использоваться как основа для последующего дообучения и прикладных систем. Модель имеет плотную архитектуру Transformer, совместимую по структуре с Llama, но, согласно карточке, не использует веса Llama и не является её производной. Размер — 33,9 млрд параметров, родная длина контекста — 4096 токенов. Основные языки — китайский и английский; карточка описывает способности к пониманию языка, рассуждениям здравого смысла и чтению с пониманием. Для запуска доступны веса PyTorch и Safetensors. Модель требует значительных вычислительных ресурсов; в README для локального запуска Yi-34B-Chat приводится пример с ускорителем A800 на 80 ГБ. Лицензия — Apache 2.0.

Это 65-миллиардная языковая модель семейства LLaMA, опубликованная ycros. Она получена дообучением модели airoboros-65b-gpt4-1.4.1 с помощью QLoRA и масштабирования RoPE; веса представлены в формате PyTorch fp16. Обучающие данные airoboros-gpt4-1.4.1 синтетически созданы GPT-4. Модель предназначена для генерации ответов в диалогах, следования инструкциям, ответов на вопросы по предоставленному контексту, написания кода и творческих задач. В обучении уделено внимание многоходовым разговорам, ролевым диалогам, загадкам, шуткам и вариантам запросов на код с выводом в формате PLAINFORMAT. README приводит рекомендованный формат диалога и отмечает, что исходная версия ещё не была протестирована. Указанный нативный контекст составляет 2048 токенов. Карточка описывает вариант с RoPE scaling на 8192 токена, однако не приводит подтверждения его проверки. Модель основана на LLaMA-65B; отдельные квантизованные варианты упомянуты в README, но данный репозиторий содержит PyTorch fp16. Условия лицензии в предоставленных данных не указаны.

SrinivasanHF/autotrain-medq — дообученная модель Sentence Transformers на основе sentence-transformers/all-MiniLM-L6-v2. Это плотный BERT-энкодер на 25,9 млн параметров, предназначенный для преобразования предложений в векторы и вычисления семантического сходства. Модель подходит для поиска похожих текстов, сопоставления запросов с документами и кластеризации предложений. Контекст ограничен 512 токенами; используется формат safetensors. Карточка указывает тип задачи Sentence Transformers и приводит значение loss 0,299 на валидации, но не описывает набор данных или методику оценки. Базовая модель ориентирована на английский язык, поэтому применимость к другим языкам не подтверждена. Лицензия в предоставленных данных не указана.

facebook/bart-large — англоязычная модель BART, разработанная командой Facebook и впервые опубликованная вместе с работой о предобучении преобразователей методом восстановления зашумлённого текста. Это архитектура Transformer encoder-decoder: двунаправленный энкодер сочетается с авторегрессионным декодером. Модель содержит 252,8 млн параметров, принимает текст с контекстом до 1024 токенов и доступна в форматах PyTorch, TensorFlow и Flax. BART обучена восстанавливать исходный текст после различных преобразований, поэтому базовую модель можно применять для заполнения пропусков в тексте и извлечения признаков. После дообучения она подходит для генерации текста, в частности суммаризации и перевода, а также для классификации и ответов на вопросы. Карточка рекомендует дообучать модель на размеченных данных для конкретной задачи. Лицензия — Apache 2.0.

Beyonder-4x7B-v3 — разговорная языковая модель mlabonne, созданная как смесь экспертов (MoE) с помощью LazyMergekit. В объединение вошли AlphaMonarch-7B, CodeNinja-1.0-OpenChat-7B, Kunoichi-DPO-v2-7B и NeuralDaredevil-7B; архитектура — MixtralForCausalLM. В метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов, тогда как README рекомендует окно 8 тысяч токенов и шаблон чата Mistral Instruct. Модель предназначена для диалогов общего назначения, ролевого общения, задач с кодом и математикой. По README, при генерации задействуются два эксперта, что позволяет сочетать эти способности. Автор отмечает хорошие результаты на нескольких наборах оценок, но предупреждает, что модель не нацелена на превосходство в традиционных бенчмарках; результаты оценки не гарантируют качество в конкретных приложениях. Модель принимает текст и генерирует текст. Языки отдельно не перечислены. Репозиторий распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

BSC-LT/Checkpoint_2b_instructed_beta — текстовая чат-модель семейства Llama с плотной архитектурой LlamaForCausalLM и 1,7 млрд параметров. Она принимает текст и генерирует текст; карточка модели указывает на версию 2b модели Sxxxxxx, обученную на базовом наборе инструкций, включающем RAG_Multilingual, без последней эпохи обучения. Модель предназначена для диалоговых ответов и выполнения инструкций, в том числе в многоязычных сценариях с поиском по внешним источникам. Контекст составляет 8192 токена. Репозиторий содержит веса в формате safetensors, библиотека — Transformers. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

Это GGUF-квантизированная версия языковой модели cogito-v1-preview-qwen-32B, разработанной deepcogito и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Она может применяться для диалогов, написания и преобразования текста, а также других сценариев текстовой генерации, поддерживаемых базовой моделью. Модель содержит около 32 млрд параметров и доступна в вариантах от BF16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix, что позволяет уменьшить требования к памяти при сохранении высокого качества; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены автором как рекомендуемые, а Q3 предназначены для систем с ограниченным объёмом RAM и дают более низкое качество. В README не указаны поддерживаемые языки, размер контекста, мультимодальные возможности и специализированные ограничения базовой модели. Для работы следует использовать формат prompt с маркерами ролей ChatML. Модель распространяется по лицензии Apache-2.0.

ThanhLe0125/e5-math-ebd — дообученная модель Sentence Transformers на базе intfloat/multilingual-e5-base. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения смысловой близости с помощью косинусного сходства. Архитектура использует XLM-RoBERTa, усреднение токенных представлений и нормализацию; в метаданных указано 305,2 млн параметров и контекст до 514 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации текстов и классификации на основе эмбеддингов. Название репозитория указывает на математическую тематику, но README не уточняет специальную область применения или обучающие данные. Лицензия в предоставленных данных не указана.

aleversn/GCSE-BERT-base — англоязычная модель семейства GCSE на архитектуре BERT, дообученная на базе google-bert/bert-base-uncased для оценки сходства предложений. Она предназначена для сравнения смысловой близости текстов; в карточке приведён результат 81,98 по средней метрике STS. Модель содержит 136,7 млн параметров, принимает текстовые последовательности с контекстом до 512 токенов и распространяется в формате PyTorch. Лицензия — Apache-2.0.

gghfez/gemma-3-4b-novision — текстовая версия Gemma 3 4B IT, созданная автором репозитория на основе google/gemma-3-4b-it. Из модели удалены компоненты обработки изображений, а мультимодальная архитектура преобразована в Gemma3ForCausalLM; сохранена генерация текста. Модель содержит 4 млрд параметров, использует Transformers и распространяется в формате safetensors. Модель предназначена для диалогов и генерации текста по текстовым запросам. Она наследует базовую модель Gemma 3 4B IT, а её контекст составляет до 131 072 токенов. Лицензия — Gemma. Поскольку компоненты зрения удалены, модель не принимает изображения; карточка не приводит отдельных оценок качества или дополнительных ограничений.

OnlyTextLLMs выпустила текстовую производную Gemma 4 E4B Instruct, сохранив текстовую основу и голову языкового моделирования, а также удалив компоненты обработки изображений и аудио и мультимодальные специальные токены. Модель использует архитектуру Gemma4ForCausalLM с плотной структурой, содержит 4,7 млрд параметров по метаданным и рассчитана на контекст до 131 072 токенов. README приводит другую оценку размера — 7,52 млрд параметров, поэтому точный размер по источникам расходится. Модель предназначена для генерации текста и диалоговых сценариев через Transformers. Она наследует базу google/gemma-4-E4B-it; заявлены формат safetensors и лицензия Apache-2.0. README указывает, что модель не дообучали: из базового чекпойнта удалили мультимодальные компоненты, поэтому она работает только с текстом и не принимает изображения или аудио.

German-RAG-NEMO-12B-CPT-HESSIAN-AI — авторегрессионная трансформерная языковая модель команды Avemio AI при поддержке Hessian AI. Это дообученная версия Mistral-Nemo-Base-2407 с 12,1 млрд параметров, предназначенная для задач генерации текста, контекстных ответов на вопросы, структурированного рассуждения и суммаризации. Модель адаптировали для немецкоязычных сценариев, сохранив поддержку английского языка; обучение включало около 507 млн токенов. Модель подходит для ответов по предоставленному контексту, в том числе в системах RAG, а также для обобщения документов и решения задач с несколькими ограничениями. В метаданных заявлено контекстное окно до 1 024 000 токенов. Модель распространяется по лицензии Apache 2.0. Без фильтров безопасности она может генерировать вредный или предвзятый контент, а ответы и фактические утверждения могут быть недостоверными и требуют проверки.

GPT-4 Turbo — мультимодальная модель OpenAI с поддержкой зрения. Она предназначена для диалогов и задач, где нужно анализировать изображения вместе с текстовыми запросами. Для запросов с изображениями поддерживаются JSON mode и вызов функций. В README указано, что обучающие данные охватывают период до декабря 2023 года. Размер модели, длина контекста и условия лицензии в предоставленных материалах не описаны.

Laserxtral — экспериментальная языковая модель семейства Mixtral, созданная Дэвидом, Фернандо и Эриком при поддержке VAGO Solutions. Это смесь экспертов (MoE) на базе mergekit: в README перечислены пять моделей семейства Mistral 7B, включая Dolphin, Marcoro14, CodeNinja, MetaMath-Cybertron и WizardMath. Авторы применили к экспертам метод «lasering» с laserRMT: анализировали отношение сигнал/шум слоёв и вмешивались в наиболее подверженные шуму слои. Модель предназначена для генерации текста, диалогов, рассуждений, математических задач и программирования. В метаданных указаны 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. Авторы заявляют о высокой правдивости и сильных способностях к рассуждению, но отмечают, что продолжают работу над улучшением результата MMLU. Модель опубликована под лицензией CC BY-NC 2.0, которая ограничивает коммерческое использование. Это экспериментальная разработка; качество на конкретных задачах следует оценивать отдельно.

Lazarus-2407-100B — плотная языковая модель TheDrummer на архитектуре Mistral, созданная как обрезанная версия Mistral Large 2407 123B. Веса объединены методом passthrough из диапазонов слоёв исходной модели; репозиторий содержит формат Safetensors. Модель рассчитана на генерацию текста и диалоговое взаимодействие, включая интерфейс вызова инструментов. Размер составляет 100,1 млрд параметров, длина контекста — 131 072 токена. Модель подходит для генерации ответов и ведения диалогов с длинным контекстом. В карточке указана лицензия other, поэтому условия использования следует сверить с лицензией и материалами исходной модели Mistral Large 2407; README не уточняет ограничения применения или качество. Русский язык отдельно не заявлен.

LFM2.5-8B-A1B — мультиязычная гибридная MoE-модель Liquid AI, представленная в репозитории Unsloth. Это дообученный вариант модели LiquidAI/LFM2.5-8B-A1B, настроенный на рассуждения и диалог. Модель принимает текст и генерирует текст; она рассчитана на ассистентов, локальное развёртывание и работу с инструментами. В README указаны 8,3 млрд параметров всего и 1,5 млрд активных, 24 слоя и контекст до 131 072 токенов. Архитектура сочетает LIV-свёрточные слои и GQA. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский, португальский и испанский языки. Метаданные указывают формат safetensors и лицензию other. Модель предназначена для следования инструкциям, структурированного вывода, вызова инструментов и агентных сценариев, в том числе на устройствах с ограниченными ресурсами. В README отмечена ограниченная пригодность для сложного программирования и ответов на вопросы, требующих обширных знаний, без поиска по внешним источникам.

unsloth/Llama-3.2-11B-Vision-Instruct-unsloth-bnb-4bit — это мультимодальная instruction-tuned модель на базе Meta Llama 3.2 11B Vision Instruct, подготовленная Unsloth. Она предназначена для диалоговых сценариев и задач, требующих обработки текста и изображений, включая визуальный анализ, ответы на вопросы по изображениям, суммирование и другие приложения с мультимодальным вводом. Модель рассчитана на использование с библиотекой Transformers и 4-битным квантованием bitsandbytes (BnB). Unsloth применяет динамическое 4-битное квантование, при котором отдельные параметры не квантуются для сохранения качества при близком к обычному BnB 4-bit потреблении видеопамяти. Архитектура основана на оптимизированном авторегрессионном Transformer; для семейства Llama 3.2 указано использование Grouped-Query Attention (GQA). Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Размер модели — 11 млрд параметров; точное максимальное окно контекста в предоставленных данных не указано. К сильным сторонам относятся мультимодальные возможности и сниженные требования к памяти благодаря квантованию, что упрощает локальный запуск и дообучение. Ограничения связаны с возможной потерей качества из-за квантования, зависимостью от совместимого программного и аппаратного окружения, а также тем, что конкретные показатели качества и полный перечень ограничений модели в карточке не приведены. Базовая модель разработана Meta, а данная квантованная версия опубликована Unsloth. Использование регулируется Llama 3.2 Community License и Acceptable Use Policy; перед развертыванием необходимо соблюдать их условия. Модель является статической и обучена на офлайн-данных.

MLX-квантованная версия Llama 3.2 3B Instruct, опубликованная сообществом mlx-community на основе модели Meta. Это языковая модель для генерации текста и выполнения инструкций, подходящая для диалоговых систем, ответов на вопросы, создания и преобразования текста и других задач обработки естественного языка. Модель имеет размер 3 миллиарда параметров и представлена в 8-битном формате, что ориентировано на более эффективный запуск по сравнению с полноразмерной версией. Указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель текстовая; сведения о размере контекста и дополнительных модальностях в README не приведены. К сильным сторонам относятся компактный размер, instruction-tuning и возможность использования в экосистеме MLX. Ограничения включают отсутствие заявленных характеристик контекстного окна и результатов бенчмарков, а также возможные ошибки, неточности и ограничения качества при работе с языками и сценариями вне заявленного набора. Модель распространяется по Llama 3.2 Community License от Meta; при использовании и распространении действуют требования лицензии, включая соблюдение Acceptable Use Policy, указание «Built with Llama» и сохранение уведомления об атрибуции.

Llama-3-Instruct-8B-SPPO-Iter3-GGUF — квантизированная версия инструкционной языковой модели Llama-3-Instruct-8B-SPPO-Iter3, разработанной UCLA-AGI. Квантизацию в формате GGUF выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в диалоговом формате с системными и пользовательскими инструкциями. Модель имеет около 8 миллиардов параметров, поддерживает текстовую модальность и ориентирована на английский язык. В репозитории доступны варианты квантизации от Q8 до Q2, различающиеся размером файла, требованиями к памяти и качеством генерации. Версии Q5–Q8 характеризуются высоким качеством, тогда как варианты Q3 и Q2 экономят память, но заметно уступают по качеству; некоторые варианты с суффиксом L используют F16 для весов эмбеддингов и выходного слоя и обозначены как экспериментальные. Модель подходит для локального запуска и ресурсоограниченных сценариев, где важен баланс между качеством и потреблением памяти. Ограничения включают зависимость результатов от выбранного уровня квантизации, отсутствие заявленной поддержки других модальностей и отсутствие в README сведений о размере контекстного окна и результатах бенчмарков. Для корректного использования следует применять указанный формат промпта Llama 3. Модель распространяется по лицензии Apache-2.0.

Llama-3-Swallow-70B-Instruct-v0.1 — диалоговая языковая модель команды Swallow-LLM из Токийского технологического института и AIST, основанная на Meta Llama 3. Модель прошла дополнительное предобучение с упором на японские данные, а версия Instruct — дообучение с учителем и настройку Chat Vector. Это плотная модель семейства Llama с 69,5 млрд параметров, принимающая и генерирующая текст; окно контекста составляет 8192 токена. Модель предназначена для диалога и выполнения инструкций на японском и английском языках. Среди проверявшихся задач — ответы на вопросы, чтение и понимание текста, суммаризация, перевод между японским и английским, математические рассуждения и генерация кода. В README приведены результаты на японских и английских бенчмарках, включая MT-Bench JA. Разработчики предупреждают, что модель находится на ранней стадии исследований и разработки и не настроена для надёжного следования человеческим намерениям и требованиям безопасности. Метаданные указывают лицензию Llama 3 (llama3); перед использованием следует учитывать её условия.

SuperAGI разработала Mistral-7B-32K-PoSE — плотную авторегрессионную языковую модель семейства Mistral с 7,1 млрд параметров. С помощью техники PoSE контекст модели расширен до 32 768 токенов; README сообщает о высокой эффективности в извлечении информации из длинного контекста и лишь небольшом снижении результатов на стандартных тестах. Модель предназначена для генерации текста и работы с длинными текстовыми запросами, в частности для поиска конкретных сведений в больших фрагментах текста. Она доступна в формате safetensors и распространяется по лицензии Apache-2.0. В README приведён пример загрузки через Transformers. У модели нет механизмов модерации и защитных ограничений; разработчики предупреждают о рисках токсичности, социальных предубеждений и ограничений по языкам и не рекомендуют её для использования в production без дополнительных мер безопасности.