I.5Создание и редактирование текста

Beetle-FineWeb-100M/camera-ready-ablation-tokenizer-language-specific-vocab-b3-sequential-nld-eng-fineweb-100m — компактная языковая модель для генерации текста, опубликованная на Hugging Face и предназначенная для использования через библиотеку Transformers. По идентификатору модель относится к семейству Beetle-FineWeb-100M, использует вариант pico_decoder и экспериментальную языко- и токенизатор-специфичную конфигурацию; в названии также указана последовательная конфигурация nld-eng и обучающий корпус FineWeb.

chrono-link-bert-americanstories-1850-1890 — дообученная модель BERT для предсказания скрытых токенов в тексте. Она основана на bert-base-cased и предназначена для подстановки пропущенных слов в текстах, в том числе для работы с материалами, связанными с American Stories 1850–1890; сведения о датасете и специализации в карточке не раскрыты. Модель содержит 135,5 млн параметров, использует архитектуру BertForMaskedLM и обрабатывает последовательности длиной до 512 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. В README приведено значение loss 3,5010 на наборе оценки, но подробности оценки и обучающих данных отсутствуют.

Customer-Support-Clown-Extended — объединённая модель генерации текста семейства Mistral, опубликованная arcee-ai. Она создана с помощью mergekit методом SLERP на основе arcee-ai/Clown-DPO-Extended и модели mistralai/Mistral-7B-v0.1+predibase/customer_support; в конфигурации указана точность bfloat16. Модель предназначена для генерации ответов в сценариях клиентской поддержки и диалогового общения с клиентами. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий использует формат safetensors. Доступна по лицензии Apache-2.0. Карточка не приводит сведений о поддерживаемых естественных языках или ограничениях качества.

DarkForest-20B-v3.0 — языковая модель семейства LLaMA, собранная автором TeeZee как пятиэтапное слияние нескольких моделей. В README среди использованных моделей перечислены athirdpath/Orca-2-13b-Alpaca-Uncensored, KoboldAI/LLaMA2-13B-Erebus-v3, BigMaid-20B-v2.0, athirdpath/Harmonia-20B и athirdpath/Iambe-RP-v3-20b; указано также, что jebcarter_psyonic-cetacean-20B был исключён. Слияния выполнялись в float32, где применимо использовался метод breadcrumbs_ties. Модель предназначена прежде всего для ролевых диалогов и создания историй по карточкам персонажей и профилям пользователей. По заявлению автора, она хорошо следует инструкциям, отслеживает нескольких персонажей в сцене и переключается между безопасным и откровенным содержанием. Модель содержит 19,8 млрд параметров, использует архитектуру LlamaForCausalLM и имеет контекст 4096 токенов; в репозитории указаны веса safetensors. Модель рассчитана на взрослую аудиторию и может генерировать NSFW-содержание, а также затрагивать темы ПТСР, психических трудностей и сложных отношений. Автор предупреждает, что качество повествования не следует считать литературным уровнем. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в материалах репозитория.

Delirium v1 — модель генерации текста, разработанная sam-paech на базе разговорной Gemma 2 9B. Она дообучена методом SIMPO на экспериментальном наборе текстов Gutenberg и парах AntiSlop; карточка также описывает датасет как включающий подборку Gutenberg 3. Модель рассчитана на творческое письмо и диалог, особенно на создание выразительных персонажей, неожиданных метафор и необычных оборотов речи. Она использует шаблон инструкций Gemma, поддерживает контекст до 8192 токенов и распространяется в формате safetensors; в README также упомянуты GGUF-версии. Модель намеренно выдаёт мрачную, гротескную и резкую прозу, поэтому может подойти для хоррора, нуара и экспериментальной художественной литературы, а также для внесения выразительных фрагментов в объединённые модели. Автор отмечает повторение отдельных понятий и фраз и слабую способность писать романтические или жизнерадостные сцены. Лицензия — Gemma; перед использованием следует учитывать её условия.

Emhotob-25M-English-MSA-v1 — компактная модель генерации текста на архитектуре Llama, разработанная oddadmix и дообученная от oddadmix/Emhotob-25M для двустороннего перевода между английским и современным литературным арабским (MSA, الفصحى). Модель содержит 25,3 млн параметров, принимает текст в формате ChatML и использует системную инструкцию для выбора направления перевода. Контекст — до 2048 токенов. Модель предназначена для перевода коротких и распространённых фраз в обоих направлениях. В оценке на 3000 отложенных парах с жадным декодированием показала sacreBLEU 40,65 для перевода с английского на MSA и 44,70 для перевода с MSA на английский. По README, на длинных или редких входах возможны отклонения от смысла, повторы и ошибки; грамматический род определяется по контексту. Распространяется по лицензии Apache-2.0.

ESPRIT-Derja-Qwen3-8B-v2 — диалоговая языковая модель, разработанная отделом искусственного интеллекта ESPRIT School of Engineering в Тунисе. Это дообученная с помощью LoRA модель Qwen/Qwen3-8B с 7,6 млрд параметров, предназначенная для понимания инструкций и общения на тунисском диалекте арабского языка (Derja). Она принимает и генерирует текст как арабским письмом, так и в латинской транслитерации Arabizi; поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель подходит для разговорных приложений, которым нужны ответы на тунисском диалекте: повседневного общения, обсуждения местной культуры, кухни, технологий, спорта и идиом. Она обучена на 7 013 примерах инструкций, включая синтетические пары ответов на арабском и Arabizi и вручную написанные диалоги. Распространяется по лицензии Apache-2.0. Модель лучше подходит для естественного диалога на Derja, чем для ответов, требующих высокой фактической точности. Она может смешивать тунисскую речь с другими магрибскими диалектами и иногда придумывать слова; обучающий набор сравнительно невелик.

Falcon-E-3B-Base-prequantized — предварительно квантизированный базовый чекпойнт семейства Falcon-E, представленный как зеркало ветки prequantized. README не называет разработчика этой копии; в карточке указан идентификатор tiiuae. Это причинная декодерная трансформерная модель с архитектурой LlamaForCausalLM, примерно 3 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и дообучения: README рекомендует использовать предварительно квантизированный чекпойнт для fine-tuning с пакетом onebitllms. Для версии Falcon-E-3B-Base указана разрядность 1,58 бита и объём памяти около 999 МБ в приведённом внутреннем сравнении; конкретные требования к памяти и производительность зависят от реализации и оборудования. Основной указанный язык — английский. Это базовая, а не инструкционная версия, поэтому её не следует считать готовым чат-ассистентом без дополнительной настройки. Указана лицензия Falcon-LLM License. README приводит внутренние результаты сравнительных тестов, но не даёт подробностей об их протоколе. Модель имеет ограничения базовых генеративных языковых моделей: возможны фактические ошибки и нежелательные продолжения текста; результаты оценки не гарантируют качество в конкретном применении.

Fett-uccine-7B — разговорная языковая модель от Epiculous на архитектуре Mistral, созданная дообучением на диалоговых данных LimaRP, наборах theory of mind и Gnosis. Веса 8-битного LoRA-адаптера объединены с Mistral Instruct; модель рассчитана на общение в формате ChatML Instruct. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации диалоговых ответов и ролевых бесед. Репозиторий распространяется по лицензии AGPL-3.0.

Gemmasutra 9B v1 — языковая модель для генерации текста и ролевых диалогов, представленная командой BeaverAI. Это объединённая модель на архитектуре Gemma 2 с 9 млрд параметров; она поддерживает чат и рассчитана на контекст до 8192 токенов. Автор отмечает гибкость в ролевой игре, творческие и длинные ответы, а также поддержку описаний действий и сцен с помощью звёздочек. Модель предназначена прежде всего для ролевых сценариев и творческого общения. В README указано, что у неё есть определённая степень цензуры; отказы могут использоваться в ролевой игре, например для передачи избегания или неприятия. Модель выпущена в формате safetensors и использует библиотеку Transformers. Условия лицензии в предоставленных данных не приведены.

Glistening-Gem-31B-v2.0 — мультимодальная разговорная модель с архитектурой Gemma 4 Dense и 31 млрд параметров, созданная sophosympatheia слиянием четырёх моделей методом DELLA. Она предназначена для творческого письма и диалогов, включая ролевые сценарии; поддерживает ввод изображений и текста. В карточке также отмечено улучшение творческих возможностей и стабильности относительно версии v1.0. Модель доступна в формате Safetensors и распространяется по лицензии Apache 2.0. У версии есть серьёзная проблема с весами lm_head: при использовании исходных весов Transformers и при повторной квантизации модель часто выдаёт несвязный текст. Некоторые GGUF-квантизации, созданные до исправления ошибки конвертации, используют матрицу эмбеддингов как выходной слой и, по сообщению автора, не затронуты проблемой. Автор считает v2.0 неудачным экспериментом и рекомендует вместо него sophosympatheia/Glistening-Gem-31B-v2.1.

GoGPT-3B-BLOOM — китайскоязычная модель генерации текста, разработанная на основе BLOOM и дообученная на разнообразных китайских инструкционных данных. Репозиторий содержит вариант примерно на 3 млрд параметров; метаданные указывают 3,8 млрд параметров и архитектуру BLOOM с причинной языковой моделью. Модель рассчитана на выполнение инструкций и генерацию ответов на китайском языке, включая задачи по школьной математике. В карточке отмечены отбор качественных китайских данных и небольшая дополнительная польза от второго и третьего раундов обучения. Указаны планы по RLHF и добавлению параллельного китайско-английского корпуса, что характеризует представленную версию как раннюю. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

GPT-Neo 1.3B-Adventure — англоязычная авторегрессионная модель генерации текста, созданная KoboldAI дообучением GPT-Neo 1.3B от EleutherAI. Она предназначена для продолжения текстовых подсказок и создания интерактивных приключений в жанре «выбери своё приключение» (CYOA); для генерации можно использовать библиотеку Transformers. Модель содержит 1,5 млрд параметров, построена на архитектуре GPT-Neo и принимает текст, предсказывая следующий текстовый фрагмент. Контекстное окно — 2048 токенов. Для дообучения использована копия набора данных cys от VE, ориентированного на CYOA. Модель распространяется по лицензии MIT. Как и другие авторегрессионные языковые модели, она может выдавать непредсказуемые или оскорбительные ответы; для публичного использования рекомендуется проверять и фильтровать результаты.

Hirashiba-MT-zh-vi — компактная модель машинного перевода на архитектуре MarianMT, представленная пользователем chi-vi. По метаданным, она содержит 11,6 млн параметров и предназначена для перевода с китайского языка на вьетнамский. Модель доступна в формате safetensors для библиотеки Transformers; максимальная длина контекста составляет 512 токенов. README не раскрывает дополнительных сценариев применения, а его описание про «контроль доступа и пополнение воды» не согласуется с задачей перевода в метаданных. Модель распространяется по лицензии GPL-3.0.

Модель thatsnovaa/ielts-writing-examiner-qwen-merged — дообученная версия Qwen2.5-3B-Instruct, предназначенная для генерации текста в чате. Название указывает на сценарий проверки письменных ответов IELTS, однако карточка не описывает конкретные критерии оценивания или формат обратной связи. Модель построена на плотной архитектуре Qwen2 с 3,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. В карточке указан английский язык. Модель обучена с использованием Unsloth и библиотеки TRL; файлы представлены в формате safetensors. Лицензия — Apache-2.0.

indo-t5-base-v2 — модель LazarusNLP, дообученная на базе google/mt5-base на наборе lazarus-project/alkitab-sabda-mt. Это генеративная модель архитектуры mT5 с примерно 291,2 млн параметров, предназначенная для преобразования текста в текст. В репозитории доступны веса PyTorch и safetensors. Модель обучалась на данных alkitab-sabda-mt и оценивалась по потере и метрике BLEU; результаты на оценочной выборке составили 1,5099 и 15,1824 соответственно. Название датасета указывает на религиозные тексты, однако README не описывает точные языки и сценарии перевода, поэтому их нельзя установить по имеющимся данным. Модель распространяется по лицензии Apache-2.0.

lyssquant/inkling-UD-Q2_K_XL-layers — экспериментальный пакет GGUF-слоёв модели семейства inkling, подготовленный для распределённого инференса в Mesh LLM из unsloth/inkling-GGUF. Пакет разбивает исходное распределение GGUF на артефакты по слоям, чтобы запускать модель на локальном кластере Mesh LLM и распределять вычисления и память между несколькими машинами. Модель предназначена для локального приватного общения с ассистентом и обслуживания запросов через совместимый с OpenAI API Mesh LLM. Метаданные указывают на поддержку чата и изображений; основная задача модели — image-text-to-text. Вариант пакета — UD-Q2_K_XL; он использует формат GGUF и включает слойные артефакты для распределённого запуска. Пакет экспериментальный: автор предупреждает, что корректность разбиения при исполнении и мультимодальная сертификация ещё не подтверждены. За архитектурой, шаблоном чата, рекомендациями по генерации и условиями лицензии README отсылает к карточке исходной модели, поэтому условия лицензии этого пакета по предоставленным данным определить нельзя.

JustRL-Qwen3-4b-FKLSelective-Top10pct — экспериментальный чекпойнт семейства Qwen3, опубликованный из экспериментов BiDirect-OPD; основная ветка содержит состояние обучения global_step_300, а в отдельных ветках доступны более ранние шаги. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 3,7 млрд параметров. Она предназначена для генерации текста и диалогового взаимодействия, работает с текстом и поддерживает контекст до 40 960 токенов. Чекпойнт относится к серии экспериментальных состояний обучения, поэтому карточка не подтверждает стабильное качество для прикладных сценариев. Репозиторий содержит веса в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.

Модель gateremark Kikuyu TranslateGemma-12B — дообученная разработчиком gateremark версия Google TranslateGemma-12B-it для перевода с английского на кикуйю. Это плотная модель семейства Gemma 3 с 12,4 млрд параметров; при обучении использовался LoRA, а репозиторий содержит веса в формате safetensors. Модель принимает текст и генерирует текстовый перевод. Она предназначена для переводческих инструментов для носителей кикуйю, приложений для изучения языка и проектов по сохранению культурного наследия. Обучение проведено на 30 430 параллельных предложениях английского и кикуйю; в карточке приведены BLEU 19,61 и eval loss 0,578. Модель рассчитана на стандартный кикуйю и общий текст. Перевод обучен только в направлении английский → кикуйю. Модель может хуже справляться со специализированной терминологией и диалектными вариантами; оценка в карточке основана на BLEU, а человеческая проверка ещё ведётся. Лицензия — Apache-2.0.

L3.1-8B-Fabula — дообученная модель BusRune на базе Meta Llama 3.1 8B, предназначенная для ролевых диалогов и ответов на общие вопросы. Она использует архитектуру LlamaForCausalLM с плотной структурой и формат весов Safetensors; размер составляет 7,5 млрд параметров. Для диалога применяется шаблон ChatML. В README указан максимальный размер входа 32 768 токенов, а метаданные модели указывают нативный контекст до 131 072 токенов. Модель ориентирована на генерацию текста в разговорном формате, включая ролевые сценарии и ответы на общие вопросы. Она дообучена на наборах инструкций и ролевых диалогов, связанных с Claude Opus. В карточке заявлен английский язык; лицензия — Llama 3.1.

L3-Blackened-Sunfall-15B — экспериментальное объединение трёх моделей Llama 3, созданное автором карточки с помощью LazyMergekit. Модель предназначена для генерации текста в диалогах и ролевых сценариях, а также для создания историй; автор стремился сочетать более естественную манеру общения Jamet-Blackroot с хаотичностью Sunfall Stheno и смягчить результат добавлением третьей модели. Объём модели составляет 14,5 млрд параметров, контекст — 8192 токена. В репозитории представлены веса Safetensors. Автор сообщает, что модель склонна к многословным и драматичным ответам, а при высокой температуре генерации выше 1,3 может выдавать несвязный текст. Также отмечены ошибки и непоследовательность, поэтому качество ответов требует проверки. В метаданных указана отметка not-for-all-audiences. Сведения о лицензии в предоставленных данных отсутствуют.

ArliAI/Llama-3.1-70B-ArliAI-RPMax-v1.2 — плотная языковая модель на архитектуре Llama 3.1, созданная ArliAI на основе Meta-Llama-3.1-70B-Instruct. Её дообучили на отобранных наборах творческого письма и ролевых диалогов; версия v1.2 получила дополнительную очистку и дедупликацию данных, чтобы повысить разнообразие ответов и снизить повторяемость персонажей и ситуаций. Модель предназначена для ролевых бесед, отыгрыша персонажей и генерации художественного текста в формате диалога. Она принимает текстовые инструкции и сообщения, а на выходе генерирует текст. Размер модели — около 70 млрд параметров; контекст составляет до 128K токенов по README и 131 072 токена в метаданных. Поддерживается шаблон диалога Llama 3 Instruct. Модель ориентирована на творческие и ролевые сценарии, поэтому может быть менее подходящей для обычных вопросов и задач, требующих точности фактов. В карточке не приведены результаты систематических оценок качества. Лицензия — Llama 3.1.

Soliloquy-L3 — разговорная модель семейства Llama 3 от LYNN, размещённая пользователем elyn-dev. Она предназначена для ролевых диалогов с погружением в сцену, выразительным литературным стилем и динамичным развитием взаимодействия. По карточке модель обучена на более чем 250 млн токенов ролевых данных и улучшена в следовании инструкциям; поддерживает контекст до 24 576 токенов и использует архитектуру LlamaForCausalLM с 7,5 млрд параметров. Модель принимает текст и генерирует текст на английском языке; для диалогов указана шаблонная разметка Llama 3 Chat. Карточка описывает её как более сильную в ролевых сценариях по сравнению с некоторыми моделями примерно на 13 млрд параметров, но не приводит методику или результаты оценки. Репозиторий содержит веса Safetensors. Лицензия — CC BY-NC-SA 4.0; отдельно README приводит условия использования Llama 3, включая ограничения на применение и поддержку английского языка.

BAJUKA разработал LLaVA-llama32-3b-Tfull-s42-s2b как текстовую ветвь контролируемого эксперимента по сравнению языкового и визуально-языкового обучения на базе LLaVA-NeXT. Это дообученная плотная модель семейства Llama с архитектурой LlavaLlamaForCausalLM и 3,2 млрд параметров; этап S2b продолжает обучение с чекпойнта S2a на инструктивных данных. В этой ветви использовались те же текстовые примеры и порядок, что и в визуально-языковой ветви, но изображения удалялись, поэтому модель предназначена для генерации текста и диалогов, а не для обработки изображений. Контекст составляет до 131 072 токенов. Модель подходит для экспериментального изучения влияния визуально-языкового обучения и для текстовых инструктивных запросов. В обучающем прогоне завершена одна эпоха; карточка приводит снижение loss с 0,899 до 0,684. Это промежуточный исследовательский артефакт, не отобранный как лучший чекпойнт и не заявленный как настроенный или выровненный по безопасности релиз. Для загрузки требуется реализация LlavaLlamaForCausalLM из репозитория LLaVA-NeXT, которая не входит в Transformers. Применяются лицензия Llama 3.2 и ограничения базовой модели Meta Llama 3.2 3B Instruct.

Это дообученная модель ikedachin на базе llm-jp/llm-jp-4-8b-thinking — плотной авторегрессионной модели семейства Llama с 7,8 млрд параметров. Она предназначена для ответов на вопросы и генерации рассуждений на стандартном японском языке и диалекте Имабари. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. Модель обучена методом supervised fine-tuning с LoRA на наборах вопросов и ответов из Википедии, после чего адаптер объединён с базовой моделью. Репозиторий содержит полные веса Safetensors и токенизатор с изменённым шаблоном чата, который поддерживает отдельные каналы рассуждений и ответов для диалекта Имабари. Для использования не требуется отдельно загружать базовую модель. При высоком уровне усилия рассуждения модель может зацикливаться на вопросах, требующих знаний, и генерировать повторяющийся текст, приводящий к ошибкам ограничения длины. Результаты оценки версии v3 в карточке не приведены. Лицензия репозитория указана как other; базовая модель распространяется по Apache-2.0, а обучающие наборы — по CC BY-SA 4.0, поэтому перед использованием следует проверить условия лицензирования самой модели и данных.

ikedachin разработал эту экспериментальную версию на основе llm-jp/llm-jp-4-8b-thinking — плотной языковой модели семейства Llama с 7,8 млрд параметров. Модель дообучена на вопросах и ответах с рассуждениями на стандартном японском языке и диалекте Имабари; её контекст составляет 65 536 токенов. Репозиторий содержит объединённые веса после дообучения LoRA в формате Safetensors, поэтому базовую модель отдельно загружать не нужно. Модель предназначена для генерации ответов на вопросы и рассуждений на японском языке, в том числе на диалекте Имабари. Шаблон чата добавляет каналы analysis_imabari и final_imabari и настройки выбора канала генерации. Это возможности шаблона данного репозитория, а не стандартные функции семейства LLM-jp-4. Разработчик предупреждает о частом повторяющемся выводе, названном «Doom Loop Phenomenon»; высокий уровень reasoning_effort также может приводить к повторам и ошибкам из-за длины вывода. Лицензия самой модели указана как other; базовая модель распространяется по Apache-2.0, а лицензия обучающих наборов — CC BY-SA 4.0.

MemAgent-PTE-Qwen3-30B-A3B — исследовательский чекпойнт MemAgent-PTE, созданный на базе Qwen/Qwen3-30B-A3B и обученный для работы с долговременной памятью в длинном контексте. Это причинная языковая модель с архитектурой Qwen3 MoE; метаданные указывают 2,6 млрд параметров и контекст до 40 960 токенов. Модель предназначена для диалоговой генерации текста с использованием информации, сохраняемой в памяти между этапами взаимодействия. В репозитории находится проверенный экспорт на шаге обучения 110 в формате safetensors и точности float32. Для загрузки в Transformers требуется пользовательский код модели и параметр trust_remote_code=True; при ограниченной видеопамяти можно выбрать меньшую точность. Модель опубликована под лицензией Apache-2.0. Авторы отмечают, что чекпойнт не проходил общую оценку безопасности и рекомендуют проверять его на целевых задачах перед применением. Это исследовательская версия, поэтому её качество и поведение в прикладных сценариях следует валидировать отдельно.

Metharme 1.3B — языковая модель, разработанная PygmalionAI и дообученная на базе EleutherAI Pythia 1.4B Deduped. Это плотная авторегрессионная модель GPT-NeoX с примерно 1,7 млрд параметров, предназначенная для генерации текста по инструкциям. Она ориентирована на художественное письмо, ролевые сценарии и диалог; обучение с учителем сочетало обычные инструкции с ролевыми диалогами и художественными историями. Для разметки диалога используются специальные токены ролей, а контекст модели составляет 2048 токенов. Модель рассчитана прежде всего на развлекательное создание вымышленных текстов и разговорных сценариев. Она работает с текстом и поддерживает английский язык. По сравнению с более крупными версиями семейства связность ответов может быть ниже; модель может выдавать фактически неверные или вводящие в заблуждение сведения. Её не дообучали для безопасных и безвредных ответов, поэтому возможны грубые, непристойные или оскорбительные формулировки. Лицензия — Apache-2.0.

Netrve разработал Miqu-PlayMaid-2x70B-v0.1 как экспериментальную разговорную языковую модель для ролевых диалогов и творческого письма. Это MoE-модель семейства Mixtral на 68,7 млрд параметров, объединяющая Miqu PlayMaid 70B и Miqu 70B DPO; в основе Miqu PlayMaid 70B лежит дообучение MiquMaid v2 70B DPO авторами Undi95 и IkariDev. Модель принимает текст и генерирует текст на английском языке, используя формат запросов Alpaca. Автор дообучил модель на последовательностях длиной 16 384 токена из-за ограничений памяти. Метаданные указывают контекст до 32 764 токенов, но README гарантирует работу только до 16 384; более длинный контекст может работать, но не гарантируется. Для файлов BF16 автор не обещает работу за пределами указанного гарантированного контекста. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

MobileLLM-125M — авторегрессионная языковая модель Meta, представленная в работе «MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases» на ICML 2024. Она предназначена для генерации текста и запуска на устройствах с ограниченными ресурсами. В этой версии 124,6 млн параметров, архитектура на основе Transformer с 30 слоями, SwiGLU, группированным вниманием к запросам и общими эмбеддингами; модель принимает и выдаёт текст, размер контекста — 2048 токенов. Модель обучена на общедоступных онлайн-данных и оценивалась, в частности, на задачах рассуждения о здравом смысле с нулевым числом примеров. Её можно использовать для генерации и продолжения текста на устройстве, а также как основу для дальнейшего дообучения или оценки. В README заявлено улучшение точности семейства MobileLLM на таких задачах относительно прежних моделей сопоставимого размера. Карточка не указывает поддерживаемые естественные языки, поэтому модель не следует считать специально ориентированной на русский. Небольшой размер ограничивает её возможности по сравнению с крупными языковыми моделями; контекст ограничен 2048 токенами. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но не коммерческое использование.