Для кого предназначено данное руководство
Статья раскрывает основы работы больших языковых моделей без глубокого погружения в технические детали и математику. Понятие LLM рассматривается скорее с практической точки зрения, поэтому гайд полезен двум категориям читателей:
- разработчикам, которые только знакомятся с темой AI;
- владельцам ПО, менеджерам, руководителям IT-компаний, которые знают о популярности нейросетевых технологий, хотели бы внедрить их в свой продукт, но пока не понимают все их возможности, риски и ограничения.
Прочитав руководство, вы получите комплексное представление о генеративных AI-технологиях и сможете оценить реальные перспективы использования LLM в своих проектах.
Что такое большая языковая модель (LLM)
Large language model — подвид технологии генеративного AI, создаваемый для работы с текстами.
В основе large language model, как и у других видов AI, заложены механизмы машинного обучения. Нейросетевые языковые модели обучаются в процессе тренировок на больших объемах данных до первого релиза, а также самосовершенствуются после выхода в эксплуатацию при общении с реальными пользователями.
Основные функции LLM — обработка естественного языка и выполнение заданий, связанных с текстовыми данными, например:
- ответы на вопросы;
- генерация текстового контента разного формата;
- переводы;
- анализ и изменение текстовой информации.
Благодаря эффективному распознаванию естественного языка общаться с нейросетевой моделью можно в свободной форме, почти как с человеком. Ответы тоже формулируются на уровне свободной человеческой речи: нейросеть генерирует осмысленные фразы, запоминает диалог, учитывает предпочтения собеседника, делает выводы.
При этом качество ответов зависит от самой модели: продвинутые AI уровня ChatGPT общаются гораздо лучше, чем новые небольшие сервисы. Это обусловлено тремя факторами:
- размерами нейросети;
- объемом тренировочной выборки;
- вычислительными мощностями.
Из этого следует вывод, который важно учитывать владельцам бизнеса, принимающих решение о внедрении языковой модели в свой продукт. Топовые нейросети имеют сотни миллиардов параметров. Чем их больше, тем более сложные логические цепочки способен выстраивать ИИ. Это отражается на качестве обработке и генерации текстовой информации. Чтобы интеллектуальные способности генеративного ИИ росли, нужно обеспечить высокую производительность компьютерной системы, а это, в свою очередь, напрямую связано с бюджетом проекта.
Принцип работы языковых моделей
LLM предсказывает следующее слово или последовательность на основе уже известных предыдущих слов или контекста. В основе работы — трансформерная архитектура (трансформер — это набор нейронных сетей, способных обрабатывать входные данные не последовательно один за другим, а параллельно).
Для представления слов используются многомерные векторы — эмбеддинги (word embedding), которые позволяют не только определять прямое значение слова, но и учитывать взаимосвязи, части речи, различать омонимы, синонимы, другие нюансы. Это помогает языковой модели точнее понимать естественную речь и генерировать логичные, подходящие по контексту ответы.
Трансформерная архитектура позволяет обрабатывать огромные датасеты, например, миллионы веб-страниц из интернета. Благодаря трансформерам можно создавать модели с миллиардами параметров.
Еще одна важная особенность LLM — self-attention (самовнимание, самонаблюдение). Это центральный механизм трансформера. Он позволяет модели фокусироваться на различных частях входных данных при определении смысла всего предложения или абзаца. В результате нейросеть учитывает весь контекст, а не только последние несколько слов.
Посмотрим, как это работает, на примере. Дадим AI-боту GigaChat следующее задание: «В предложении "По реке плывет утка, и она большая" "она" — это река или утка?».
В ответе нейросети можно проследить логику обработки входящих данных и увидеть, что при понимании смысла учитывается сразу несколько факторов: грамматика, семантика, синтаксис и другие закономерности.
После обработки информации в блоке self-attention, векторы поступают на следующий уровень трансформера — многослойный персептрон (multi-layer perceptron, или MLP). Здесь каждому вектору задаются вопросы, чтобы уточнить значение текста и еще глубже проникнуть в смысловое наполнение.
Блоки MLP и self-attention чередуются, и на выходе формируется окончательный вектор. Его можно назвать итогом «обдумывания» нейросетью входных данных, например, запроса пользователя. Далее следует этап предсказания следующего слова, на котором ИИ генерирует подходящий ответ.
Чем отличаются LLM
На основе трансформерного подхода можно создавать нейросети с разными параметрами, архитектурой и функциональностью.
Архитектура модели
Модель Transformer в оригинальном виде основана на работе кодера и декодера. Кодер берет входные данные и кодирует их в вектор фиксированного размера. Декодер декодирует этот вектор в выходную последовательность. Оба компонента совместно обучаются для максимально эффективного распознавания запроса и формирования ответа.
Модели вида GPT (Generative Pretrained Transformer) работают по описанному выше принципу, но архитектура включает только декодер. В первую очередь GPT нацелены на генерацию контента.
Модели BERT (Bidirectional Encoder Representations from Transformers) построены на двунаправленной трансформенной архитектуре. BERT изучает входные данные в двух направлениях для лучшего понимания контекста. Основное предназначение такое же: генерация высококачественных представлений текста, которые можно применять для решения многих задач в области обработки естественного языка.
T5 (Text-to-Text Transfer Transformer) работают с преобразованием текста в другой текст. T5 читают запрос энкодером — преобразователем входных данных в другое представление, а затем генерируют текстовый ответ декодером. Это применимо для восстановления пропущенных фрагментов и выполнения других задач.
Данные
Нейросеть знает только то, что узнала в процессе обучения и самообучения. Поэтому возможности улавливать взаимосвязи и отвечать на вопросы в первую очередь зависят от тренировочных данных.
Важен размер датасета: чем больше информации получает ИИ при обучении, тем эффективнее учится и больше знает. Кроме объема, важно и качество выборки. Данные, на которых обучается AI, должны быть понятными, разнообразными и полезными для сферы, где будет применяться сервис. Модели, обученные на данных из конкретной предметной области, часто работают лучше ИИ широкого профиля, которые знают все, но поверхностно.
Количество параметров
Мощные языковые модели оперируют миллиардами параметров для оценки взаимосвязей и генерации ответа. Например, GPT-3 учитывает 175 млрд параметров, что позволяет понимать даже плохо сформулированные вопросы и выполнять сложные задания.
Цель обучения
В процессе тренировки ИИ анализирует огромные объемы текстовых данных, чтобы выявить закономерности, скрытые связи и «понять», как составляются фразы, распознается смысл вопросов и формируются ответы.
Можно натренировать модель на выполнение конкретных задач: генерировать контент в заданном стиле, давать ответы в определенной области, делать выжимку из объемной информации.
Примеры популярных генеративных языковых моделей
ChatGPT
Чат-бот с искусственным интеллектом от OpenAI. Это мультиязычный сервис, но обучение проводилось на англоязычных материалах, поэтому самое высокое качество распознавания и генерации ChatGPT показывает при общении по-английски.
ChatGPT — один из самых известных в мире мультифункциональных AI-ботов. Модель можно встраивать в программные продукты по API, чтобы интегрировать функциональность в свое ПО. Но из-за территориальных ограничений пользоваться сервисом из России неудобно, особенно в коммерческих целях.
GigaChat
Русскоязычная нейросетевая модель от Сбера. GigaChat поддерживает более 100 языков, но фокусируется преимущественно на английском и русском.
Отличие от зарубежных аналогов в том, что GigaChat лучше понимает русскую речь, так как обучается на данных из русскоязычных источников. Исходный код находится в открытом доступе и может применяться разработчиками в личных и коммерческих целях.
На основе GigaChat создан GigaCode— AI-помощник программиста. GigaCode поддерживает более 35 языков программирования, умеет генерировать подсказки для завершения строк кода, создавать многострочные конструкции функций, циклов, условий и других элементов.
GigaCode ускоряет процесс создания программ и помогает разработчику сосредоточиться на решении творческих задач, делегируя дописывание начатых фрагментов, поиск ошибок, написание комментариев и другую рутину интеллектуальному боту. Использовать инструмент можно на платформе разработки GitVerse. Там же доступен сервис CodeChat, с помощью которого удобно оптимизировать или рефакторить код, генерировать тесты и техническую документацию.
YandexGPT
Генеративная языковая модель от Яндекса, мультифункциональный русскоязычный сервис. Доступен в нескольких версиях для личного и корпоративного использования.
YandexGPT 2 работает на главной странице Яндекса, в Яндекс Браузере и умных устройствах с Алисой. Третье и четвертое поколения обучены для решения более сложных задач бизнеса и доступны в Yandex Cloud в деморежиме и через API.
Как обучаются LLM
Модель тренируют на корпусе текстов, с помощью которого она учится понимать языковые закономерности и составлять релевантные ответы. От разнообразия материала во многом зависит качество генерации будущего сервиса. Поэтому для подготовки к тренировке AI нужно провести следующую работу:
- сбор текстовых данных из разных источников — сайтов, справочников, статей, художественной литературы, публикаций в соцсетях;
- очистка датасета — удаление дубликатов, нерелевантной или некорректной информации, лишних символов;
- подготовка датасета — разделение текстовых массивов на фрагменты-токены размером в слово или его часть;
- разделение данных — одни датасеты предназначены для тренировки, другие для тестирования.
Нейросеть обрабатывает тренировочный датасет и учится предсказывать наиболее вероятные слова и последовательности. При этом внутренние параметры корректируются так, чтобы варианты, выдаваемые ИИ, были максимально приближенными к верным ответам.
Пример тренировки — замена в текстовом фрагменте некоторых слов масками. Нейросеть анализирует окружающий контекст и пытается подобрать скрытые элементы, то есть восстановить исходный фрагмент.
После тренировки нейросеть проверяют на тестовом датасете. Проверка показывает эффективность модели и позволяет настроить параметры для улучшения качества генерации.
Затем LLM можно запускать в эксплуатацию — например, публиковать на сайте или интегрировать в программный продукт. Со временем можно отслеживать качество генерации, корректировать настройки и уточнять знания модели с помощью обновленных данных.
Сценарии использования LLM
Генеративные языковые модели уже стали мощным инструментом в области обработки естественного языка и продолжают развиваться, открывая новые возможности для автоматизации и улучшения взаимодействия с текстовыми данными.
ИИ-помощники
Умение распознавать текстовые команды в свободной формулировке применимо в разных сценариях. На основе языковых моделей работают виртуальные ассистенты разных направлений. Пример — персональные голосовые и онлайн-помощники широкого профиля, доступные в смарт-устройствах или онлайн. Такие программы можно использовать для поиска информации в интернете, выполнения простых заданий, например, вызов такси или управление умным домом, или просто для развлечения.
В профессиональных сферах распространены модели узкой специализации. Например, GigaCode и другие нейросетевые боты для программистов умеют дописывать код, предлагать решения по оптимизации программы, создавать документацию.
Корпоративные виртуальные ассистенты помогают сотрудникам HR-отдела, бухгалтерии, юристам, техническим специалистам в решении профильных задач и быстром поиске информации. Такие AI также полезны для адаптации новичков, обучения, тестирования персонала.
AI-ассистенты используются в медицине для поддержки врачей при принятии решений, помощи в диагностике, подготовке рекомендаций, подборе оптимальных дозировок препаратов и других задач.
Чат-боты
Классический чат-бот без элементов ИИ работает по жесткому алгоритму. Для создания программы нужно:
- продумать возможные запросы пользователей в соответствии с бизнес-моделью;
- прописать реплики бота в сценарии;
- задать действия, которые бот должен совершать при том или ином развитии событий.
Например, если пользователь запрашивает неизвестные данные или задает вопрос, не предусмотренный сценарием, чат-бот переключает диалог на оператора или предлагает выбрать ход беседы из ограниченного числа вариантов.
Такие боты действуют по принципу обычной компьютерной программы. Сферы применения широкие:
- консультирование клиентов интернет-магазина;
- сбор контактных данных посетителей сайта;
- оформление заказа;
- отслеживание статуса доставки по запросу клиента;
- проведение опросов, тестов, игр.
Чтобы сделать бот умнее, можно добавить в него технологию LLM. Тогда программа будет лучше распознавать фразы собеседника, даже если они не заложены в сценарий. AI-бот может вести более полноценный диалог, генерировать более разнообразные и непредсказуемые ответы, определять эмоции и намерения пользователя с помощью анализа его реплик.
Создавая чат-бот на базе языковой модели, не нужно досконально прорабатывать структуру беседы и прогнозировать поведение пользователей на каждом шаге коммуникации. Это делает бот более надежным. Ведь из-за ошибки разработчика в обычном программном боте могут быть ветки, ведущие «в никуда», что приведет к зависанию бота и невозможности продолжения диалога. Вероятность завести нейросеть в тупик или «сломать» ее гораздо ниже, а с топовыми AI практически равна нулю.
Поэтому если продукту нужен по-настоящему продвинутый бот, стоит выбирать LLM-решения. Это сильно расширяет список тем, на которые можно поговорить с ботом, и возможности использования инструмента. Во многих случаях пользователи даже не распознают, что общаются с роботом, — настолько органичные ответы умеют генерировать современные языковые модели.
Если же функциональность бота заранее известна и ограничена, а поддержание долгих бесед с пользователем не входит в бизнес-логику продукта, можно внедрить обычный программный бот.
Обработка текста
Нейросеть может выполнять разные манипуляции с входными данными:
- делать переводы на заданный язык;
- готовить резюме — анализировать текстовый материал, выделять суть и излагать ее в краткой форме;
- предлагать изменения: подбирать синонимы, находить ошибки, делать текст более литературным, менять эмоциональную тональность;
- менять формат, например, перевести материал из формата статьи в FAQ, представить текстовый фрагмент в табличном виде или, наоборот, составить связный рассказ из отдельных тезисов;
- классифицировать — группировать записи с похожим смыслом, искать дубликаты, определять взаимосвязи между документами.
Эти функции полезны редакторам, переводчикам и другим специалистам, которые напрямую работают с текстами, но не только. С помощью LLM можно качественно переводить материалы из зарубежных источников для самообразования в любой области, фильтровать спам, делать выдержки из автоматических расшифровок видео, чтобы быстро понять суть ролика и не тратить время на его просмотр.
Поиск данных
Благодаря навыку глубокого распознавания контекста, языковые модели предлагают более релевантные результаты поиска, чем обычные сервисы на основе поиска по ключевым фразам. Пользователь может не совсем точно или совсем неточно сформулировать поисковой запрос, но LLM с высокой вероятностью поймет, что он ищет. После поиска нейросеть способна составить ответ, оптимально подходящий данному пользователю с учетом контекста и предыдущей истории общения.
Однако LLM сами по себе не умеют искать информацию в базах. Они используют только то, что уже знают. Для реализации функции поиска сервису нужен дополнительный слой — Retriever, который находит релевантные данные в документах, ERP, CRM и других источниках и передает результаты ИИ-модулю.
Поисковые системы с ретриверами и AI называются RAG (Retrieval Augmented Generation). В них ретриверы отвечают за подбор информации, а LLM — за общение с пользователями. В системе может быть несколько ретриверов, если поиск нужно проводить в разных изолированных источниках.
RAG позволяет составлять максимально полные ответы, так как анализирует информацию из нескольких источников, включая контент разного вида: текстовые документы, изображения, видео, табличные данные.
Генерация контента
LLM умеют создавать текстовый контент в разных стилях и форматах. Эта способность находит применение в бизнесе, маркетинге, технических и творческих направлениях.
Вот что можно сгенерировать с помощью нейросетей:
- статьи на любые темы;
- планы выступлений, интервью, программы мероприятий;
- тексты песен;
- образовательные материалы;
- художественный текст — рассказ, стихи, сказку;
- сценарии фильмов, пьес, промороликов;
- слоганы, рекламу;
- скрипты продаж;
- посты для публикации в блогах и соцсетях;
- инструкции по эксплуатации;
- регламенты бизнес-процессов.
Список можно продолжать долго, но важно помнить, что при выполнении любых задач по генерации текстов требуется контроль человека. AI может не соблюсти заданный формат или стиль, напутать с фактами, использовать неподходящие по смыслу формулировки. Особенно остро проблема мониторинга и редактирования сгенерированного контента стоит в областях, где от корректности информации и точности ее подачи могут зависеть финансы, здоровье и благополучие пользователей.
Кроме выполнения прямых задач на создание контента, языковые нейросети можно использовать при составлении заданий для генеративных сервисов других видов. Например, LLM может написать эффективный запрос для нейросети, которая генерирует изображения или видео. Такие запросы называются промптами.
Что такое промпт
Это задание для нейросети, сформулированное в текстовом виде. Промптом могут быть любые входные данные: вопрос, команда, фраза пользователя. На основании промпта ИИ понимает, что от него требуется, и генерирует контент.
Качество генерации зависит от параметров модели — размера, мощности, обучающей выборки. Но, кроме этого, важен сам запрос: чем точнее промпт, тем выше вероятность получить нужный результат.
Самый простой способ коммуникации с языковыми моделями — отправка начала фразы. AI проанализирует входную последовательность и подберет наиболее релевантное продолжение. Ниже пример обработки запроса «GitVerse — это…» сервисом GigaChat.
Параметры LLM
На основании промпта модель может сгенерировать длинный список ответов. Но на выходе выдает только один, наиболее вероятный ответ. При выборе лучшего варианта нейросеть считает вероятности появления разных слов и возвращает ту последовательность, которая соответствует заложенным параметрам.
Основные параметры LLM:
- температура — чем она выше, тем более креативные ответы генерирует нейросеть, то есть выводит токены, которые встречались в тренировочном наборе данных нечасто;
- Top-p — выбор подходящего ответа по установленной сумме вероятностей. Чем ниже Top-p, тем более стандартные варианты генерирует нейросеть;
- Top-k — количество вариантов, среди которых ИИ выбирает окончательный ответ;
- количество токенов — определяет лимиты на длину входящих запросов и сгенерированного контента (например, некоторые сервисы выдают максимум 5 000 символов);
- последовательность остановки — параметр, по которому нейросеть завершает генерацию ответа;
- штраф за повторение — запрет на использование одинаковых токенов и последовательностей в сгенерированном контенте.
Для управления креативностью модели можно менять температуру, Top-p, Top-k и штрафы за повторение. Для улучшения качества генерации нужно наращивать вычислительные мощности и составлять актуальные массивы данных для тренировки AI.
Оценка перспектив использования LLM в своем продукте
Целесообразность внедрения языковой модели в приложение или сервис зависит от бизнес-логики и функциональности продукта. Многие задачи можно решать с помощью стандартных программных методов. Для автоматизации процессов, проверки транзакций, помощи пользователям необязательно использовать ИИ. Например, для приема заказов, обработки онлайн-заявок и консультирования клиентов часто хватает возможностей обычного чат-бота, который действует по заложенному алгоритму.
Нейросети стоит использовать в задачах, требующих креативного подхода и широких возможностей персонализации. Примеры сценариев использования AI в бизнес-продуктах:
- добавление в проект интеллектуального ассистента для помощи в решении заданий пользователя и полноценного общения;
- использование функциональности, связанной с обработкой текстов: генерацией, редактированием, переводом, дополнением;
- добавление игровых механик — AI может развлекать пользователей, способствуя росту вовлеченности, удержания и лояльности;
- умная модерация пользовательского контента — например, анализ отзывов о товарах не только на соответствие правилам публикации, но и на достоверность, информативность, пользу для других покупателей.
Таким образом, при оценке перспектив использования LLM в программном продукте сначала нужно определить, какие функции будет выполнять AI и нельзя ли реализовать эту функциональность стандартными средствами, без нейросетей.
Если принято решение в пользу внедрения ИИ, нужно выбрать между разработкой собственного инструмента и подключением готовой технологии.
Процесс создания LLM включает следующие этапы:
- сбор качественных данных — поиск, отбор, обработку, очистку и подготовку датасета для тренировки модели;
- выбор архитектуры — Transformer, BERT, GPT, T5;
- подготовку вычислительных мощностей, достаточных для тренировки модели;
- обучение AI;
- меры по предотвращению сбоев и масштабированию системы — повышение производительности, оптимизацию нагрузки, ускорение обучения с помощью CUDA, NCCL, PyTorch FSDP, Garbage Collectors и других инструментов.
Если выбор сделан в пользу готового AI-решения, нужно сравнить нейросети, доступные для интеграции. При этом нужно изучить функциональность, простоту внедрения, безопасность использования AI как внешнего модуля в вашей системе.
Риски и ограничения применения ИИ-моделей для бизнеса могут быть следующими:
- лимиты AI-сервисов;
- угрозы безопасности корпоративных и персональных данных;
- проблемы с качеством генерации контента.
Лимиты AI-сервисов — установленные разработчиком ограничения на длину запроса и ответа, необходимость регистрации, особенности интеграции в коммерческие продукты. При выборе зарубежных продуктов нужно учесть возможные проблемы с установкой, оплатой лицензий и доступом для пользователей из РФ. Чтобы снизить риски для бизнеса, стоит рассмотреть отечественные разработки от крупных поставщиков российского ПО.
Угрозы безопасности включают риски утечки данных, сложности настройки при внедрении стороннего компонента в IT-инфраструктуру компании. При выборе зарубежных сервисов нужно учитывать отраслевые стандарты безопасности и возможные запреты на использование иностранного ПО на рабочих местах.
Проблемы с качеством генерации включают неверное распознавание запроса, сложности нейросети с общением на русском языке для зарубежных сервисов, а также AI-галлюцинации, которые могут возникнуть у любой, даже самой «опытной» и хорошо обученной модели. Если модель плохо понимает, о чем ее спрашивают, она будет использовать для ответа шаблоны из тренировочного датасета. Ответ может выглядеть логичным и достоверным, но при этом быть неверным. Поэтому результаты генерации любой нейросети нужно проверять на адекватность, а при использовании LLM в программном продукте постараться снизить риски для бизнеса, связанные с возможными ошибками AI.