AI-тренер: кто это такой, что делает

1. Кто такой AI-тренер?
2. История профессии
3. Зачем нужен тренер ИИ
4. Задачи и обязанности AI-тренера
5. Ключевые навыки
6. Профессиональные навыки (hard skills)
7. Личные качества (soft skills)
8. Где могут работать AI-тренеры
9. Сколько зарабатывает тренер нейросетей
10. Перспективы профессии

Кто такой AI-тренер?

AI-тренер — это специалист, который занимается обучением искусственного интеллекта, а точнее — учит его генерировать правдивые и грамотные ответы в соответствии с запросами.

Дело в том, что модели зачастую не могут сразу отличать достоверные источники в интернете от недостоверных, не распознают эмоциональную окраску конкретного текста и его стилистику, не знают о нормах этики или не всегда их соблюдают. В связи с этим они могут генерировать ответы, содержащие информацию, не соответствующую действительности, или даже опасную для пользователей. Также ответы не до конца обученной нейросети могут ранить чьи-то чувства, быть оскорбительными или попросту нелогичными.

Главная задача AI-тренера — научить модель искусственного интеллекта понимать, какие источники являются достаточно достоверными для формирования ответов, а какие нет; соблюдать этические нормы, не «придумывать» собственные факты, формировать правдивые, логичные и безопасные ответы, особенно если запрос касается здоровья, финансовых советов и других деликатных тем. Именно из этой задачи вытекают ключевые навыки таких специалистов.

История профессии

В разговоре об истории специальности надо упомянуть такой метод обучения, как RLHF — reinforcement learning from human feedback, или обучение с подкреплением на основе отзывов людей. Этот метод применяется наравне с другими, и его ключевой особенностью является использование полученной от человека обратной связи для оптимизации работы моделей. Именно применение RLHF делает ответы модели более человечными и повышает точность ее работы.

Итак, метод RLHF применяла компания OpenAI для тренировки одной из своих моделей InstructGPT (была выпущена в январе 2022 года) и именно тогда появилась профессия AI-тренера, так как RLHF как раз подразумевает наличие множества таких специалистов. В дальнейшем этот метод применялся и к обучению последующих моделей, что окончательно утвердило появление новой специальности.

В России такие вакансии впервые появились в конце 2022 года — набор специалистов начал Яндекс, а затем вакансии появились и в других крупных компаниях, например, в Сбере.

Зачем нужен тренер ИИ

Процесс обучения искусственного интеллекта можно разделить на четыре фазы, в двух или трех из которых AI-тренеры принимают непосредственное участие. Рассмотрим все четыре фазы более подробно:

• Pre-training. На этом этапе модель «изучает» огромный массив информации, приобретает общее понимание структуры языка, связей между словами и учится предсказывать последовательности слов в тексте. Этот процесс не требует участия AI-тренера, а его результатом является создание базовой модели.
• Fine-tuning. Здесь модель адаптируется к более специфичным задачам, и к работе подключаются AI-тренеры. На данном этапе они предоставляют модели, можно сказать, образцы запросов пользователей и эталонные ответы на них. Именно в этот момент от специалиста требуются навыки написания логичных, правдивых и структурированных текстов, а ИИ постепенно приобретает навык общения с человеком.
• Создание reward model. На этом этапе ИИ должен научиться оценивать качество ответов. Для этого люди оценивают ответы модели по различным критериям: полнота ответа, безопасность и так далее. В результате модель учится сама выбирать лучший ответ и предоставлять пользователю именно его.
• Reinforcement learning. На этом этапе модель способна генерировать, оценивать и исправлять ответы. Она делает это, пока ее ответы не станут безупречными. Здесь AI-тренеры тоже могут принимать участие, но это происходит не всегда.

Таким образом, специалисты принимают участие на довольно значимых этапах обучения моделей, их труд направлен на обеспечение естественности, логичности, грамотности и других показателей качественных ответов моделей.

Задачи и обязанности AI-тренера

К основным задачам и обязанностям таких специалистов можно отнести:

• Написание эталонных текстов, которые впоследствии будут показаны модели как идеальный вариант ответа на данный запрос.
• Оценка ответов модели от худшего к лучшему по определенным критериям, среди которых может быть соответствие запросу, этичность, безопасность, грамотность и достоверность.
• Проверка ответов: поиск ошибок, неточностей, опасных или оскорбительных фрагментов. Редактирование ответов в соответствии с найденными недочетами.

Также частью работы специалистов является взаимодействие с коллегами и следование указаниям тимлидов/управляющих, которые занимаются постановкой задач, оценкой эффективности специалистов и указывают на недочеты сотрудников.

Ключевые навыки

Для качественного выполнения своих задач AI-тренер должен обладать набором навыков — как профессиональных, так и личных. Рассмотрим обе категории.

Профессиональные навыки — hard skills

Профессиональные навыки — это те знания и умения, без которых работать и развиваться в конкретной области вряд ли получится. К hard skills для данной специальности можно отнести:

• Грамотность и навыки редактирования текстов. Пожалуй, сегодня это самые значимые умения специалистов. Нужно отлично знать правила языка, уметь редактировать тексты так, чтобы они имели корректную структуру и их было легко читать. Также важно уметь понимать контекст и стилистику, объективно оценивать соответствие текста заданным критериям.
• Навыки написания текстов. Нужно также уметь писать тексты с нуля с учетом стилистики и цели его написания. 
• Умение проверять факты. Иногда нейросети могут неправильно интерпретировать данные из источника или даже добавлять «придуманную» ими информацию — этот процесс называется галлюцинированием. Часто такие галлюцинации выглядят достаточно логично и достоверно. Именно поэтому специалист должен внимательно проверять буквально каждое слово и сравнивать его с текстом из источника. В дополнение специалист должен уметь определять, насколько достоверным и авторитетным является источник.
• Плюсом будет базовое/общее понимание технических деталей (принцип работы, архитектура и так далее) работы моделей — это позволит достичь лучших результатов в работе, а также иметь возможность подниматься по карьерной лестнице.

Все эти профессиональные навыки позволят специалисту найти работу и успешно справляться с рабочими обязанностями.

Личные качества — soft skills

Личные качества — это те способности и характеристики человека, без которых он может быть специалистом в конкретной области, но их наличие значительно повысит шансы на трудоустройство и продолжительную работу в компании. К мягким навыкам AI-тренера относятся:

• Внимательность. Как уже было замечено, модели могут галлюцинировать, и иногда, например, сгенерированный текст может казаться вполне достоверным, хотя это не так. В таком случае специалист должен проявить сосредоточенность и внимательность, чтобы проанализировать текст, выявить неточности и ошибки, увидеть нарушения этических норм и норм безопасности.
• Любознательность, умение быстро переключаться между задачами. В будущем планируется разделить специалистов по сферам, например, чтобы историки занимались только историческими текстами, а врачи — только медицинскими. Но сейчас это не так: специалисты должны уметь погружаться и быстро усваивать новую информацию из разных областей.
• Готовность к выполнению рутинной работы. Чаще всего такие специалисты работают в большей степени с информацией и текстами, а в течение рабочего дня выполняют похожие между собой задачи. Для кого-то это идеальный вариант, в то время как другим быстро станет скучно и грустно от отсутствия большого количества коммуникации с другими людьми.
• Способности к командной работе. Специалистам иногда нужно взаимодействовать с членами команды: своими начальниками (тимлидами), аналитиками, разработчиками и так далее.

Все эти качества благоприятно отразятся на профессиональном росте специалиста.

Где могут работать AI-тренеры

В основном такие специалисты требуются в крупные компании, которые занимаются разработкой, развитием собственных моделей и могут позволить выделить рабочие места для AI-тренеров. Это может быть как их основное направление деятельности, так и дополнительное. Иногда специалисты требуются и в компании, которые не развивают собственные нейросети, а адаптируют уже существующие модели для своих целей, но пока что этим занимаются только зарубежные организации.

В России первые подобные вакансии появились у Яндекса, который развивает свой продукт под названием YandexGPT и до сих пор находится в поиске специалистов. Но Яндекс — это не единственная компания, которая набирает AI-тренеров: также можно устроиться в «Сбер», «Т-Банк» и «МТС».

Как правило, работа удаленная с графиком 5/2 (8-ми часовой рабочий день), но некоторые компании позволяют совмещать работу с учебой и указывают в вакансии минимальное количество часов работы в неделю — обычно это 20 часов. Более подробные условия работы и требования в разных организациях могут отличаться, поэтому лучше изучать их в вакансиях конкретной компании.

Сколько зарабатывает тренер нейросетей

Здесь, как и в большинстве других сфер, многое зависит от места работы, профессионализма сотрудника и его работоспособности.

В США минимальная ставка AI-тренеров составляет 13 долларов в час, при этом средняя ставка таких специалистов равна 24–29 долларам в час. Таким образом, в месяц при полной занятости можно получать примерно от 4400 до 5400 долларов. Максимальная ставка составляет около 43 долларов, тогда специалист может получить чуть больше 8000 долларов за месяц, но такие вакансии — это редкость. Руководители подразделений получают от 7000 долларов в месяц.

В России по состоянию на июль 2024 года специалисты могут получать от 40 до 100 тысяч рублей (в среднем от 65 до 80 тысяч) в месяц в зависимости либо от времени работы, либо от количества выполненных задач. Некоторые компании в своих вакансиях не указывают информацию о заработной плате. Но, например, в вакансиях Т-Банка указано, что средний доход при полной занятости составляет 80 тысяч рублей до вычета налогов, а в вакансиях Яндекса — 65 тысяч после вычета налогов. Зарплата руководителей подразделений начинается от 110 тысяч рублей.

Перспективы профессии

Сегодня трудно с уверенностью говорить о грядущих изменениях в профессии, но есть некоторые факты, на которые можно опираться при прогнозировании перспектив.

Во-первых, в ближайшие годы искусственный интеллект, вероятно, продолжит развиваться и применяться во все большем количестве областей деятельности человека. Это означает, что будет появляться больше разнообразных моделей, крупные организации будут адаптировать модели для своих потребностей, а на рынок могут выходить новые компании, которые будут заниматься разработкой собственных продуктов. Следовательно, спрос на AI-тренеров в обозримом будущем должен сохраняться.

Во-вторых, специализация работников со временем будет сужаться — это изменение можно наблюдать уже сейчас: в том числе российские компании набирают в штат специалистов с экспертизой в различных областях (например, финансы и инвестиции) или со знанием иностранных языков. В будущем же таких специализаций станет еще больше, и это позволит повысить эффективность обучения моделей.

В-третьих, для опытных и хорошо проявивших себя специалистов будет открываться больше возможностей для карьерного роста.

Важно помнить о том, что в AI-тренерах работодатели ценят в первую очередь их собственный уровень знаний и навыки. Вероятно, требования к специалистам будут расти, поэтому для поддержания востребованности на рынке труда работникам потребуется постоянно развиваться и углублять свои знания, в том числе в технических деталях работы нейросетей.