IrbisGPT. Как устроена первая нейросеть на казахском языке

Армен Атаян, CEO, основатель Gen2B и сооснователь проекта Irbis.ai, @armenlp

О себе

Я основатель компании Gen2B. Раньше мы с командой занимались веб-разработкой и блокчейном, создавали приложения для маркетмейкеров и платформу для крипто-трейдинга. Также я бизнес-ангел и инвестировал в семь стартапов, из которых осталось пять. Участвовал в IPO и других биржевых активностях. На данный момент я полностью сосредоточен на Gen2B.

О компании Gen2B

Когда вышла GPT-3, я находился в Индонезии и получил доступ к закрытому раннему бета-тесту благодаря тому, что у меня тогда была американская компания. Я экспериментировал с технологией и был в восторге от возможностей. Тогда у меня была небольшая команда разработчиков, и мы решили создать Telegram-бот на основе GPT-3. Мы его сделали, но выпускать не стали, так как это был всего лишь мост к технологии, без значительного вклада в продукт.

Позже мы разработали «швейцарский нож» из нейросетей, объединенный в Telegram-боте. В нем были детские режимы, генерация аватарок через API DALL-E и собственные API. Один из наших сервисов был связан с образовательными симуляциями, когда мы обучали через погружение в ситуацию.

С выходом GPT-4 мы решили изменить направление. Мы заметили, что многие стартапы, инвестировавшие в оболочки вокруг общедоступной технологии, не выжили. Особенно это стало очевидно с появлением чат-ботов на базе GPT, когда многие осознали, что инвестировали в интерфейсы к общей технологии, и пострадали.

С появлением GPT-4 я решил, что нам нужно развиваться в направлении, в котором OpenAI не сможет конкурировать — в закрытом контуре. Мы предположили, что с ростом осознания угроз, связанных с применением языковых моделей в социо хакинге, регуляции будут усиливаться, и решения для закрытых контуров станут востребованными.

С тех пор мы начали разрабатывать ИИ-решения для закрытых контуров бизнеса. Наш продукт Gen2Chat включает речевую аналитику, а также аналитику, связанную с Gen2Call. На данный момент мы завершаем прототипирование и тестирование Gen2Agent — нашего речевого бота для автоматического ответа на звонки, который планируем выпустить в конце августа.

О нейросети Irbis AI

Это забавная история. Помню, как мы с Бахтом Ниязовым и Павлом Коктышевым сидели в MOST Hub и обсуждали необходимость решений в закрытом контуре. Я пропагандировал идею о том, что использование языковых моделей несет серьезные угрозы, и поэтому нужно уходить в закрытый контур. Это небезопасно и может представлять угрозу национальной безопасности.

Кто-то спросил: «Можем ли мы создать свою национальную модель на казахском?» У меня сразу появились идеи и решения, и я ответил: «Да, можем, но нужно время.» Обсудил это с нашим head of AI и он подтвердил, что это возможно, но займет время.

Так началась разработка Irbis GPT. У нас не было ни ресурсов, ни данных, только концепция и непроверенная гипотеза, которая, по нашему мнению, должна была сработать. Гипотеза была основана на нашем опыте создания коммерческих языковых моделей, включая модель для Каспи. Обучить модель совершенно другому языку, особенно казахскому, с ограниченными данными — это был настоящий вызов для нас.

Irbis — это open-source модель, и наш проект не коммерческий. Наша нейросеть имеет 7 миллиардов параметров и обучена распознавать и отвечать на казахском языке с высокой точностью. Мы использовали разные техники для улучшения качества ответов и распознавания языка, что делает модель уникальной и эффективной.

Irbis GPT была создана согласно нашему roadmap. Наша цель — создать модель, которая грамотно понимает грамматику казахского языка и формирует корректные предложения. Это была базовая задача, после чего мы обучали модель различным доменам.

Мы прошли несколько этапов, тестируя модели, такие как Gemi и LAM, а также fine-tune LAM-70. Мы проводили множество итераций и проверяли гипотезы, что позволило выстроить эффективный путь к цели. Наш head of AI, глубоко погружался в процесс, благодаря своему опыту работы с GPT. Забавный факт: он получил доступ к GPT-3 лично от президента OpenAI Грега Брокмана в 2020 году.

Сотрудничали с создателями Chinese Lama и выбрали метод обучения токенайзера и переобучения слоев модели, что применялось не так часто. Мы также получили поддержку от NVIDIA в виде кредитов.

Наша цель была добиться грамматически корректного изъяснения. Мы прошли несколько этапов: обучение новому токенайзеру, fine-tuning и создание instruct-модели. Результаты за короткое время обучения были удовлетворительными.

О применении Irbis GPT 

Область применения Irbis GPT не отличается от других языковых моделей, но она особенно полезна благодаря пониманию казахского языка. Модель также понимает русский и английский, но отвечает грамматически корректно на казахском, что делает ее подходящей для чувствительных секторов и работы без доступа к интернету.

Модель также интересна исследователям. Мы были приятно удивлены, что буквально через несколько недель после релиза наши модели были скачаны более 35 000 раз, включая форкнутые и квантизированные версии. Irbis GPT также используется в образовательных платформах.

Основная функция модели — автоматизация обработки входящей информации. В этом направлении предстоит еще большая работа, особенно по обучению модели работе с контекстом. В следующей более совершенной версии мы будем сосредоточены на улучшении этих возможностей.

Риски в развитии искусственного интеллекта в будущем

Существует опасение, что ИИ может угрожать человечеству, но, на мой взгляд, все зависит от того, в чьих руках окажется этот инструмент и под контролем какой группы лиц он будет находиться. Искусственный интеллект — это инструмент обработки информации, и его эффективность зависит от того, кто и с какой целью его использует.

Если ИИ достигнет уровня суперинтеллекта, он может стать совокупным сознанием, превосходящим индивидуальные умы.

Ключевым фактором будет то, как именно ИИ будет использоваться и какие цели будут у тех, кто его контролирует. ИИ может быть мощным инструментом для улучшения жизни и решения глобальных проблем, но необходимо тщательно управлять его развитием и применением, чтобы минимизировать риски и максимизировать пользу для человечества.

Что касается развития искусственного интеллекта в Центральной Азии и в Казахстане, есть несколько ключевых трендов и вызовов. Одним из глобальных трендов — оптимизация сферы обслуживания контакт-центров. Это тренд, который также наблюдается в Центральной Азии и помогает повысить маржинальность бизнеса.

В будущем я вижу создание полностью автономных агентов, то есть цифровых копий людей, которые будут подключены к контакт-центрам. Эти агенты будут обучены на лучших кейсах из всех звонков и чатов, что позволит им формировать цифровую личность со своим голосом. Это обеспечит высокую эффективность цифрового сотрудника, который будет практически неотличим от настоящего человека.

Мы уже активно работаем в этом направлении и создаем прототипы в нашей лаборатории. В ближайшем будущем можно ожидать, что такие технологии будут развиваться и внедряться, обеспечивая новые возможности для бизнеса и улучшая качество обслуживания.

Планы

Мы планируем развивать Irbis GPT, сосредоточив внимание на улучшении его когнитивных способностей, особенно в работе с контекстом, что важно для автоматизации бизнес-процессов. На данный момент мы формируем roadmap, открыты для сотрудничества и ведем переговоры с крупными мировыми компаниями. Мы также планируем привлечь студентов для участия в проекте и продолжаем проверять гипотезы по архитектуре модели. Наши прогнозы остаются оптимистичными.

Наши решения в Gen2B опережали рынок, и теперь мы видим большой потенциал для наших продуктов как в Казахстане, так и за его пределами. Мы проверили, что многие наши функции не имеют аналогов в мире и планируем провести пресс-конференцию после завершения формирования платформы.

На данный момент мы активно сотрудничаем с несколькими компаниями в Казахстане. Уже более одного года тесно работаем с некоторыми из них, дорабатывая платформу под их конкретные нужды. Наша платформа отличается высоким уровнем кастомизации, и мы уверены, что в будущем наши решения будут иметь значительное глобальное значение.