«Нейросети не понимали туркменский»: как разработчик из Туркменистана учит AI говорить на родном языке

Бахтияр Мамедов, город — Куала-Лумпур, AI-разработчик TakykAI

Как все началось

Я начал работать с искусственным интеллектом еще в 10 классе — с рекомендательных систем. Это алгоритмы, которые подсказывают пользователю, что ему может понравиться, например, как в YouTube или маркетплейсах.

К выпускному у меня уже была хорошая база знаний и несколько успешных проектов по дообучению больших языковых моделей — то есть по «доучиванию» готовых нейросетей под конкретные задачи. Но подобные заказы стали для меня крайне скучными, и я начал думать, что действительно сильно заинтересует меня на долгий срок. Так я занялся развитием туркменского языка в сфере AI.

В тот момент вообще не существовало нейросетей, которые понимали бы туркменский язык — ни текстовых, ни голосовых, то есть таких, которые могли бы озвучивать текст или распознавать речь. Я начал с самого начала — со сбора данных. Этот проект уже два года меня не отпускает.

Изначально я вкладывал в обучение моделей не только много времени, но и все свободные деньги. Любое обучение нейросети или ее работа требовали аренды недешевых вычислительных мощностей — мощных видеокарт, на которых считаются нейросети. Со временем, когда начал появляться хороший результат, люди стали это замечать и предлагать сотрудничество. Из нескольких предложений я выбрал наиболее привлекательное для будущего проекта.

С привлечением партнеров рост ускорился в разы, удалось собрать команду заинтересованных разработчиков, и наконец мы официально запустились.

Самая большая сложность — данные

Основная сложность была не в создании самого AI, а в сборе данных. Данных было крайне мало, и они были разбросаны по всему интернету. Пришлось писать множество программ для автоматического сбора информации с сайтов и пробовать разные подходы к построению моделей.

Тяжелее всего дались речевые модели. Не было ни бесплатных, ни платных готовых решений, которые могли бы распознавать или воспроизводить туркменскую речь, а частные студии брали большие деньги за запись многочасовых аудиоматериалов.

Через краудсорсинг — когда над задачей понемногу работает много разных людей — удалось обучить модель распознавания речи. Сначала она работала только на разрозненных текстах и аудио и ошибалась в 10% случаев.

С тех пор эту ошибку удалось снизить до 3%. Уже на основе этой модели мы смогли собрать данные и обучить первую модель синтеза речи — которая превращает текст в звучащую речь.

Что удалось создать

На данный момент у нас есть одни из лучших в мире языковых моделей, модель синтеза речи и модель распознавания речи. Это также первый AI-стартап для туркменского языка.

Основная аудитория, на которую я рассчитывал, вопреки всем ожиданиям, — это малый и средний бизнес. Уже потом — пользователи собственного приложения, похожего на ChatGPT.

Первых пользователей мы привлекли через тематические чаты в Telegram и контекстную рекламу.

Как AI изменил работу

Сейчас AI — это основной инструмент в моей разработке. Он ускоряет проверку идей и создание демо-версий до нескольких дней или даже часов. Еще год назад я не мог доверить нейросети всю разработку и писал критически важные модули и все, что касается безопасности, сам. Но за последний год AI развился настолько, что писать лучше него я уже вряд ли смогу.

При этом весь код после AI я все равно проверяю вручную.

Планы

До конца года мы планируем закончить интеграции с бизнес-клиентами B2B, сделать более удобный и быстрый вход для бизнеса, а также добавить платные подписки в приложение.

В дальнейшем я смотрю на рынок Центральной Азии. Сейчас мы только начинаем исследование и оцениваем, насколько разным странам нужен свой национальный AI, размещенный на их собственной территории.

Мысли закрыть проект у меня не возникало никогда. Всегда двигали вперед сама идея и уже достигнутые результаты.