Как создать нейросеть, которая распознает снежных барсов и помогает сберечь популяцию

Евгений Хохлунов, руководитель направления экологических проектов Yandex Cloud

Аян Иғали, студент Школы информационных технологий и инженерии КБТУ

О себе

Евгений. У меня математический бэкграунд, я по образованию математик. Математика — царица наук, и я всегда стремился все измерять и отцифровывать. Ранее работал в крупных компаниях, таких как «МегаФон» и Microsoft, а последние семь лет занимаюсь внутренними проектами в «Яндекс». Ранее я управлял разными направлениями, а последние полтора года фокусируюсь на социальных проектах, связанных с наукой, образованием и экологией, чтобы помочь им развиваться.

Аян. Я студент четвертого курса КБТУ. Работаю ML-инженером в банке. У меня уже есть опубликованные статьи, и в ноябре я поеду в Японию. В проекте Yandex Cloud по мониторингу снежных барсов занимаюсь задачами по сегментации и детекции барсов.

Об идее нейросети

Евгений. Началось все с того, что я часто посещал конференции по экологии, где познакомился с учеными, изучающими барсов. Они рассказали о трудоемкости своей работы, и у меня возникло желание помочь автоматизировать процессы для более творческих задач.

Ученые работают в три этапа: исследуют барсов с помощью более 500 фотоловушек в Казахстане. Эти камеры делают фотографии или видео на флешку, а затем команда собирает флешки и анализирует данные. Каждая флешка содержит до 40 000 фотографий, которые исследователи просматривают, выделяя снимки с животными. Основная цель — найти фотографии барсов, которые часто плохо видны. Это большая работа, требующая автоматизации.

Ученые загружают собранные материалы в облако для обучения модели. Нейросеть должна идентифицировать животных с вероятностью 85%. Этот процесс бесконечен: чем больше фотографий ей показывают, тем точнее она распознает.

О присоединение к команде

Аян. Я узнал о проекте от нашего декана в КБТУ, который сообщил о секции по сегментации барсов. Я уже занимался машинным обучением и изучал компьютерное зрение, поэтому проект, реализуемый с «Яндексом» и имеющий социальную значимость для Казахстана, меня заинтересовал.

Наша команда состояла из нескольких человек, у каждого была своя задача. Кто-то работал над теоретическими методами классификации, другие — с предобученными моделями. Моя задача заключалась в сборе данных для обучения модели.

Я использовал предобученные модели, чтобы выделить фотографии с животными. Одной из лучших оказалась модель «Мегадетектор», которая минимизировала влияние фона. После сбора большого количества фотографий с животными появилась необходимость в их классификации.

Мы использовали модели, способные распознавать объекты на изображениях, как ChatGPT. Эти модели могут выполнять множество задач в области компьютерного зрения. Основное время мы потратили на сбор данных.

О трудностях

Аян. Многие задачи в проекте были сложными. Некоторые участники работали над реализацией теоретических методов без практического кода. В машинном обучении много готовых решений, но их правильное применение требует навыков.

Сбор данных — самая сложная часть, включающая очистку и препроцессинг. 98% успеха нейросети зависит от качества данных.

В случае с барсами это актуально, поскольку их мало, и подходящих фотографий и видео еще меньше. Поэтому мы использовали креативные решения, такие как аугментации, чтобы увеличить объем данных.

Результаты проекта

Евгений. В целом, с начала работы над проектом прошло около года. На данный момент модель успешно фильтрует 70-75% ненужных фотографий, на которых нет животных.

Она также распознает несколько десятков видов животных, обитающих в районах с фотоловушками. Более сложная задача — распознавание отдельных барсов по уникальному рисунку их шерсти. Это важно для ученых, чтобы отслеживать их миграцию и ареал обитания.

Мы считаем важным делиться информацией о технологиях, которые студенческие и научные команды могут использовать для продвижения науки в стране. После проекта с барсами к нам поступили предложения сделать аналогичные проекты для рыси, сайгаков, медведей и тюленей.

Кроме этого, мы работаем над проектами, связанными с выбросами вулканического пепла на Камчатке и анализом воды из Байкала. Мы открыты для новых идей и проектов — если вы изучаете что-то интересное, приходите к нам за поддержкой и технологиями.

Как можно присоединиться

Евгений. Заявки по созданию цифровых решений для развития сферы науки и образования можно оставлять здесь.

Не ограничивайтесь только барсами или другими животными. Приходите с любыми идеями и проектами — будь то дипломная работа, стартап или просто задумка. Мы готовы помочь вам найти пути для сотрудничества. У нас есть много специалистов, которые готовы поделиться опытом и создать что-то интересное и полезное для страны.

Аян. Участие в проекте оказалось познавательным. Я узнал много нового о компьютерном зрении, детекции и сегментации. Хотя я обычно занимаюсь текстовыми данными в NLP, работа с изображениями и видео стала интересным вызовом.

Я познакомился с замечательными людьми и научился преобразовывать фотографии и текст в числовые данные. Освоил облачные технологии и оценил доступ к мощным вычислительным ресурсам, что дало возможность экспериментировать и развивать свои навыки.