Объявляется сбор данных для создания большой модели казахского языка — Kaz LLM
Автор материала - Mansur Ismagulov
The Tech AI
Читайте главное за несколько секунд - краткий пересказ от The Tech AI.
АО «Национальные информационные технологии» использует платформу Hugging Face для создания большой модели казахского языка. На базе платформы организован открытый сбор текстовых файлов (форматы txt, .csv, .json) на казахском языке через специальный аккаунт. К участию приглашаются профессиональное IT-сообщество и держатели открытых данных с целью повышения качества обработки текстов и автоматического перевода.
В целях создания и запуска большой модели казахского языка АО «Национальные информационные технологии» приступает к использованию сервиса от лидера в области машинного обучения — Hugging Face. На базе платформы будет организован открытый сбор данных, к которому может присоединиться профессиональное IT-сообщество Казахстана и держатели открытых данных.
Hugging Face — ведущая платформа, предназначенная для обмена исследованиями в области машинного обучения, на базе которой пользователи могут разрабатывать инструменты и создавать ИИ-модели.
Создание современной языковой модели казахского языка — это важный шаг к укреплению цифровой независимости Казахстана и продвижению национальной культуры в глобальном цифровом пространстве. Первым этапом к созданию любой языковой модели считается сбор данных.
В результате общего сбора данных и будет создана высококачественная модель обработки казахского языка. В будущем это поможет не только улучшить автоматический перевод, но и повысить качество и точность обработки текстов на казахском языке в целом.
Представители профессионального IT-сообщества и держатели открытых данных могут присоединиться к сбору. Сбор данных будет осуществляться на специально созданном аккаунте АО «НИТ». Пользователи могут, авторизовавшись на платформе, загружать файлы на аккаунт. Загрузке подлежат текстовые файлы разных стилей и жанров на казахском языке в форматах txt, .csv, .json
The Tech в Telegram Подписывайтесь на The Tech в Telegram
Будьте в курсе всех последних новостей из мира технологий и стартапов.