Придумали, как неспециалистам легко обучать модели машинного обучения
Решение: система LookHere, которая понимает жесты и положения рук и умеет отличать их и окружение от объекта.
Как работает? Пользователь показывает объект камере так же, как он делал бы для других людей, например в видео по распаковке. Система создаёт модель показываемого объекта, распознавая его и изолируя от других деталей на видео. Для процесса не нужна специальная камера, достаточно использовать камеру смартфона.
Сложность заключалась в том, что стандартного набора жестов не существует. Команда собрала набор данных HuTics из 2040 видеороликов, в которых 170 человек представляют объекты на камеру. Эти видео разметили так, чтобы объекты были зелёными, а руки синими. С помощью этих данных обучили систему LookHere.
И что? С помощью такого метода многие системы машинного обучения станут доступнее для применения простыми людьми.
Кто: исследователи Токийского университета, Япония.
Подкаст записан при поддержке Английского от Яндекс Практикума. Новый курс английского для карьеры в IT здесь: https://clck.ru/sSU97
Подписывайтесь на наши соцсети:
ВКонтакте: vk.com/thecode.media
Яндекс Дзен: https://zen.yandex.ru/code
Телеграм: t.me/thecodemedia
Связаться: welcome@thecode.media
Решение: система LookHere, которая понимает жесты и положения рук и умеет отличать их и окружение от объекта.
Как работает? Пользователь показывает объект камере так же, как он делал бы для других людей, например в видео по распаковке. Система создаёт модель показываемого объекта, распознавая его и изолируя от других деталей на видео. Для процесса не нужна специальная камера, достаточно использовать камеру смартфона.
Сложность заключалась в том, что стандартного набора жестов не существует. Команда собрала набор данных HuTics из 2040 видеороликов, в которых 170 человек представляют объекты на камеру. Эти видео разметили так, чтобы объекты были зелёными, а руки синими. С помощью этих данных обучили систему LookHere.
И что? С помощью такого метода многие системы машинного обучения станут доступнее для применения простыми людьми.
Кто: исследователи Токийского университета, Япония.
Подкаст записан при поддержке Английского от Яндекс Практикума. Новый курс английского для карьеры в IT здесь: https://clck.ru/sSU97
Подписывайтесь на наши соцсети:
ВКонтакте: vk.com/thecode.media
Яндекс Дзен: https://zen.yandex.ru/code
Телеграм: t.me/thecodemedia
Связаться: welcome@thecode.media