Анализ видео в РеалТайме
- Войдите на сайт для отправки комментариев
Чт, 31/05/2018 - 01:35
Планирую создать лютую установку и нужен совет, какой из наборов справится с задачей обработки видео в реал-тайме. Грубо говоря, хочу написать нейронную сеть, которая будет определять объекты, а процессор принимать решения на основе этого. Например:
Машинка увидела красный кубик - должна свалить от него подальше.
Увидела жёлтую пирамиду - подъехала к ней.
Ну это очень упрощённая схема. Ардуино такое может? Если что, я новичок в этой теме, так что попроще, если можно. Заранее спасибо.
Вы арифметику в школе изучали?
Давайте смотреть: пусть наше видео даже не 1920х1080, а лишь 640х480. И пусть всего 30 кадров в секунду. У нас 640*480 = 307200 пикселей. Раз должен различать красное от желтого, значит, три составляющие цвет: = 921600 байт и это все 30 раз в секунду, т.е. = 27648000 байтов в секунду. Тактовая частота типичного кристалла Ардуино 16000000 Гц, значит, за один такт он должен обрабатывать почти два байта. Контроллер 8-разрядный, MMX-команд у него нет. Как Вы думаете, справится?
Печальненько. А есть на рынке какие-то решения помощнее?
Ну, до какой-то степени можно обрабатывать видео на Raspberry Pi. Но хватит ли этого для ИИ - не знаю.
Вы бы для начала на ПК попробовали, глядишь, и нашли бы ответы на многие вопросы.
Спасибо, попробую.
Можно попробовать слегка упростить задачу. Взять к примеру видео 320х160 точек, цвет ограничить байтом и использовать что-то типа STM32F429 там есть DSP команды. Не ММХ, но все же. А если ограничиться матрицей 16х16 точек, от мышей (пирамидку от кудика отличить можно вполне), то уже и ардуино справится. Только там цвета нет и оптику надо будет наворачивать нехилую. У мыши линза фокусирована строго на 0.4мм к сожалению.. кстати мышиные микрухи какую-то часть обработки умеют и сами делать нехило..
Raspberry Pi хватит, https://medium.com/nanonets/how-to-easily-detect-objects-with-deep-learning-on-raspberrypi-225f29635c74
1 кадр в секунду будет в лучшем случае, в худшем 1 кадр в 10-20, или даже в 30 секунд. Не совсем реалтайм ))
Ардуино такое может?
В кедах можно даже в небо улететь, если ним ещё приделать вертолёт.