Repka Pi и Open CV. Часть 1

Доброго времени суток. Настало время провести тесты Repka Pi версии 1.5 для использования с популярный библиотекой компьютерного зрения Open CV. Тесты мы будем проводить с обычной USB камерой, которую можно приобрести в любом компьютерном магазине. При необходимости использования в динамичных режимах, вы всегда можете подключить любую другую камеру с global shutter сенсором.

Для тестов мы установим на Repka Pi прошивку используя рекомендуемый Flash накопитель SanDisk Ultra на 64 гб. Прошиваем согласно инструкции с официального сайта. Подробно процесс прошивки описывать не буду. Весь процесс прошивки займет не более 30 минут, и интуитивно понятен, что очень радует.

После прошивки нам необходимо установить Open CV. Для этого выполним следующую команду в консоли:

sudo apt-get install python3-opencv

Сам Python ставить не нужно. Он уже стоит на Repka OS. После успешного завершения установки, вы можете попробовать запустить следующий код:

import numpy as np
import cv2

cap = cv2.VideoCapture(0)

lk_params = dict(winSize=(15, 15),
                 maxLevel=2,
                 criteria=(cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))

feature_params = dict(maxCorners=100,
                      qualityLevel=0.3,
                      minDistance=7,
                      blockSize=7)

ret, old_frame = cap.read()
old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY)
p0 = cv2.goodFeaturesToTrack(old_gray, mask=None, **feature_params)

mask = np.zeros_like(old_frame)

color = np.random.randint(0, 255, (100, 3))

# установите пороговое значение для мертвой зоны
threshold = 10

# инициализируем предыдущий угол и последнее значительное изменение угла как None
prev_angle = None
last_significant_angle = None

# инициализируем список для хранения последних n углов для скользящего среднего
angle_history = []
n = 25  # количество последних углов для усреднения

while True:
    ret, frame = cap.read()
    frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    if p0 is not None:
        p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)

        good_new = p1[st == 1]
        good_old = p0[st == 1]
    else:
        good_new = np.array([])
        good_old = np.array([])

    for i, (new, old) in enumerate(zip(good_new, good_old)):
        a, b = new.ravel()
        c, d = old.ravel()
        mask = cv2.line(mask, (int(a), int(b)), (int(c), int(d)), color[i].tolist(), 2)
        frame = cv2.circle(frame, (int(a), int(b)), 5, color[i].tolist(), -1)
    img = cv2.add(frame, mask)

    if good_new.size == 0 or good_old.size == 0 or np.abs(good_new - good_old).max() > frame.shape[1] / 2:
        p0 = cv2.goodFeaturesToTrack(frame_gray, mask=None, **feature_params)
        if p0 is not None:
            old_gray = frame_gray.copy()
    else:
        p0 = good_new.reshape(-1, 1, 2)
        old_gray = frame_gray.copy()

    if good_new.size > 0 and good_old.size > 0:
        dx = np.mean(good_new[:,0] - good_old[:,0])
        dy = np.mean(good_new[:,1] - good_old[:,1])

        angle = np.arctan2(-dy, dx) * 180 / np.pi

        if angle < 0:
            angle += 360

        # добавляем новый угол в историю и удаляем старый, если история становится слишком большой
        angle_history.append(angle)
        if len(angle_history) > n:
            angle_history.pop(0)

        # вычисляем сглаженный угол как среднее значение истории углов
        smoothed_angle = np.mean(angle_history)

        # добавляем проверку на мертвую зону
        if prev_angle is not None and abs(smoothed_angle - prev_angle) > threshold:
            prev_angle = smoothed_angle
            last_significant_angle = smoothed_angle
        else:
            prev_angle = smoothed_angle

    # выводим последнее значительное изменение угла на экран
    if last_significant_angle is not None:
        cv2.putText(img, "Smoothed Angle: {:.2f}".format(last_significant_angle), (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2, cv2.LINE_AA)
        print("Smoothed Angle: {:.2f}".format(last_significant_angle))

    cv2.imshow('frame', img)
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break

cv2.destroyAllWindows()
cap.release()

По коду и комментариям можно сразу понять, что происходит. С помощью алгоритма Lucas-Kanade, мы ищем точки на видео потоке, за которые могли бы «зацепится», и проследить траекторию движения камеры относительно окружающего мира.

Примечательно то что, если точки не найдутся, алгоритм будет из продолжать искать в бесконечном цикле. А также при сдвиге кадра более чем на половину, код начнет поиск новых точек, чтобы не потерять позицию. Так же добавлена «мертвая зона» для отсеивания ненужных колебаний, а так же введена история значений углов, для усреднения результата вычисления.

Запустить код можно из каталога где размещен скрипт командой:

python3 compass.py

В моем случае скрипт назывался compass.py. Если все сделали правильно, то на экране терминала побежит строчка с данными Smoothed Angle. Так же видео с камеры будет выведено на экран. Вывод видео на экран сделан в качестве демонстрации работы алгоритма. Если хотите убрать видео с экрана оставив только результаты вычислений, закомментируйте строку:

# cv2.imshow(‘frame’, img)

Данный код представлен в качестве примера исполнения. Для более качественного определения поворотов, необходимо написать фильтры, и алгоритмы усреднения результата вычисления. Но это уже тема для другой статьи.

В целом применение такого алгоритма очень обширно. Начиная от детекции движения до системы визуальной навигации в летательных аппаратах. На основании тестирования можно сделать вывод о пригодности использования данного одноплатного компьютера Repka Pi для реализации систем c использованием компьютерного зрения.