Android NDK + CMake + OpenCV 카메라 예제 프로젝트 생성방법OpenCV/Android 개발 환경 및 예제2023. 11. 26. 12:16@webnautes

Table of Contents

NDK를 지원하는 안드로이드 프로젝트를 생성한 후, OpenCV 라이브러리를 추가하여 사용하는 방법을 설명합니다.

간단한 예제로 OpenCV Java API에서 캡처한 영상을 OpenCV C++ API에서 그레이스케일 영상으로 변환하고 다시 OpenCV Java API에서 화면에 보여줍니다.

아래 히스토리에 명시된 버전과 다른 버전 사용시 문제가 발생할 가능성이 있습니다.

2016.11.20 : 최초 작성

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

2019. 8. 8

OpenCV 4.1.1를 위해 카메라 코드를 수정하고 android.support 대신에 androidx를 사용합니다.

2020. 1. 19 OpenCV 4.2.0

2020. 6. 20 OpenCV 4.3.0, Android Studio 4.0, Android 10, NDK 21

2021. 1. 6 OpenCV 4.5.1, Android Studio 4.1.1, Android 11, NDK 21

2021. 4. 10 OpenCV 4.5.2, Android Studio 4.1.3, Android 11, NDK 21

2021. 9. 1 Android Studio 2020.3.1에서 OpenCV 모듈을 가져오려고 하면 위자드에서 Finish 버튼이 비활성화 상태로 유지되는 버그가 생긴듯합니다. 해결되기 전까진 수동으로 sdk 폴더를 안드로이드 프로젝트로 옮기고 build.gradle 파일을 수정해서 사용해야 하는 듯합니다. 자세한 내용은 https://stackoverflow.com/a/68738767

2021. 10. 22 질문이 종종있어서 앞에서 언급했던 링크대로 포스트를 진행해보았습니다.
Android Studio Arctic Fox 2020.3.1 Patch 3

Android 11.0 API 30

OpenCV 4.5.4

NDK 23.1 실제로는 하위 버전을 사용할 수도 있습니다.

2022. 5. 7 아래사항으로 업데이트 후, 안드로이드 에뮬레이터로 테스트

Android Studio Bumblebee 2021.1.1 Patch 3

Android 12.0 API 31, Minimum SDK API 21로 설정

OpenCV 4.5.5

NDK 33-rc3

2022. 11. 9 아래사항으로 업데이트 후, 안드로이드 에뮬레이터로 테스트

Android Studio Dolphin 2021.3.1 Patch 1

Android 12L (Sv2) API 32, Minimum SDK API 21로 설정

OpenCV 4.6.0

NDK 33.0.0

2023. 8. 12 아래사항으로 업데이트 후, 안드로이드 에뮬레이터로 테스트

Android Studio Giraffe 2022.3.1 Patch 1

Android 13 API 33, Minimum SDK API 21로 설정

OpenCV 4.8.0

NDK 25.2.9519653

2023. 11. 26 아래사항으로 업데이트 후, 안드로이드 에뮬레이터로 테스트

Android Studio Giraffe 2022.3.1 Patch 4

Android 14 API 34, Minimum SDK API 21로 설정

OpenCV 4.8.0

NDK 26.1.10909125

0. 패키지 설치

1. 안드로이드 프로젝트 생성

2. 프로젝트에 OpenCV 라이브러리 추가

3. CMake 사용한 NDK + OpenCV 카메라 예제

4. 참고

예전에 사용하던 방식입니다.

Android NDK + OpenCV 카메라 예제 및 프로젝트 생성방법(ndk-build 사용)

https://webnautes.tistory.com/923

0. 패키지 설치

1. 왼쪽 사이드바에서 Projects를 선택하고 오른쪽에서 “More Actions”를 클릭합니다.

메뉴에서 SDK Manager를 선택합니다.

2. 안드로이드 스튜디오에서 CMake를 사용하여 C/C++ 코드를 사용하기 위해서는 다음 패키지가 필요합니다.

The Android Native Development Kit (NDK)

안드로이드에서 JAVA 코드와 C/C++ 코드를 같이 사용할 수 있게 해줍니다.

CMake

SDK Tools 탭에서 NDK, CMake를 선택하고 Apply 버튼을 클릭하면 다운로드 및 설치가 진행됩니다.

포스트 진행 과정에서 추가로 다른 버전의 NDK가 설치될 수 있습니다.

SDK Platforms 탭에서 확인 시, Android 14 API 34을 설치한 상태에서 진행했습니다.

3. 테스트시 에뮬레이터를 생성해서 사용했습니다. “More Actions”를 다시 클릭 후, Virtual Device Manager를 클릭합니다.

Create device를 클릭합니다.

Device로 Pixel XL을 선택하고 Next를 클릭합니다.

Tiramisu 문자열 오른쪽에 보이는 아래로 화살표 아이콘을 클릭하여 시스템 이미지를 다운로드한 후, Tiramisu가 선택된 상태에서 Next를 클릭합니다.

왼쪽 아래에 보이는 Show Advanced Settings를 클릭합니다.

Camera 항목에 있는 Front와 Back을 모두 Webcam0로 바꾸로 Finish를 클릭합니다.

이제 에뮬레이터용 디바이스가 생성되었습니다. 창을 닫아둡니다.

1. 안드로이드 프로젝트 생성

1-0. New Project를 선택합니다.

1-1. Native C++를 선택후, Next를 클릭합니다.

1-2. Name 항목에 프로젝트 이름으로 “Use OpenCV with CMake”을 적고, Language는 Java, Minimum API level은 API 21을 선택합니다. Build configuration language로 Groovy DSL (build.gradle)을 선택한 후, Next 버튼을 클릭합니다.

본 포스트는 프로젝트 이름을 “Use OpenCV with CMake”로 한 경우에 대해 작성되었기 때문에 프로젝트 이름이 다른 경우에는 변경이 필요한 부분이 있습니다. 포스트에 명시해놓았습니다.

추가로 필요한 패키지가 설치될 수도 있습니다. Next 버튼을 클릭합니다.

1-3. 디폴트 값으로 두고 Finish 버튼을 클릭하면 됩니다.

2. 프로젝트에 OpenCV 라이브러리 추가

2-1. OpenCV 깃허브 저장소에서 opencv-4.8.0-android-sdk.zip 파일을 다운로드 합니다.

https://github.com/opencv/opencv/releases

압축을 풀어서 C:\에 복사해줍니다.

2-2. Android용 OpenCV가 다음 위치에 있는 것으로 가정하고 진행합니다.

C:\OpenCV-android-sdk

2-3. 아래에서 설명하는 방법이 문제가 있을 경우 다음 링크를 참고하여 수동으로 추가하면 됩니다. 예전 버전에 문제가 있던 적이 있었습니다.

https://stackoverflow.com/a/68738767

앞에서 진행한 프로젝트 생성이 완료되기를 대기합니다. 안드로이드 스튜디오의 오른쪽 아래 상태 표시줄에 작업중 메시지가 사라져야 합니다.

OpenCV 라이브러리 모듈을 프로젝트로 가져오기 위해 메뉴에서 File > New > Import Module를 선택합니다.

Source directory 입력란 옆에 있는 버튼을 클릭합니다.

OpenCV-android-sdk 디렉토리 하위에 있는 sdk 디렉토리를 선택하고 OK 버튼을 클릭합니다.

Finish 버튼을 클릭합니다.

2-4. 다음과 같은 에러가 발생합니다.

A problem occurred evaluating project ':sdk'.

> Plugin with id 'kotlin-android' not found.

다음처럼 에러가 발생한 해당 파일이 열립니다.

상단에 보이는 apply plugin: 'kotlin-android'를 제거합니다.

변경전

변경후

다음 줄을 추가합니다.

namespace 'org.opencv'

맨 아래 다음줄을 추가합니다.

buildFeatures {

aidl true

}

gradle.properties(Project Properties)를 더블클릭하여 열고 맨아래줄에 다음을 추가합니다.

android.defaults.buildfeatures.buildconfig=true

오른쪽 위에 보이는 Try Again을 클릭합니다.

문제 없으면 다음 로그가 보입니다.

build.gradle (:sdk)에서 targetSdkVersion 26에 빨간줄이 보이는데 Google Play를 사용하지 않으면 상관없어 보입니다. 실행시 문제가 되지 않았습니다.

2-5. app 모듈에서 OpenCV 라이브러리 모듈을 사용하도록 설정해줘야 합니다.

메뉴에서 File > Project structure를 선택한 후, 왼쪽에 보이는 리스트에서 Dependencies를 선택합니다.

Modules에서 app을 선택한 후, Declared Dependencies 문자열 아래에 보이는 +를 클릭하면 보이는 메뉴에서 Module Dependency를 선택합니다.

앞에서 추가했던 opencv 모듈이 sdk 이름으로 보입니다. 체크한 후 OK버튼을 클릭합니다.

이제 sdk 모듈(opencv)을 app 모듈에서 사용할 수 있게 설정되었습니다.

이제 OK 버튼을 클릭하여 Project Structure 창을 닫습니다.

문제없다면 다음과 같은 메시지가 보입니다.

3. CMake 사용한 NDK + OpenCV 카메라 예제

3-2. AppCompatActivity 클래스를 사용한 액티비티에서 타이틀바를 없애기 위해서 themes.xml 파일에 다음 코드를 추가합니다. themes (2)를 더블클릭합니다.

<item name="windowActionBar">false</item>
<item name="windowNoTitle">true</item>

3-3. 레이아웃 파일 activity_main.xml 을 다음 코드로 대체합니다.

오른쪽 위에 있는 Code를 클릭해야 코드를 변경할 수 있습니다.

<?xml version="1.0" encoding="utf-8"?>
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:tools="http://schemas.android.com/tools"
android:layout_width="match_parent"
android:layout_height="match_parent"
tools:context=".MainActivity" >

<org.opencv.android.JavaCameraView
android:layout_width="match_parent"
android:layout_height="match_parent"
android:id="@+id/activity_surface_view" />

</LinearLayout>

3-4. 매니페스트 파일 AndroidManifest.xml 에 다음 코드를 추가합니다.

<uses-permission android:name="android.permission.CAMERA"/>
<uses-feature android:name="android.hardware.camera" android:required="false"/>
<uses-feature android:name="android.hardware.camera.autofocus" android:required="false"/>
<uses-feature android:name="android.hardware.camera.front" android:required="false"/>
<uses-feature android:name="android.hardware.camera.front.autofocus" android:required="false"/>

<supports-screens android:resizeable="true"
android:smallScreens="true"
android:normalScreens="true"
android:largeScreens="true"
android:anyDensity="true" />

android:screenOrientation="landscape"
android:configChanges="keyboardHidden|orientation"

3-5. 카메라로부터 영상을 가져오는 것은 JAVA 코드에서 하며 JNI(Java Native Interface)를 사용하여 C/C++ 함수를 호출하여 영상처리를 진행합니다.

자바코드 파일 MainActivity.java를 다음 코드로 대체합니다.

기존 코드에서 첫번째 줄에 있는 package는 남겨둬야 합니다.

import androidx.appcompat.app.AlertDialog;
import androidx.appcompat.app.AppCompatActivity;

import android.content.DialogInterface;
import android.os.Bundle;
import android.annotation.TargetApi;
import android.content.pm.PackageManager;
import android.os.Build;
import android.util.Log;
import android.view.SurfaceView;
import android.view.WindowManager;
import org.opencv.android.BaseLoaderCallback;
import org.opencv.android.CameraBridgeViewBase;
import org.opencv.android.LoaderCallbackInterface;
import org.opencv.android.OpenCVLoader;
import org.opencv.core.Mat;

import java.util.Collections;
import java.util.List;

import static android.Manifest.permission.CAMERA;

public class MainActivity extends AppCompatActivity
implements CameraBridgeViewBase.CvCameraViewListener2 {

private static final String TAG = "opencv";
private Mat matInput;
private Mat matResult;

private CameraBridgeViewBase mOpenCvCameraView;

public native void ConvertRGBtoGray(long matAddrInput, long matAddrResult);

static {
System.loadLibrary("opencv_java4");
System.loadLibrary("native-lib");
}

private BaseLoaderCallback mLoaderCallback = new BaseLoaderCallback(this) {
@Override
public void onManagerConnected(int status) {
switch (status) {
case LoaderCallbackInterface.SUCCESS:
{
mOpenCvCameraView.enableView();
} break;
default:
{
super.onManagerConnected(status);
} break;
}
}
};

@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);

getWindow().setFlags(WindowManager.LayoutParams.FLAG_FULLSCREEN,
WindowManager.LayoutParams.FLAG_FULLSCREEN);
getWindow().setFlags(WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON,
WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON);

setContentView(R.layout.activity_main);

mOpenCvCameraView = (CameraBridgeViewBase)findViewById(R.id.activity_surface_view);
mOpenCvCameraView.setVisibility(SurfaceView.VISIBLE);
mOpenCvCameraView.setCvCameraViewListener(this);
mOpenCvCameraView.setCameraIndex(0); // front-camera(1), back-camera(0)
}

@Override
public void onPause()
{
super.onPause();
if (mOpenCvCameraView != null)
mOpenCvCameraView.disableView();
}

@Override
public void onResume()
{
super.onResume();

if (!OpenCVLoader.initDebug()) {
Log.d(TAG, "onResume :: Internal OpenCV library not found.");
OpenCVLoader.initAsync(OpenCVLoader.OPENCV_VERSION_3_2_0, this, mLoaderCallback);
} else {
Log.d(TAG, "onResum :: OpenCV library found inside package. Using it!");
mLoaderCallback.onManagerConnected(LoaderCallbackInterface.SUCCESS);
}
}

public void onDestroy() {
super.onDestroy();

if (mOpenCvCameraView != null)
mOpenCvCameraView.disableView();
}

@Override
public void onCameraViewStarted(int width, int height) {

}

@Override
public void onCameraViewStopped() {

}

@Override
public Mat onCameraFrame(CameraBridgeViewBase.CvCameraViewFrame inputFrame) {

matInput = inputFrame.rgba();

if ( matResult == null )

matResult = new Mat(matInput.rows(), matInput.cols(), matInput.type());

ConvertRGBtoGray(matInput.getNativeObjAddr(), matResult.getNativeObjAddr());

return matResult;
}

protected List<? extends CameraBridgeViewBase> getCameraViewList() {
return Collections.singletonList(mOpenCvCameraView);
}

//여기서부턴 퍼미션 관련 메소드
private static final int CAMERA_PERMISSION_REQUEST_CODE = 200;

protected void onCameraPermissionGranted() {
List<? extends CameraBridgeViewBase> cameraViews = getCameraViewList();
if (cameraViews == null) {
return;
}
for (CameraBridgeViewBase cameraBridgeViewBase: cameraViews) {
if (cameraBridgeViewBase != null) {
cameraBridgeViewBase.setCameraPermissionGranted();
}
}
}

@Override
protected void onStart() {
super.onStart();
boolean havePermission = true;
if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.M) {
if (checkSelfPermission(CAMERA) != PackageManager.PERMISSION_GRANTED) {
requestPermissions(new String[]{CAMERA}, CAMERA_PERMISSION_REQUEST_CODE);
havePermission = false;
}
}
if (havePermission) {
onCameraPermissionGranted();
}
}

@Override
@TargetApi(Build.VERSION_CODES.M)
public void onRequestPermissionsResult(int requestCode, String[] permissions, int[] grantResults) {
if (requestCode == CAMERA_PERMISSION_REQUEST_CODE && grantResults.length > 0
&& grantResults[0] == PackageManager.PERMISSION_GRANTED) {
onCameraPermissionGranted();
}else{
showDialogForPermission("앱을 실행하려면 퍼미션을 허가하셔야합니다.");
}
super.onRequestPermissionsResult(requestCode, permissions, grantResults);
}

@TargetApi(Build.VERSION_CODES.M)
private void showDialogForPermission(String msg) {

AlertDialog.Builder builder = new AlertDialog.Builder( MainActivity.this);
builder.setTitle("알림");
builder.setMessage(msg);
builder.setCancelable(false);
builder.setPositiveButton("예", new DialogInterface.OnClickListener() {
public void onClick(DialogInterface dialog, int id){
requestPermissions(new String[]{CAMERA}, CAMERA_PERMISSION_REQUEST_CODE);
}
});
builder.setNegativeButton("아니오", new DialogInterface.OnClickListener() {
public void onClick(DialogInterface arg0, int arg1) {
finish();
}
});
builder.create().show();
}

}

3-6. MainActivity.java 파일에 다음처럼 ConvertRGBtoGray 함수가 빨간색으로 보입니다.

3-7. 마우스 커서를 ConvertRGBtoGray 함수에 가져가면 보이는 빨간전구를 클릭하고 메뉴에서 “Create JNI function for ConvertRGBtoGray”를 선택합니다.

native-lib.cpp를 선택합니다.

다음 코드를 참고하여 빨간색 부분을 제거하고 파란색 부분을 추가합니다.

#include <opencv2/opencv.hpp>

using namespace cv;

Mat &matInput = *(Mat *)mat_addr_input;
Mat &matResult = *(Mat *)mat_addr_result;

cvtColor(matInput, matResult, COLOR_RGBA2GRAY);

빨간색으로 보이는 건 무시하세요. 다음 단계를 진행하면 해결됩니다.

3-8. CMakeLists.txt를 다음 코드로 대체합니다.

pathPROJECT는 실제 안드로이드 프로젝트 경로로 변경해야 합니다.

# For more information about using CMake with Android Studio, read the
# documentation: https://d.android.com/studio/projects/add-native-code.html

# Sets the minimum version of CMake required to build the native library.

cmake_minimum_required(VERSION 3.4.1)

set(pathPROJECT C:/Users/webnautes/AndroidStudioProjects/UseOpenCVwithCMake) # 수정필요
set(pathOPENCV ${pathPROJECT}/sdk)
set(pathLIBOPENCV_JAVA ${pathOPENCV}/native/libs/${ANDROID_ABI}/libopencv_java4.so)

set(CMAKE_VERBOSE_MAKEFILE on)
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=gnu++11")

include_directories(${pathOPENCV}/native/jni/include)

# Creates and names a library, sets it as either STATIC
# or SHARED, and provides the relative paths to its source code.
# You can define multiple libraries, and CMake builds them for you.
# Gradle automatically packages shared libraries with your APK.

add_library( # Sets the name of the library.
native-lib

# Sets the library as a shared library.
SHARED

# Provides a relative path to your source file(s).
${pathPROJECT}/app/src/main/cpp/native-lib.cpp )

add_library( lib_opencv SHARED IMPORTED )

set_target_properties(lib_opencv PROPERTIES IMPORTED_LOCATION ${pathLIBOPENCV_JAVA})

# Searches for a specified prebuilt library and stores the path as a
# variable. Because CMake includes system libraries in the search path by
# default, you only need to specify the name of the public NDK library
# you want to add. CMake verifies that the library exists before
# completing its build.

find_library( # Sets the name of the path variable.
log-lib

# Specifies the name of the NDK library that
# you want CMake to locate.
log )

# Specifies libraries CMake should link to your target library. You
# can link multiple libraries, such as libraries you define in this
# build script, prebuilt third-party libraries, or system libraries.

target_link_libraries( # Specifies the target library.
native-lib

lib_opencv

# Links the target library to the log library
# included in the NDK.
${log-lib} )

3-9. Sync Now를 클릭하거나 메뉴에서 File > Sync Project with Gradle Files를 선택하여 Gradle build를 시작합니다.

문제 없으면 다음과 같은 로그가 보입니다. 안드로이드 스튜디오에서 스크린샷에 보이는 Build를 클릭시 보입니다.

안드로이드 폰에 설치하여 실행시켜 보면 안드로이드폰의 방향에 따라 카메라 영상도 같이 회전합니다.

포스트에서는 에뮬레이터를 사용하여 진행했습니다.

스크린샷은 안드로이드 버전따라 차이가 있을 수 있습니다.

앞에서 생성한 에뮬레이터가 선택된 상태에서 실행합니다.

While using the app을 선택합니다.

카메라 영상이 에뮬레이터 화면에 보여집니다. 예전과 달리 화면 방향이 달라졌습니다. 실제 안드로이드 폰에선 가로방향으로 화면을 돌려야 제대로 보일 수도 있지만 확인을 못해봤습니다.

2023. 11. 26 가로방향 화면시엔 문제 없지만 세로방향 화면시 화면이 잘리는 현상이 있네요.

참고

https://developer.android.com/ndk/guides/index.html

https://developer.android.com/studio/projects/add-native-code.html

https://github.com/googlesamples/android-ndk

http://www3.ntu.edu.sg/home/ehchua/programming/java/JavaNativeInterface.html

http://docs.opencv.org/2.4/doc/tutorials/introduction/android_binary_package/dev_with_OCV_on_Android.html

https://forum.opencv.org/t/an-exercise-in-frustration/12964

https://coskxlabsite.stars.ne.jp/html/android/OpenCVpreview/OpenCVpreview_A.html

저작자표시 비영리 동일조건

'OpenCV > Android 개발 환경 및 예제' 카테고리의 다른 글

Android NDK + OpenCV 카메라 예제 및 프로젝트 생성방법(ndk-build 사용) (342)	2023.12.03
Android NDK + OpenCV 이미지 로드하여 영상처리하는 예제 (138)	2023.11.26
OpenCV, Android, NDK 를 사용하여 Android에서 Face Detection(얼굴 검출) (7)	2023.10.14
Android 용으로 OpenCV 4.4.0 빌드하는 방법 (Build OpenCV 4.4.0 for Android ) (255)	2020.09.27
OpenCV 강좌 - 안드로이드 폰에서 딥러닝 네트워크(deep learning network) 실행하기 (Caffe) (10)	2019.08.27