OpenCV로 캡처한 영상을 OpenGL 배경 텍스처로 사용하는 예제입니다. 





1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
//상대경로로 헤더파일을 지정합니다.
#include ".\include\GL\freeglut.h"
#include "opencv2/opencv.hpp"  
#include <iostream>  
#include <string> 
 
//사용할 라이브러리를 지정해줍니다.
#pragma comment(lib, "freeglut.lib")
#pragma comment(lib, "glew32.lib")
 
using namespace cv;
using namespace std;
 
 
VideoCapture * capture;
Mat img_cam;
int screenW;
int screenH;
 
GLuint texture_background, texture_cube;
float cubeAngle = 0;            
 
 
//OpenCV Mat을 OpenGL Texture로 변환 
GLuint MatToTexture(Mat image)
{
    if (image.empty())  return -1;
 
    //OpenGL 텍스처 생성
    GLuint textureID;
    glGenTextures(1&textureID);
 
    //텍스처 ID를 바인딩 -  사용할 텍스처 차원을 지정해준다.
    glBindTexture(GL_TEXTURE_2D, textureID); 
 
    glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_NEAREST);
    glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_NEAREST);
 
    glTexImage2D(GL_TEXTURE_2D, 0, GL_RGB, image.cols, image.rows,
        0, GL_RGB, GL_UNSIGNED_BYTE, image.ptr());
 
    return textureID;
}
 
 
void draw_background()
{
    int x = screenW / 100.0;
    int y = screenH / 100.0;
 
    glBegin(GL_QUADS);
    glTexCoord2f(0.01.0); glVertex3f(-x, -y, 0.0);
    glTexCoord2f(1.01.0); glVertex3f(x, -y, 0.0);
    glTexCoord2f(1.00.0); glVertex3f(x, y, 0.0);
    glTexCoord2f(0.00.0); glVertex3f(-x, y, 0.0);
    glEnd();
}
 
 
void drawBitmapText(char *str, float x, float y, float z)
{
    glRasterPos3f(x, y, z); //문자열이 그려질 위치 지정
 
    while (*str)
    {
        //GLUT_BITMAP_TIMES_ROMAN_24 폰트를 사용하여 문자열을 그린다.
        glutBitmapCharacter(GLUT_BITMAP_TIMES_ROMAN_24, *str);
 
        str++;
    }
}
 
 
//큐브의 한 면, 화면 안쪽 방향인 -Z축방향으로 0.5이동하여 정사각형을 그린다.
static void cubebase(void)
{
    glBegin(GL_QUADS);
    glVertex3d(-0.5-0.5-0.5);
    glVertex3d(-0.50.5-0.5);
    glVertex3d(0.50.5-0.5);
    glVertex3d(0.5-0.5-0.5);
    glEnd();
}
 
//cubebase함수에서 그린 사각형을 회전 및 이동시켜
//큐브를 완성시킨다.
void draw_cube()
{
    glPushMatrix();
 
    glColor3f(0.0f, 1.0f, 0.0f);     // Green, -Z축 방향
    cubebase();
    
    glPushMatrix();
 
    glTranslated(1.00.00.0);
    glRotated(90.00.01.00.0);
    glColor3f(0.0f, 0.0f, 1.0f);     // Blue, +X축 방향
    cubebase();
 
    glPopMatrix();
 
    glPushMatrix();
    glTranslated(-1.00.00.0);
    glRotated(-90.00.01.00.0);
    glColor3f(1.0f, 0.5f, 0.0f);     // Orange, -X축 방향
    cubebase();
    glPopMatrix();
 
    glPushMatrix();
    glTranslated(0.01.00.0);
    glRotated(-90.01.00.00.0);
    glColor3f(1.0f, 0.0f, 0.0f);     // Red, +Y축 방향
    cubebase();
    glPopMatrix();
 
    glPushMatrix();
    glTranslated(0.0-1.00.0);
    glRotated(90.01.00.00.0);
    glColor3f(1.0f, 1.0f, 0.0f);     // Yellow, -Y축 방향
    cubebase();
    glPopMatrix();
 
    glBegin(GL_QUADS);
    glColor3f(1.0f, 0.0f, 1.0f);     // Magenta, +Z축 방향
    glVertex3d(-0.5-0.50.5);
    glVertex3d(0.5-0.50.5);
    glVertex3d(0.50.50.5);
    glVertex3d(-0.50.50.5);
    glEnd();
        
    glPopMatrix();
 
    glFlush();
}
 
void draw_line()
{
 
    glPushMatrix(); //X축 붉은색
    glColor3f(1.00.00.0);
    glBegin(GL_LINES);
    glVertex3f(1.00.00.0);
    glVertex3f(-1.00.00.0);
    glEnd();
    drawBitmapText("+X"0.80.00.0);
    drawBitmapText("-X"-0.80.00.0);
    glPopMatrix();
 
    glPushMatrix(); //Y축 녹색
    glColor3f(0.01.00.0);
    glBegin(GL_LINES);
    glVertex3f(0.01.00.0);
    glVertex3f(0.0-1.00.0);
    glEnd();
    drawBitmapText("+Y"0.00.80.0);
    drawBitmapText("-Y"0.0-0.80.0);
    glPopMatrix();
 
    glPushMatrix(); //Z축 파란색
    glColor3f(0.00.01.0);
    glBegin(GL_LINES);
    glVertex3f(0.00.01.0);
    glVertex3f(0.00.0-1.0);
    glEnd();
    drawBitmapText("+Z"0.00.00.8);
    drawBitmapText("-Z"0.00.0-0.8);
    glPopMatrix();
 
 
    glFlush();
}
 
// 카메라 초기화
void cameraInit()
{
    
    capture = new VideoCapture(0);
 
    if (!capture) {
        printf("Could not capture a camera\n\7");
        return;
    }
 
    Mat img_frame;
   
    capture->read(img_frame);
 
    screenW = img_frame.cols;
    screenH = img_frame.rows;
 
    cout << screenW << " " << screenH << endl;
}
 
 
void display()
{
    //화면을 지운다. (컬러버퍼와 깊이버퍼)
    glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);
 
    //이후 연산은 ModelView Matirx에 영향을 준다.
    glMatrixMode(GL_MODELVIEW);
    glLoadIdentity();                                            
    
    texture_background = MatToTexture(img_cam);
    if (texture_background < 0return;
 
    
    glEnable(GL_TEXTURE_2D);
    glColor3f(1.0f, 1.0f, 1.0f); //큐브나 좌표축 그릴 때 사용한 색의 영향을 안받을려면 필요
    glBindTexture(GL_TEXTURE_2D, texture_background);
    glPushMatrix();
    glTranslatef(0.00.0-9.0);
    draw_background(); //배경그림
    glPopMatrix();
 
    
    glDisable(GL_TEXTURE_2D);
    glPushMatrix();
    glTranslatef(0.00.0-4.0);
    glRotatef(cubeAngle, 1.01.01.0);
    draw_cube(); //큐브
    draw_line();  //좌표축
    glPopMatrix();
    
 
    glutSwapBuffers();
}
 
 
void reshape(GLsizei width, GLsizei height)
{
    glViewport(00, (GLsizei)width, (GLsizei)height); //윈도우 크기로 뷰포인트 설정 
 
    glMatrixMode(GL_PROJECTION); //이후 연산은 Projection Matrix에 영향을 준다.
    glLoadIdentity();
 
    //Field of view angle(단위 degrees), 윈도우의 aspect ratio, Near와 Far Plane설정
    gluPerspective(45, (GLfloat)width / (GLfloat)height, 1.0100.0);
 
    glMatrixMode(GL_MODELVIEW); //이후 연산은 ModelView Matirx에 영향을 준다. 
}
 
 
void timer(int value) {
    //웹캠으로부터 이미지 캡처
    capture->read(img_cam);
    cvtColor(img_cam, img_cam, COLOR_BGR2RGB);
 
    cubeAngle += 1.0f;
    if (cubeAngle > 360) {
        cubeAngle -= 360;
    }
 
    glutPostRedisplay();      //윈도우를 다시 그리도록 요청
    glutTimerFunc(1, timer, 0); //다음 타이머 이벤트는 1밀리세컨트 후  호출됨.
}
 
 
 
void init()
{
    glGenTextures(1&texture_background);
 
    //화면 지울때 사용할 색 지정
    glClearColor(0.00.00.00.0);
 
    //깊이 버퍼 지울 때 사용할 값 지정
    glClearDepth(1.0);
 
    //깊이 버퍼 활성화
    glEnable(GL_DEPTH_TEST);
 
}
 
void keyboard(unsigned char key, int x, int y)
{
    //ESC 키가 눌러졌다면 프로그램 종료
    if (key == 27)
    {
        capture->release();
        exit(0);
    }
}
 
 
int main(int argc, char** argv)
{
    glutInit(&argc, argv);  //GLUT 초기화
 
    glutInitDisplayMode(GLUT_RGBA | GLUT_DOUBLE | GLUT_DEPTH); //더블 버퍼와 깊이 버퍼를 사용하도록 설정, GLUT_RGB=0x00임
 
    cameraInit();
    glutInitWindowSize(screenW, screenH);
    glutInitWindowPosition(100100); //윈도우의 위치 (x,y)
    glutCreateWindow("OpenGL Example"); //윈도우 생성
 
 
    init();
 
    //디스플레이 콜백 함수 등록, display함수는 윈도우 처음 생성할 때와 화면 다시 그릴 필요 있을때 호출된다. 
    glutDisplayFunc(display);
 
    //reshape 콜백 함수 등록, reshape함수는 윈도우 처음 생성할 때와 윈도우 크기 변경시 호출된다.
    glutReshapeFunc(reshape);
    //타이머 콜백 함수 등록, 처음에는 바로 호출됨.
    glutTimerFunc(0, timer, 0);
    //키보드 콜백 함수 등록, 키보드가 눌러지면 호출된다. 
    glutKeyboardFunc(keyboard);
 
    //GLUT event processing loop에 진입한다.
    //이 함수는 리턴되지 않기 때문에 다음줄에 있는 코드가 실행되지 않는다. 
    glutMainLoop();
        
 
    return 0;
}
cs



참고..

//http://stackoverflow.com/a/16815662

//http://ddorobot.blogspot.kr/2015/04/opencv-camera-image-in-opengl-background.html

//http://openglsamples.sourceforge.net/cube2_py.html

//https://rdmilligan.wordpress.com/2015/09/10/augmented-reality-using-opencv-and-opengl/

//http://www0.cs.ucl.ac.uk/staff/a.steed/book_tmp/CGVE/code/Lib3D1.0/maintexture.c

포스트 작성시에는 문제 없었지만 이후 문제가 생길 수 있습니다.
댓글로 알려주시면 빠른 시일내에 답변을 드리겠습니다.

여러분의 응원으로 좋은 컨텐츠가 만들어집니다.
지금 본 내용이 도움이 되었다면 유튜브 구독 부탁드립니다. 감사합니다 : )

유튜브 구독하기


제가 쓴 책도 한번 검토해보세요.

  1. CarevCho 2017.02.13 22:34

    안녕하세요 :^)
    포스팅 너무 감사하게 잘 봤습니다. 제가 원하고자 하는 내용을 너무 정확하게 해주셔서 정말 감사드립니다.
    opencv 에서 얻어온 웹캠 영상에 방향을 나타내는 그래픽을 넣어줘야 하는 코드를 작성하고자 하는데 opengl은 제가 전혀 사용해본 경험이 없어서 몇가지 여쭙고 싶습니다.
    단순하게 보자면 작성해주신 코드를 긁어서 사용하고자 하였는데, GLuint 이라는 변수가 " 변수 "GLuint"은(는) 형식 이름이 아닙니다." 라는 에러 메세지가 발생해서 고난을 격고 있습니다.. 제 환경은 windows 10, visual studio 2015, opencv 3.1.0 이고 cmake를 통해 WITH_OPENGL 을 함께 체크해서 사용하고 있습니다.
    이 문제를 어떻게 해결해야 할지 잘 모르겠습니다... 혹시 조언을 주실 수 있을 까요 ?

    • CarevCho 2017.02.13 23:05

      Tutorial을 따라가다 보니 예제가 잘 실행 됩니다. !!!
      혹시 MFC 에서도 opengl 연동이 가능할까요 ? opencv MFC 연동도 같이 올려주셨는데, 그 부분에서 연동 가능한지 여쭙고 싶습니다.

    • Favicon of https://webnautes.tistory.com BlogIcon webnautes 2017.02.14 19:48 신고

      아래 링크를 참고하면 될듯한데.. 아직 해보지는 못했습니다..

      http://www.cs.uregina.ca/Links/class-info/315/WWW/Lab1/MFC/

    • CarevCho 2017.02.17 22:01

      감사합니다 :^)
      진행해보고 혹시 질문사항이나 이런 부분에 대해서 여쭈어도 괜찮을 까요 ?

    • CarevCho 2017.02.17 22:04

      dialog based MFC 의 Picture control 을 이용해서 view를 보여주고 싶은게 목표라 주신 링크 참고해서 진행해보도록 해보겠습니다.!

    • Favicon of https://webnautes.tistory.com BlogIcon webnautes 2017.02.17 22:29 신고

      링크 드린 건 다이얼로그 기반이 아니군요.

      그리고 OpenGL 3.2 버전을 사용하도록 되있어서 예전 OpenGL 버전의 기능을 사용할 수 없습니다. 3.x 버전 넘어가면서 이전 버전 기능을 제거했거든요..

      그래서 glBegin, glEnd같은 함수를 사용할 수 없습니다.

      확인해보고 오늘 낼 중으로 포스팅 작성해볼 생각입니다..

      우선 2.x 버전용으로..

      그리고 나중에 3.x 버전용으로

    • Favicon of https://webnautes.tistory.com BlogIcon webnautes 2017.02.19 03:06 신고

      해결하셨나 모르겠네요..

      제가 작성한 포스팅도 참고해보세요..
      OpenGL과 MFC 연동( freeglut, glew 사용, dialog 기반, opengl 2.x 코드용)
      http://webnautes.tistory.com/1108

      OpenGL과 MFC 연동( glew 사용, dialog 기반, opengl 3.x 코드용)
      http://webnautes.tistory.com/1109

+ Recent posts