논문자료 번역(한국어 원본)이상적인 상태라면 동일한 조건에서 하나의 그림을 반복하여 스캔 하는 경우, 입력 이미지의 x, y 위치에 대한 디지털값(digital value)은 상수값(constant value)을 갖는다. 그러나 실세계에서 두 스캔 이미지의 상수값은 일치하지 않는다. 모든 이미징 시스템은 세이딩효과(shading effect)를 보인다. 세이딩의 소스(The sources of the shading)는 이미지를 획득할 때 주변 조명 및 환경에 따라 노출, 초점과 같은 카메라 외부 뿐만 아니라 픽셀과 픽셀 사이의 게인과 오프셋의 변화와 같이 카메라 자체에 있기도 하다. 이러한 다양한 영향이 이미지의 화질에 영향을 주게 된다. 세이딩에 의해 변형된 영상 c[m,n]은 다음과 같은 수식으로 표현된다.
여기에서 a[m,n]은 이미지에 세이딩이 없을 경우의 디지털 이미지이다. 즉, a[m,n]=constant가 된다. 일반적으로 왜곡이득(distortion gain) gain[m,n]과 offset[m,n]은 입력이미지 a[m,n]에 비해서 매우 느리게 변화 한다고 가정한다.
스캔 이미지의 중앙은 밝은 반면에 이미지의 에지 부분에 가까울수록 밝기가 감소하는 현상을 흔히 볼 수 있다. 또 다른 경우, 이미지의 오른쪽 부분은 밝고 왼쪽 부분은 어둡게 나타나는 경우도 있다. 이러한 문제점에 대해 기존의 기법은 자주 발생하는 에지 세이딩을 위한 문제 해결에 집중을 하고 있다.
스캔이미지의 해상도(resolution) 및 사이즈가 커짐에 따라 이미지 프로세싱에 소요되는 데이터 연산량도 함께 증가한다. 반면에 시스템의 프로세서 성능이 향상 되어도 시스템 전체에 대한 데이터 처리의 부하는 작지 않은 상태이다. 이러한 문제점을 개선하기 위하여 간단하면서 실시간 이미지 프로세싱이 가능한 세이딩 알고리즘을 제안하고 FPGA에서 구현하여 성능을 평가하도록 한다.
세이딩 보상(shading correction)을 갖는 이미지 스캔 처리는 3개의 기능으로 구분한다. 이것은 CCD블록과 세이딩블록(shading block) 그리고 전체 시스템을 제어하기 위한 MPU블록 이다.
CCD블록은 Red, Green, Blue 3채널로 구성된 라인 CCD 센서를 사용하여 이미지를 획득한다. 각 센서 채널은 32um의 일정한 간격을 유지하고 있으며 병렬로 나란히 배열되어 있다. 한번에 하나의 센서를 ON 하여 센서 셀을 차징(charging)을 하고 두번째 채널을 ON 하여 차징을 시작한다. 이때에 바로 전에 차징 된 데이터가 순차적으로 출력된다. 그리고 세번째 센서 채널을 ON 하는 동안 두번째 차징된 데이터가 출력된다. 센서의 데이터는 A/D 변환하여 세이딩블록(shading block)으로 전달된다. 센서 각 채널의 ON/OFF 처리는 MPU 블록이 제어를 한다. 그림2는 CCD 센서의 물리적인 구조(physical structure)을 나타낸 것으로 각 컬러 셀의 높이는 8um이고 32um의 센서 간격을 갖는다.
세이딩블록은 디지털 변환한 데이터를 향상 처리하여 원영상에 가깝도록 복원하는 과정이다. 향상 처리(enhancement processing)는 센서 데이터의 픽셀 단위로 이미지 처리를 한다. 균일한 밝기값을 갖는 영상이 입력될 때 균일한 밝기값을 갖는 영상이 출력된다. 그러나 센서에 비춰지는 피사체의 조명 밝기는 이미지 센서의 위치에 따라 차이가 발생하고 센서 내부의 셀에 대한 게인(gain)의 특성 차이로 인해 변환된 디지털 이미지 데이터는 균일하지 않는다. 센서 각각에 대한 오프셋값(offset value)을 보상하는 방법으로 이미지 향상(image enhancement)을 수행한다. Luckup table Shading Correction(LSC) 알고리즘은 다음과 같이 식(1)에 의해 표현 된다.
이 식에서 B[m]은 이미지 센서의 조도가 최대한 낮은 상태에서 스캔 하였을 때 픽셀 m 위치의 이미지 데이터이다. 그리고 W[m]는 가장 높은 조도 상태에서 스캔한 이미지 데이터를 나타낸다. 이때 센서는 포화(saturation)되지 않은 상태이다. X[m]은 이미지 센서 m 에서의 디지털화 된 데이터(digitized data) 이다. |
논문자료 번역(영어 번역본)If in an ideal state, when repeatedly scanning an image under the same condition, the digital value of the x,y position on the input image would have a constant value. But in the real world, the constant values of two scanned images do not match. All imaging systems show a shading effect. The sources of the shading are not only from the camera’s exterior, like exposure or focus depending on the surrounding light and environment when obtaining the image, but also from the camera itself, such as the gain between pixels and the change in offset. Such various influences affect the quality of the image. An image c[m,n] distorted by shading can be expressed with the following equation.
Here, a[m,n]is a digital image when there is no shading on the image. Thus, a[m,n]=constant. Generally, it is assumed that the distortion gain gain[m,n]and offset[m,n]change very slowly compared to the input image a[m,n].
While the center of the scanned image is bright, it is easy to see that the brightness decreases towards the edges of the image. Also in a different case, the right part of the image may be bright while its left is dark. Regarding such problems, past methods are concentrating on solving the frequently occurring edge shading.
As the resolution and size of the image get bigger, the amount of data calculation used in image processing increases as well. On the other hand, the data processing load on the overall system is not small, even if the system’s processing capability is enhanced. To improve such problem, we suggest a simple shading algorithm that can conduct real-time image processing and evaluate its performance by implementing it on the FPGA.
Image scan processing with shading correction is divided into 3 functionalities. These are the CCD block, shading block, and MPU block for controlling the system.
The CCD block obtains an image using a line CCD sensor composed of 3 channels, Red, Green, and Blue. Each sensor channel maintains a fixed gap of 32um between each other and is arranged in a parallel order. When one sensor turns ON and charges the sensor cell, it simultaneously turns a second channel ON and has it start charging. At this point, the data charged right before will be progressively outputted. Also, while the third sensor channel is ON, the secondly charged data is outputted. The sensor’s data converts A/D and is sent to the shading block. The MPU block controls the ON/OFF processing of each channel in the sensor. Figure 2 displays the physical structure of the CCD sensor, with each colored cell having an 8um height and 32um sensor gap.
The shading block is the stage of enhancement-processing a digitally modified data and restoring it close to the original image. Enhancement processing conducts image processing on the pixel level of the sensor data. When an image with evenly distributed brightness value is inputted, an image with evenly distributed brightness value is outputted. However, the modified digital image data is not homogenous because lighting brightness of the subject reflected on the sensor may differ, depending on the position of the image sensor, and there might also be a difference in gain on the cells within the sensor. Image enhancement is conducted by compensating the offset values on each sensor. The Lookup table Shading Correction (LSC) algorithm is expressed by Formula (1) as following. |
