본 논문은 효율적이고 정확한 자동 독화를 연구한 논문이다. 본 논문에서는 효율적이고 정확한 자동 독화를 위하여 고려해야 할 사항을 분석하고 이 분석을 바탕으로 얼굴 검출에서 자동 독...
본 논문은 효율적이고 정확한 자동 독화를 연구한 논문이다. 본 논문에서는 효율적이고 정확한 자동 독화를 위하여 고려해야 할 사항을 분석하고 이 분석을 바탕으로 얼굴 검출에서 자동 독화 인식까지 전 과정을 구현하였다.
분석된 자동 독화 시 고려해야 할 사항은 ‘다양한 배경의 영상 처리’, ‘다양한 조명하의 영상 처리’, ‘다양한 조음 기관의 인식 처리’, ‘다양한 화자 처리’, ‘화자의 다양한 발화 습관 처리’이다.
‘다양한 배경의 영상 처리’는 효율적인 발화자의 얼굴 추출 기능을 구축하여 해결하였다. 발화자의 얼굴 추출은 효율적인 피부색 추출 모델을 이용하였으며, 이 모델은 단순한 색공간에서의 피부색 범위 추정이 아닌 실제 피부색 화소들을 다양한 색공간에 배치한 후 만든 효율 좋은 피부색 추출 모델이다. 특히 이 모델은 피부색의 휘도 의존성 문제까지 고려한 모델이다.
‘다양한 조명하의 영상 처리’는 휘도에 의존적인 조명 보정 연산을 통해 해결하였다. 이 조명 보정 연산은 휘도에 의존적으로 조명 보정을 하도록 구성하였으며, 빛을 많이 받아 왜곡된 화소는 밝기 톤을 낮추어 주며 그림자에 의해 왜곡된 화소는 밝기 톤을 높여주되 피부색이 아닌 것이 피부색으로 보정되는 것을 막기 위하여 휘도에 의존하는 sine-wave 보정 연산을 구축하여 해결하였다.
‘다양한 조음 기관의 인식 처리’는 입술의 모양 변화와 구강 구조를 만드는 턱의 벌어짐 변화 또 절대 위치 코로부터의 입술 변화를 반영하는 파라미터의 개발로 해결하였다. 여기에서 개선된 파라미터는 이의 보임까지로 확대하여 입술의 변화와 턱의 변화를 좀 더 다양하게 반영하였다.
‘다양한 화자 처리’는 표준 화자를 설정하여 다양한 화자들로부터 얻는 파라미터 값들이 이 표준에 맞추어 정형화 되게 하는 방법으로 해결하였다.
‘화자의 다양한 발화 습관 처리’는 입력되는 화상이 어떤 기울기로 입력되더라도 두 눈과 입이 보이면 기하학적 처리를 할 수 있는 변환 기능을 구현하여 해결하였다.
이런 구현을 바탕으로 거리 변환 벡터 파라미터와 분할 영역 분포 파라미터를 구성하였으며, 추출한 파라미터 값들을 분석하여 인식 시스템을 구축하였다. 구축된 인식 시스템은 통계적 방법에 의해 구축된 통계적 시스템과 확신도를 이용한 전문가 시스템, 신경망을 사용한 신경망 시스템이다.
인식은 한국어 5모음로 하였으며, 자동 독화 인식 실험의 결과는 무한의 자유도를 갖는 발화 모습의 특성으로 인해 통계적 방법으로 구축된 시스템은 매우 낮은 61.8%의 인식률을 보였으며, 통계적 겹침을 어느 정도 해결하는 불확실성을 반영하는 확신도를 이용한 전문가 시스템에서는 80.9%의 비교적 좋은 인식률을 얻을 수 있었다. 최고의 인식률은 사람의 인지 과정을 흉내 내는 신경망 시스템에서 얻을 수 있었으며 87.44%였고, 개선된 파라미터를 이용한 실험은 신경망 시스템에서 91.1%의 비교적 높은 결과를 얻었다.
This describes the whole course about the automatic speechreading on color images. The implemented whole course was intended to detect the face from input image, extracting the parameter from the face and recognizing the speech by the use of the...
This describes the whole course about the automatic speechreading on color images. The implemented whole course was intended to detect the face from input image, extracting the parameter from the face and recognizing the speech by the use of the parameter.
To do this, some methods were developed and utilized. The method to draw a skin color pixels was developed for detecting the face. This method consisted of selecting a skin color pixels from image DB, arranging a skin color pixels in various color space, choosing color space to extract efficient skin color, organizing the function to decide skin color pixel from input image pixels, organizing the function to make a skin color block as the skin color pixels, organizing the EyeMap and the MouthMap to decide whether the block is the face or not, and organizing the method to find nose end and jaw end.
This method used to extract the face from the input image under the various background and various lighting which make big influence at an automatic speechreading and to solve the problem to deal various speaker and various pronunciational habit using the TS-transform.
Also, this describes two useful parameters for an automatic speechreading. The first one is a geometrical feature. Region of interest for this is a nose end and jaw end including the top and bottom right and left of the mouth. 6 interesting points around the lip were measured for the opened degree of the lip and the opened angle of the jaw. The distance change of these 6 interesting points was analyzed and characterized when people pronounced 5 vowels(/a/e/i/o/u/) of Korean language. 450 datas were gathered and analyzed.
Based on this analysis, the recognition system was constructed and the recognition experiment was performed. In the experiment, 80 persons were selected. The observational error between samples was corrected by the use of the normalization method. Among them 30 persons were analyzed and 50 persons were experimented. Three recognition systems were constructed. These neural net system showed the best recognition result of 87.44 %.
A second parameter is an appearance based feature. The edge parameters were drawn from speaking image around the lip. Speaking images around the lip were divided into 5x5 pane. In each pane the number of digital edge element using Sobel operator was evaluated. The observational error between samples was corrected by the use of the normalization method, and the normalized value was used for parameter. This experiment was sampled 50 perons. The images of 10 persons were analyzed and the images of another 40 persons were experimented for the recognition. 500 datas were gathered and analyzed. Based on this analysis, the neural net system was constructed and the recognition experiment was performed for 400 datas. The neural net system showed the best recognition result of 91.1%.
In the experiment to convince the strength of parameter, the result was very good compared to the ones of existing similar experiments.
，韩语论文题目，韩语论文题目 |
