4.최종 보고

                    종합설계 프로젝트 최종보고서 요약

팀명

ALSO

제출일

2012 5 29

프로젝트 제목

 영상처리를 이용한 수식계산시스템(Camculator)

설계 프로젝트 개요

프로젝트 수행 내용 및 중간 결과

프로젝트 요약문

Camculator는 입력되는 수식의 이미지를 처리하여 수식의 계산결과를 보여주는 시스템이다.

기존에 출시되어있는 공학용 계산기는 사용상에 있어서 많은 불편함을 내재하고 있다.

1. TEXT위주의 User Interface를 취하고 있어 입력커서의 컨트롤이 매우 불편하다.

2. 기능을 알 수 없는 버튼들이 많고, 그 기능들을 사용하기 위해서는 사용법을 별도로 '학습'해야한다.

3. 제공되는 버튼의 수에 비해 많은 기능을 제공하기 때문에 하나의 기능을 호출하기 위해서 여러번의 입력이 필요하다.

4. 모델별로 수식표현법, 입력법 등이 다르므로 기기의 변화에 따라 사용자가 적응해야한다.

공학용 계산기의 불편함은 대부분 사용자 입력방식에 있다. 이 프로젝트에서는 수식의 입력을 버튼이 아닌 Camera에 의해 촬영된 정지영상으로 입력하도록 재구성하여 불편함을 해소하고자 한다.

마일스톤 수행 내용

구현 완료

모듈 통합, 시스템 구현 완료

산출물:

1.     어플리케이션 실행파일

2.     구현 소스 코드

3.     시험 계획서

2012-05-04

2012-05-10

테스트

시스템 통합 테스트

산출물:

1.     시험 결과 보고서

2012-05-11

2012-05-23

최종 보고서

최종 보고

산출물:

1.     최종 보고서

2.     포스터

3.     어플리케이션

2012-05-24

2012-05-31
















최종 보고 요약

Smart Phone의 카메라를 통해 입력된 수식영상을 처리하여 계산 결과를 보여주는 기술 및 Smart Phone Application을 개발한다. Template Matching기법을 이용한 문자인식, 수식을 처리하기 위한 추상구문 트리 구축, 추상구문트리의 계산 등을 구현하였다. 본 보고서에서는 지금까지 설계 및 구현한 결과물을 상세히 설명하고, 이에 대한 시행착오 및 실험 결과 등을 기술한다.

프로젝트 결과
  • 인식률

Camculator는다음과 같은 제약사항을 만족하는 영상에 대해서 94%의 인식률을 보인다.

    1. 비틀어지지 않은 영상 (수직 위에서 촬영)
    2. Blur되지 않은 영상
    3. 해상도가 충분히 큰 영상

비틀어진 영상은 Template Matching하기 위해서 한 개의 문자에 대해 여러 개의 학습데이터를 보유해야 한다는 문제점이 있다. 이것은 인식 속도 저하로 이어지기 때문에 수식을 수직 위에서 올바르게 촬영해야 한다는 제약사항으로 남겼다.

Blur된 영상은 Labeling을 수행함에 있어서 하나의 문자영역을 정확히 탐지하기 힘들다. 문자와 배경 사이의 경계를 구분하기 힘들기 때문인데, Smart PhoneFocusing기능으로 어느 정도 해결할 수 있지만 이미 입력되어버린 흐린 영상은 처리할 수가 없다또한 해상도가 낮은 영상은 문자인식을 위해 크기를 정규화 시켰을 때 Blur된 영상과 동일한 특징을 보여 역시 처리할 수 없다.

다른 문자인식 기법을 사용한다면 보다 적은 제약사항으로도 속도와 인식률을 대폭 향상시킬 수 있을 것으로 예상한다.

  • 인식속도

Template Matching을 준비하기 위해서 시중에 판매되는 문제집을 촬영하여 학습데이터를 구축하였다. 구축된 학습데이터는 총 62가지, 3700여장이다. Template MatchingPixel마다 연산을 수행하기 때문에 속도가 매우 느리다. 또한 학습데이터가 유연성 없이 고정되어 있기 때문에 학습데이터와 조금이라도 다르게 촬영된다면 인식률에 큰 영향을 미친다.

이러한 부분을 해소하기 위해 여러 방향에서 촬영한 학습데이터를 모두 갖추었는데, 이것은 직접적인 속도 저하로 이어진다.

최초 Template Matching에 사용된 학습데이터는 3700장 전체이며, 한 문자당 평균 50여개의 서로 다른 학습 데이터를 소유하고 있다. 그러나 이러한 환경에서 인식속도는 문자당 2초를 초과했다. 수식에 10개의 Component가 식별되었다면 문자인식에만 20초이상이 소요되는 샘이다. 이는 허용할 수 없는 수치이므로, 학습 데이터 량을 대폭 줄여 1개문자당 최대 10개의 학습데이터를 갖도록 수정하여 문자당 인식속도를 0.7초로 개선하였다.

  • 인식 및 계산 가능한 수식유형

동영상


첨부화일

Ċ
markers@cs.kookmin.ac.kr,
2012. 5. 29. 오전 6:19
Ċ
markers@cs.kookmin.ac.kr,
2012. 5. 29. 오전 2:55
Ċ
markers@cs.kookmin.ac.kr,
2012. 5. 29. 오전 6:17
Comments