| Home | Research | Publications | Members | Courses |

정보이론 및 기계학습 연구실 소개

우리 연구실에서는 정보이론 및 기계학습을 중심으로 통신, 레이다, 신호처리, 스토리지등 다양한 응용 분야를 연구 하고 있습니다. 정보이론 분야는 섀넌에 의하여 1948년에 창시되었으며, 오늘날까지도 정보와 관련된 많은 분야에서 펀더맨털한 이론을 제공 해 주고 있습니다. 디지털이라는 단어조차 생소하던 60여년 전에 이미 섀넌은 디지털 통신의 이론적 토대를 마련하였으며, 소자의 집적도가 일정 한계를 넘어선 90년대에 와서 섀넌의 이론이 실제로 구현 가능해 짐에 따라 섀넌의 정보이론은 오늘날 거의 모든 디지털 기기 (HDTV, MP3, 4G LTE, WiFi 등) 의 동작원리의 핵심이 되고 있어 섀넌은 디지털 시대의 아버지라고 불리고 있습니다 (섀넌과 정보이론에 대한 소개 비디오).

정보이론이 90년대 부터 실제 디지털 시스템에 적용될 수 있었던 주된 이유 중 하나는 무어의 법칙 때문입니다. 디바이스 집적도가 충분히 뒷받침이 되어 디지털적인 신호처리 및 정보처리가 가능해 진 90년대 이후 통신, 신호처리 분야의 많은 장치들이 급속도로 아날로그에서 디지털로 전환 되었습니다. 무어의 법칙은 그 뒤로도 약 20년간 계속 유효 했고 그에 따라 2010년대에 와서 프로세싱 파워 및 메모리가 일정 수준을 넘게 되자 딥러닝 등 기계학습 분야에서 다시 한 번 그 위력을 발휘하게 되었습니다. 신경망 구조를 심층화 한 딥러닝은 최근 다양한 분야 - 영상 인식, 음성 인식, 바둑 등 - 에서 인간의 능력을 뛰어넘는 성능을 달성하고 있는 등 얼마전 까지만 하더라도 불가능하다고 여겨지던 일들을 처리 하는 수준이 되었습니다. 우리 연구실에서는 정보이론과 같은 펀더맨털한 이론에 기반하여 다양한 기계학습 분야의 근본 원리를 이해하고 향상된 성능을 달성하는 새로운 기계학습 구조를 개발하는데 연구의 초점을 맞추고 있습니다.

진정한 의미에서 기계가 스스로 학습을 하는 머신 러닝은 이제 시작이고 앞으로 더욱 발전되고 많은 분야에 적용될 것으로 보입니다. 예를 들어 알파고 이전에도 많은 바둑 프로그램들이 존재하였습니다. 하지만 그런 프로그램들은 알고리즘을 생각해 내고, 코드를 작성하고, 디버깅 하는 데에 많은 인력과 시간을 필요로 했습니다. 그럼에도 불구하고 성능은 아마추어 중급 레벨 정도에 머물렀습니다. 반면에 알파고는 굉장히 빠른 시간 내에 스스로 바둑을 학습했고 창의적인 수를 찾아내어 이세돌 선수를 이겼습니다. 이런 사례들에서 보듯이 지금까지는 사람들이 일일이 디테일한 것까지 구현을 해야만 하는 느리고 비효율적인 방식이었다면 미래에는 기계가 스스로 복잡한 현상을 "이해"하고 새로운 방식을 "구현"하는 패러다임 전환이 점차 많은 분야에서 이루어 질 것으로 보입니다.

한편 딥 러닝 분야가 최근 많은 주목을 받고 있기는 한데 아직 이론적인 뒷받침이 많이 부족한 상태입니다. 많은 경우 이론적인 발전이 있고나서 "practice" 가 뒤 따르는 경우가 보통인데, 딥 러닝의 경우 그 반대입니다. 그렇다 보니 딥 러닝이 왜 잘 동작하고 어떤 문제를 푸는데 적합한가라는 근본적인 물음에 대한 답을 많은 연구자들이 찾고 있는 상황입니다. 그러한 물음에 답을 할 수 있으면 앞으로의 딥 러닝의 발전 속도는 더욱 가속화 될 수 있을 것입니다. 또한 딥러닝에 기반한 알파고는 인간이 1,000년 걸릴 학습량을 단기간에 소화하였습니다. 몇 년전 퀴즈쇼에서 인간 챔피언을 이긴 IBM 의 왓슨은 인터넷상의 방대한 양의 데이터에 기반하여 추론을 합니다. 지금까지 성공적이었던 인공지능 시스템들은 이런 식으로 방대한 양의 데이터에 기반을 두어 제한된 영역에서 인간을 능가하는 기량을 보이고 있습니다. 방대한 양의 데이터를 단기간에 다룰 수 있다는 것이 장점이 될 수도 있으나 어찌 보면 현재 인공지능 시스템들의 치명적인 단점이기도 합니다. 인간으로 치면 1,000년어치 학습을 하고도 이세돌에 한 판을 패한 알파고의 예에서 볼 수 있듯이 인간은 매우 짧은 시간에 효율적으로 학습을 할 수 있습니다. 반면 현재의 인공지능 시스템들은 학습 알고리즘의 한계로 인하여 매우 많은 (어쩌면 과도하게 많은) 데이터를 필요로 하고 있습니다. 적은 데이터만 주어져도 인간처럼 효율적으로 학습하고 깨닫는 것이 가능하려면 지금까지의 단순한 기계학습에서 벗어나 한 차원 높은 도약이 필요합니다. 예를 들어 현재의 딥 러닝에서는 매우 단순한 학습 알고리즘을 사용하여 방대한 데이터를 조금씩 학습을 해 나갑니다. 이러한 방법에서 벗어나 기계가 스스로 호기심을 갖고 효율적인 학습 방식까지도 찾을 수 있게 된다면 앞으로의 딥 러닝은 더욱 발전할 것이며 정보이론과 같은 펀더맨털한 이론이 그것을 가능하게 하는데 중요한 역할을 할 것으로 보여집니다.

인류는 새를 보면서 하늘을 날 수 있는 기계를 만들려고 노력했습니다. 하지만 새처럼 날개짓을 하는 방식으로 나는 것을 시도하다가 수 많은 실패를 했습니다. 굳이 날개짓을 하지 않아도 된다는 것을 깨닫게 된 순간 비행기를 만들 수 있었고 지금은 음속의 80%로 수 백명의 승객을 싣고 대륙을 횡단하는것이 일상화 된 단계에 이르렀습니다. 그러나 새들은 생물학적 한계로 인하여 그런 것을 할 수 없습니다. 반면 아직도 새처럼 효율적으로 날개짓을 하며 날 수 있는 기계는 존재하지 않습니다. Dijkstra의 말을 좀 바꾸어 표현하면 인공지능에 지능이 있느냐라는 질문은 비행기가 날 수 있느냐라는 질문과 유사합니다. 새와 완전히 똑같은 방식으로 날 수 있는 기계를 만드는 것은 매우 힘들고 인류는 아직도 그런 것을 만들지 못하였습니다. 하지만 그보다 훨씬 크고 빠른 비행기는 만들었습니다. 인간과 같은 방식으로 생각하고 느끼는 기계를 만드는 것은 매우 힘들 수 있습니다. 예를 들어 인간의 예술감각은 어느 정도 보편성은 가질 수는 있지만 어디까지나 인간에 국한된 감각입니다. 그런 것을 따라하는 것을 만드는 것은 쉽지 않을 것입니다. 하지만 인간보다 훨씬 빠르고 정확하게 생각하여 인류에게 도움을 줄 수 있는 기계를 만드는 것은 상대적으로 더 쉬울 수 있습니다.

우리 랩에서는 평소 근본적인 원리가 궁금하여 끝까지 알려고 파고드는 학생들, 수학 및 물리에 관심이 많고 펀더맨털한 이론을 공학에 적용하여 세상에 없던 것을 만들어 보고자 하는 학생들을 환영합니다.

우리 랩에서 현재 수행 중인 연구는 다음과 같습니다.

  • Deep reinforcement learning: 강화학습에 딥러닝을 적용한 심층 강화학습을 사용하면 매우 복잡한 환경에서도 스스로 학습을 하여 성능이 개선되는 agent 를 만드는 것이 가능합니다. 하지만 DQN 과 같은 예에서 보듯이 많은 경우 인간에 비하여 학습속도가 매우 느린 단점이 있습니다. 본 연구에서는 이를 해결하고자 experience replay memory 를 효율적으로 활용하는 등의 방법을 사용하여 학습속도를 비약적으로 개선하는 것을 목표로 하고 있습니다.
  • Deep reinforcement learning for IoT: 사물 인터넷 환경에서 사용자의 의도를 학습을 통해 파악하여 맞춤형 서비스가 가능한 IoT 기기 개발.
  • 딥러닝을 적용한 레이더 개발: 자연에는 이미 우수한 성능을 달성하는 레이다가 있습니다. 예를 들어 박쥐는 뇌 속의 신경망을 잘 활용하여 매우 복잡한 신호처리를 하여 장애물과 먹이를 구별하고 복잡한 지형과 미로 같은 환경에서도 길을 잘 찾아갑니다. 하지만 인간이 만든 레이다는 이에 비하면 매우 단순하여 간단한 수준의 목표물 탐지에만 이용되고 있습니다. 본 연구에서는 통신과 딥 러닝의 융합 연구를 통해 박쥐의 신경망을 모방하여 기존 레이다에 비하여 향상된 성능을 달성하는 레이다를 개발하는 연구를 수행 중입니다. 이는 향후 드론 및 무인자동차 등 많은 분야에서 활용될 수 있습니다.
  • Natural language processing: 자연어 처리에 Generative Adversarial Network (GAN) 및 MCTS 기법 등을 적용하여 기계 번역 및 대화형 인공지능 분야에서 보다 자연스러운 문장을 만들어 내는 연구를 수행 중입니다.
  • Flash memory: 심층 강화학습을 사용하여 복잡한 데이터 패턴을 학습하여 이를 통해 차세대 플래시 메모리의 수명을 연장할 수 있는 기법을 연구하고 있습니다.
  • 5G 이동통신: 딥러닝 기법을 활용하여 5G 차세대 이동통신 환경에서 사용자 간 간섭을 최소화 할 수 있는 기법을 연구 중입니다.



  • Information Theory & Machine Learning Lab, School of EE, KAIST
    291 Daehak-ro, Yuseong-gu, Daejeon, South Korea, 34141
    Tel: +82-42-350-5481, +82-42-350-8081