Key Points
- 사람의 언어를 이해하고 사람과 의사 소통 가능한 인공지능 개발이 앞으로의 목표
- Young Achiever(2017)·최고 논문상(2020)·최고 강의상(2018-21)·최고 연구상(2023)
- 연구 개발 성과…호주 정부 기관과 구글, 마이크로소프트 등 대기업 상용화로 이어져
- 제대로 된 교육자 되고 싶어…"행복하게 자기만의 연구 목표가 있는 삶을 살았으면"
호주 과학의 미래를 비출 차세대 한인 과학자 대담.
연구자로서의 삶과 진행 중인 연구의 최전선에 대한 학술적인 이야기를 들어봅니다.
유화정 프로듀서(이하 진행자): 호주 과학의 미래를 비출 차세대 한인 과학자 대담. 오늘은 인공지능 AI 연구에 기여하고 있는 멜버른대 컴퓨터 공학부의 한소연 박사를 만나봅니다. 안녕하세요?
한소연 박사(이하 한소연): 안녕하세요.
진행자: 한소연 박사님 인공지능 AI를 연구하시는 분이라 무척 궁금하거든요? 현재 어떤 분야에서 활동하고 계신지 먼저 자기소개 부탁드릴게요.
한소연: 네 저는 호주 멜버른 대학의 컴퓨터 공학부에서 Senior Lecturer로 일하고 있는데요. AI랑 NLP 그리고 인공지능 자연어 처리라고 생각하시면 될 것 같고요. 연구하고 가르치고 있는 한소연이라고 합니다. 시니어 렉처러는 간단하게 미국이나 한국에서 부교수라고 생각하시면 될 것 같아요. 호주에서 학사·석사·박사를 다 졸업했고요.
첫 직장을 시드니대로 시작하게 됐는데 시드니 대학 자연어처리 연구실이랑 호주 딥러닝(Deep Learning) 자연어처리 연구실을 설립하고 주도했습니다. 지금은 멜번대 부교수직을 막 시작했고요. 그러다 보니까 시드니대, 웨스턴 오스트레일리아대, 태즈매니아대, 영국 에든버러대, 한국 포항공대에서 겸임 부교수직을 맡고 있어요. 현재 18명 정도의 박사과정 학생이랑 석사과정생을 지도하고 있고 텍스트 이미지 영상, 음성, 센서 등등 다양한 멀티 모달로 상황을 감지하고 스스로 생각하게 하는 인공지능 연구를 하고 있어요.
진행자: 자연어 처리, 딥 러닝, 멀티 모달 AI, 주변에서 듣기는 했어도 아직은 일반화되지 않은 단어들이에요. 어떤 것을 말하는지 잠시 뒤에 하나씩 찬찬히 짚어보기로 하고요. 현재 멜버른 대학에 적을 두고 계시면서 호주의 여러 대학뿐만 아니라 영국 에든버러 또 한국 포항공대까지 겸임 부교수직을 맡고 계시다면 그러면 종종 비행기 타고 강의 다니시겠어요? (웃음)
한소연: 사실 겸임교수직을 여러 군데에서 맡게 된 이유가 아무래도 그만큼 여러 대학에서 공동 연구를 많이 하고 있고 또 많이 했고 연구하는 학생들을 많이 관리하고 있습니다. 보통은 연구하는 석·박사 학생들을 함께 공동 지도하고 있고 새로운 문제에 대해서 상의하고 어떻게 컴퓨터가 해결할 수 있을지 해결 방법을 제시하는 걸 함께 만들어내는 걸 하고 있어요. 겸임 교수로 서요. 그래서 저는 의료나 파이낸스 등 좀 여러 가지 분야에 관심이 많아서 컴퓨터나 인공지능이 해결할 수 있는 문제라면 좀 가리지 않고 공동 연구 과제가 점점 늘어나게 돼서 겸임 교수로 여러 곳에서 함께할 수 있었던 것 같습니다. 물론 강연도 강의도 자주 가서 하는 편이에요.
Dr. Caren Han, Carrying_the_Mace_gifted_by_Queen_Victoria_at_USYD_as_a_Teaching_Champion.
한소연: 제 주요 분야는 인공지능과 자연어처리(AI and Natural language Understanding)라고 하는데요. 아마 많은 분들이 알고 계실 텐데 ChatGPT 같은 Large Language Model, 거대 언어 모델이라고 다들 부르시는데, 사람 언어를 이해하고 그 내용을 사람 의사소통으로 할 수 있을지 그런 인공지능을 만들어내는 게 목표인 분야입니다. 그러다 보니까 사람과 아주 유사하게 행동할 수 있고 생각할 수 있는 인공지능을 만들어내는 게 아주 중요한데요. 사람은 보통 상황이나 현상을 이해할 때 '말'이나 '글' 뿐만 아니라 뭔가 시각적으로 눈으로 보고 아니면 센서로 사태를 감지하고 등등 아마 여러 가지 모달 즉 방식을 사용하는데요.
그래서 사람이 이렇게 인공지능과 말로 대화를 할 때 이런 여러 가지 모달 방식으로 어떻게 상황을 명확하게 똑똑하게 이해할까에 있습니다. 이걸 '멀티 모달(Multi Modal)'이라고 하는데요. 이걸 이해해서 대화를 하고 감정을 분석하고 할 수 있는 거죠. 그래서 인공지능이 왜 이런 대답을 할 수 있는지 알 수 있는 설명 가능한 인공지능도 함께 만들고 있고, 그래서 지난 5년간 인공지능 분야가 아주 크게 발전을 했고요. 사실 저희 연구도 멀티 모달 이해, 멀티 모달 질의응답 분야에서 세계 최고로 성능을 내는 기술을 개발했고 그래서 이런 연구들을 좀 학회나 최고 학회나 저널에 관련 논문을 출판했습니다. 출판할 뿐만 아니라 실제 사용을 할 수 있게 정부기관이나 기업의 상용화도 했고요.
진행자: 연구 논문 실적에 아주 괄목할 만한 수상 경력을 갖고 계신데요. 자랑 좀 해주세요.
한소연: 제가 다른 교수님들을 비교해서 아주아주 많이 받은 건 아닌데 간단하게 수상 경력을 말씀을 드리면 최근 5년간 연구로는 최고 논문상 (ICONIP 2020), 최고 분야 논문상(COLING 2020) 같은 걸 받았었고요. 국제 컴퓨터 학회 논문 랭킹에서 A 플러스 혹은 A 랭킹의 학회와 저널에 5년 동안 44개의 탑 티어 논문을 게재했습니다. 그러다 보니까 2023년에는 물리학, 수학, 컴퓨터 공학에서 최고 젊은 연구상을 받았고요.
진행자: 축하드립니다!
한소연: 감사합니다. 그리고 이런 연구 실적으로 해서 지난 8년 동안 국제·국내 연구 산업 연구 자금, 구글이나 NASA나 마이크로소프트 등등 600만 달러 이상을 성공적으로 확보할 수 있었습니다.
진행자: 그리고 특히 베스트 강의 교수로 뽑히셨다고요?
한소연: 네 제가 강의로 2017년에 Young Achiever 상을 받았었고요. 그리고 2020년에 올해 강의 교수상, 2021년에는 올해 지도교수상, 2018년부터 2021년까지는 대학 최고 강의상을 받았는데요. 제가 학생들을 강의하는 걸 너무 좋아해서 대학에 아직 남아 있기 때문에 강의를 통해서 받은 상이 사실 더 가치가 있고 학생들에게 아주 고맙습니다. 강의를 할 때 학생들 그 눈 처음 이해를 못 하겠다가 이후에는 이해를 하고 초롱초롱해지는 그 눈들이 사실 저를 힘나게 하고 기쁘게 하는 것이에요.
진행자: 저도 초롱초롱하게 눈 크게 뜨고 귀도 열어서 잘 듣겠습니다. (웃음) 연구개발한 AI 모델들이 현재 정부기관과 기업체에서 상용화되고 있다고 하셨는데요. 구체적으로 어떤 분야에 쓰이고 있나요?
한소연: 최근에 대기업과 함께하고 있는 걸로는 2024년부터 올해죠. 구글과 함께 시작하고 있는 멀티 모달 정신감정 시스템이 있고요. 2022년 프랑스 텔리스 선거 분석 시스템, 그리고 구글 멀티 모달 문서 분석 시스템, 마이크로소프트 사진 기반 스토리텔링 시스템 등등 여러 가지 분야에서 사람에게 도움이 되는 시스템이 사실 존재한다면 최대한 해결을 해보려고 노력하고 있습니다.
그래서 정부기관과 공동 연구하고 상용돼 있는 것들은 호주 정부기관 우주연구센터 멀티 모달 피로도 분석과 한국은행 문서 대화용 시스템, 그리고 2022년부터 시작한 홍콩 정부 의료 멀티 모달 대화형 시스템, 그리고 호주 정부 멀티모달 센서 네트워크 분석 시스템이 대표적인데요. 사실 연구실에서 매일 이론적으로 아이디어를 내고 간단한 시스템을 만들어서 테스트하고 논문 쓰는 것만 집중을 했었는데, 이렇게 기업이나 기관으로 공동으로 같이 상용화시키고 사실 실제 세상에 이렇게 적용할 수 있다는 게 아주 재밌는 것 같아요. 그래서 이런 새로운 이론이나 해결책을 연구실 안에서 박사과정 학생들이나 아니면 다른 교수님들이랑 상의를 해서 제안하는 것들이 사실 저에게 너무너무 재미있습니다.
Teacher of the Year 2020 Award Sydney, Dr. Caren Han (Second from the right)
한소연: 사실 큰 이론적으로는 알파고나 현재 아주 유명한 챗봇 ChatGPT나 제가 하고 있는 여러 상황에 함께 이해하는 멀티 모델 AI나 크게 다르지 않을 것 같아요. 결국 목표는 사람을 얼마나 비슷하게 만들어서 혹은 사람보다 더 똑똑하게 사람이 하고자 하는 것에 도움이 될까이니까요. 사람보다 더 "똑똑하게"라는 말이 굉장히 광범위한 말인데 '무엇을 이용해서' '어떻게' 똑똑하게 만들까? 즉 똑똑하게 만드는 방식이 각각의 인공지능이 다른 점 같습니다.
알파고는 강화 학습이라고 행동심리학에서 영감을 받아서 만든 방식인데요. 인공지능이 현재 상태를 인식해서 선택하면 보상을 다르게 줘서 똑똑하게 만드는 방법입니다. 보통 개나 동물을 훈육할 때 쓰는 방법과 비슷하다고 생각하시면 될 것 같고, 요즘 핫한 ChatGPT도 알파고와 비슷한데 인공지능이 뭔가를 만들어내면 좋은 답변 나쁜 답변같이 랭킹을 나눠줘서 알려줘서 어떤 사람에게 좋은 말인지 어떤 게 사람에게 나쁜 말인지를 학습하게 해서 똑똑하게 만드는 방법을 사용했고요.
제가 하는 분야는 여러 가지 모달 그러니까 텍스트, 이미지 센서 등등 무엇을 이용해서 어떻게 똑똑하게 만들까에 집중을 합니다. 사람은 똑똑해지고 싶을 때 하나의 방식을 가지고 상황을 이해하지 않고요. 사람이 어떤 문제를 도움을 받고 싶을 때 무엇을 이용해서 어떻게 똑똑하게 만들지 두 가지를 다 보는 것이 사실 멀티 모달 같아요.
진행자: 인간이 사물을 받아들이는 방식과 동일하게 학습하는 인공지능, 즉 인간처럼 사고하는 인공지능을 멀티 모달이다 이렇게 저는 이해가 되는데요. 어떤 학습 과정을 거치게 되나요?
한소연: 사실 이전 질문에서 답변드렸듯이 멀티 모달 연구의 목표는 어떤 모달 즉 무엇을 이용해서 어떻게 인공지능을 똑똑하게 만들까입니다. 그런데 사실 텍스트나 이미지, 센서 이런 여러 가지의 모델은 컴퓨터 즉 인공지능 입장에서는 각각 너무 다른 방식으로 이해할 수밖에 없어요.
예를 들어 컴.퓨.터라는 세 가지 단어로 된 텍스트를 이해한다고 하면 정말 여러 의미가 내포돼 있을 거예요. 노트북이 될 수도 있고 데스크탑이 될 수도 있고 여러분이 사용하시는 핸드폰도 하나의 컴퓨터가 될 수도 있죠. 근데 이 컴퓨터라는 사진 이미지가 있다고 생각하시면 그 특정 컴퓨터 이미지, 색깔, 사이즈 각도 이런 것들이 확연하게 존재하고 텍스트와는 완전히 다른 방식으로 이해가 되죠.
이런 여러 가지 모달들을 컴퓨터가 같이 학습하고 이해해야 어떠한 문제를 해결할 텐데 이 각기 다른 모달의 연결성을 만들어내서 인공지능을 똑똑하게 만들기가 아주 힘듭니다. 그래서 아직 연구할 부분이 많은 분야이고 그래서 제가 이게 너무 좋은 이유입니다.
SBS 한국어 프로그램 [과학자대담] 멜버른대 컴퓨터 공학부 한소연 박사
한소연: 맞습니다. 컴퓨터의 아버지라고 불리는 영국 과학자 알란 튜링이 1950년에 발표한 컴퓨터 기계화 지능 논문에서 처음 언급되었는데 컴퓨터가 인간 수준의 지능을 가지고 있는지 그만큼 똑똑해서 사람들이 이게 컴퓨터인지 인간인지 판단하는데 헷갈려할까 하는 테스트를 했습니다.
진행자: 흥미로웠겠어요. 당시.
한소연: 이런 테스트 이름을 알란 튜링 교수의 이름을 따서 튜링 테스트라고 하는데요. 이 개념은 인공지능에 엄청난 영향을 끼쳤습니다. 사실 컴퓨터가 사람처럼 똑똑하냐 하지 않냐는 거를 처음 확인한 것이니까요. 그래서 1956년에 미국 다트머스 대학에 있던 존 매카시 교수가 개최한 다트머스 회의를 통해서 이 인공지능(AI)이란 용어도 나오기 시작했는데요. 이 당시 인공지능의 핵심은 인간처럼 생각할 수 있고 문제를 풀 수 있게 만드는 것이었는데요.
사실 이게 1970년대까지 활발히 진행되다가 컴퓨터 성능이나 데이터 부족 등의 이유로 복잡한 문제까지 풀기 위한 수준까지는 가지 못했어요. 그래서 저희는 이걸 '인공지능 첫 빙하기'라고 말하는데요. 1980년대에는 사람이 입력한 규칙을 기반으로 자동 판정을 내리는 전문가 시스템이 등장해서 의료 또는 법률 등에서 많은 분야를 해서 황금기를 맞나 했는데, 아쉽게도 이 시스템은 사람이 설정한 규칙에만 의존해서 이 모든 현실 세계를 이해하게 규칙을 만드는 게 한계가 발생을 하게 됩니다.
진행자: 두 번째 빙하기를 맞이했군요?
한소연: 그렇죠. 그랬는데 이제 2000년도 초반부터는 컴퓨터 성능도 훨씬 좋아지고 하드웨어도 빨라지고 인터넷도 생겨서 웹에 대량의 데이터를 활용할 수 있게 되어서 이전의 한계점이 해결되고 나니까 인공지능에서 인공신경망이라는 인간의 뇌와 같은 인공지능을 만들어서 이런 대량의 데이터를 활용해서 해보자 해결을 해보자 하는 의견들이 나오기 시작했습니다. 그 대표적인 사례가 캐나다 토론토대 교수인 제프리 힌튼 교수인데요. 이 교수님께서 딥러닝 기술을 만들어냈습니다. 이 딥러닝 기술이 현재 모든 유명한 인공지능 시스템들인 알파고, ChatGPT, 그리고 제가 하는 멀티 모달 AI까지 이 딥러닝 기술로 활용하고 있습니다.
Dr. Caren Han, UK_Oxford_Uni_Visit_Talk_and_Discussion
한소연: 사실 이런 질문해 주셔서 감사합니다. 제가 인공지능 공학자라서 이런 말을 한다고 생각하실 수도 있지만 저는 사실 '코딩을 배워서 현재 내 생활에 존재할 수 있는 문제를 해결할 수 있는 인공지능을 쉽게 만들 수 있다' 이건 정말 두려울 일이 아니라 흥미로운 일이 아닐까 싶어요. 왜냐하면 처음 인터넷이 나왔을 때 아니면 처음 구글이 나와서 웹에서 자료 검색 쉽게 되었을 때 모두들 직장을 잃을 거라는 생각에 두려워했었고 그 당시 노년층들에게도 굉장한 두려움이었던 걸로 기억이 됩니다.
지금 인공지능이 두려운 것도 같은 이유라고 생각이 되고요. 하지만 지금 보시면 구글을 사용해서 웹 검색이 쉬워졌기 때문에 오히려 생활이 편해진 것 같아요. 폰을 사용해서 구글 맵 앱을 사용해서 걸어 다니면서 운전하면서 길 안내받기도 쉽잖아요. 예전처럼 운전할 때 길을 잘못 든 것 같으면 큰 사이즈의 지도를 들고 갓길에 세웠다가 확인 후에 다시 운전하지도 않고요.
Italy_Rome_Sapienza_Visit_and_Seminar
한소연: 그래서 '인공지능이 쉽게 사람들에게 만들어지고 초등학생도 만들 수 있다' 이 뜻은 우리 일상생활의 문제가 아주 쉽게 누구나 원하는 때에 해결할 수가 있고 그 인공지능 시스템이 여러 사람에게 배포되고 원하는 사람들이 핸드폰에서 사용하게 되고 이렇게 삶의 질이 오히려 윤택해지는 생상을 상상해 보시면 전혀 두려워할 것이 아니라 오히려 기분 좋은 일인 것 같아요.
진행자: 왜 베스트 강의상을 받으셨는지 알 것 같습니다. 묘하게 설득이 되는데요. (웃음) 세계 최고의 미래 전략가 제이슨 솅커가 "AI가 사람을 밀어내는 것이 아니라 AI를 잘 쓰는 사람이 못 쓰는 사람을 밀어낸다."라는 발언을 했습니다. 바로 챗Gpt의 등장으로 전 세계 일자리 18%가 사라진다는 예측 뒤에 나온 발언입니다. 또 AI 챗봇 정보 수준이 인간의 뇌가 보유한 수준을 추월할 수 있다는 경고도 나오고 있고요. 이러한 여타 사회적 우려에 대해서 AI 연구 전문가들은 어떤 생각을 하고 있을까요? 특히 우리 한소연 박사님.
한소연: 저는 사실 제이슨 솅커 말이 어느 정도 맞다고 생각을 하고요. 왜냐하면 인공지능이 아무리 똑똑하더라도 아직 사회적 상호작용, 감정 이해, 사건 이해 능력이 현저히 떨어집니다. 사람과 비교해서요. 예를 들어 두 사람이 밥을 먹고 있는 사진이 있다고 하면 그 두 사람이 어떤 감정으로 인해서 어떤 상황에 놓여 있어서 어떤 이유로 같이 밥을 먹을 수 있는지 사람처럼 완벽하게 이해하기가 어렵습니다. 간단한 상황은 이해가 쉽지만 복잡한 감정 사건 상호작용이 있다고 하면 인공지능은 거의 이해할 수가 없죠. 사람을 완벽히 대체할 수 없고 오히려 사람을 도와준다고 생각하면 될 것 같고 그 도우미를 잘 쓰는 사람이 못 쓰는 사람보다 잘 되겠죠.
그래서 인공지능 교수들도 두 부류로 나뉘고 있고요. 너무 똑똑해서 세상에 오픈하면 안 된다. 세상이 혼란스러워질 것이다라는 말하는 경우도 있고. 딥러닝 인공지능 학계를 주도하고 있는 얀 르쿤이나 매닝 교수는 인공지능은 스스로 생각하고 상황을 분석을 완벽하게 한다고 하기에는 아직까지 부족하다고 말하고 있습니다. 그래서 저는 사실 컴퓨터의 기억력과 응용력은 사람을 뛰어넘은 지 꽤 오래됐지만 아직 상황 판단, 사람의 상호작용, 문화적 이해가 아직 현저히 부족함으로 사람을 이해하고 대체하고 필요 없어지기에는 아직 힘들어 보입니다.
Dr. Caren Han, Yonsei_University_Visit_and_Seminar_Talk
한소연: 제가 말씀드렸듯 저는 호주에서 학사 석사 박사를 다 졸업하고 호주 대학에서 교수직을 시작했습니다. 정말 다사다난한 많은 일들이 있었는데요. 저는 사실 매일매일 하루도 쉬지 않고 열심히 공부했고 박사 과정 시절에는 새벽 3시 4시에 집에 가는 날이 그렇지 않은 날보다 많았고, 초임 교수로 시드니대에서 일할 때도 밤 11시 12시까지 공부하고 일하다 퇴근했습니다. 지금도 유럽 영국 대학과 공동 연구 때문에 시차가 다르기 때문에 새벽 2시까지 미팅을 하는 일도 다반사인데요. 이렇게까지 하면 주변 사람들이 워크홀릭이다 왜 저렇게 사냐 이런 말들을 많이 하세요. 근데 저는 이런 문제를 해결하고 만들어내는 것이 너무 재밌어요. 그래서 주말에도 공부를 조금이라도 안 한 날이 없고요.
15년 동안 1년 365일 조금이라도 계속 보고 공부하고 만들어보고 했습니다. 이런 삶을 살 수 있는 원동력이 제가 이 일을 너무 좋아해서 그런 것 같고요. 제가 인공지능을 분석하고 만들어내는 일이 너무 좋아요. 그 컴퓨터 세상 안에서 무궁무진하게 만들어내는 그 세상이 너무 좋고 만들어낸 인공지능을 학생들에게 가르치는 건 더 좋습니다. 이 일이 이 생활을 할 수 있게 만드는 너무 좋아서 이 직업을 선택을 했고요. 물론 가족들의 응원, 특히 남편의 지원이 가장 중요했어요. 남편은 아직도 절 출퇴근시켜 주고 같이 웃어주고 울어주고 합니다.
지금 이 이야기를 하는 이유는 학생들이 돈이나 명예를 좇지 말고 자기가 하고 싶은 일을 좀 찾아서 했으면 좋겠다는 이야기를 하고 싶어요. 다양한 학생들도 만났고 학부모님도 만났는데요. 거의 모두 질문이 "이 분야가 계속 잘 나갈까요? 돈을 많이 벌까요?" 하는데 답은 항상 "모릅니다"입니다. 졸업하고 직장을 자리 잡을 쯤에는 약 10년 후일 텐데 어떤 분야가 어떻게 잘 나갈지 누가 명확하게 알 수 있을까요? 잘 나가고 돈을 잘 벌고 이게 아니라 내가 이게 오랫동안 할 수 있고 이 분야가 너무 재밌어서 매일 하고 싶고 성실하게 지속할 수 있게 되고 그 분야에 푹 빠질 수 있는 전문가가 되었으면 합니다.
Dr. Caren Han (front row left) with_NLP_Research_Group_Students_Supervised
한소연: 저는 사실 두 가지 목표가 있는데요. 연구 이론적으로는 인공지능이 여러 가지 상황을 여러 방식으로 인지할 수 있게 만들고 싶고, 그걸 사람이 보고 인공지능이 잘못된 판단을 했다면 사람이 잘못했다면 훈육할 수 있는 인공지능을 만들고 싶어요.
그리고 제 일 적으로의 최종 목표는 제대로 된 교육자가 되는 것입니다. 제 학생이 돈이나 명예를 좇지 않고 재미있게 인공지능을 공부하고 만들어내는 연구자로 만들고 싶어요. 제가 가르치는 걸 듣고 경험하고 배우고 그래서 행복하게 자기만의 연구 목표가 있는 삶을 살았으면 합니다. 그리고 그 이후에 학생들이 한소연 교수가 이렇게 저렇게 말하고 경험하게 해 줬던 것들이 내 실제 삶에 이렇게 도움이 됐구나 할 수 있었으면 좋겠어요.
진행자: 저는 오늘 인터뷰 앞두고 내심 걱정을 했거든요. 이 어려운 내용들을 정말 쉽고 명확하게 풀어주셔서 즐거운 대담이 됐고요. 또 인공지능과 좀 가까워진 것 같아요. 오늘 함께해 주셔서 감사드리고요. 앞으로도 행복하게 연구에 정진하시기 바랍니다.
한소연: 네 감사합니다.
진행자: 지금까지 멜버른 대 컴퓨터 공학부 한소연 교수, 진행에 유화정이었습니다.
멜버른대 컴퓨터 공학부 한소연 박사(왼쪽), SBS 한국어프로그램 유화정 프로듀서
READ MORE
차세대 호주한인 과학자들
