[구글 머신러닝 부트캠프 2024] 빅테크 기업 해커톤 참여 후기

11 Dec 2024 in ML on ml

• 1. 지원
• 2. 주제 선정 및 진행 방식
• 3. 결과 및 시연
• 4. 후기

• 구글 머신러닝 부트캠프 2024, NIPA-Google ML 부트캠프 협력 실무 프로젝트(4기)에 이어 후속으로 참여하였던 빅테크 기업 해커톤의 후기를 남긴다. 꽤 그럴듯한 3부작 시리즈로 마무리한 것 같아 여운이 남는 것 같다.

1. 지원

• 11월 8일에 NIPA에서 진행했던 부트캠프 협력 실무 프로젝트를 마무리한 후에도 우리 팀은 여전히 연락을 주고받으며 시간을 보내고 있었다. 그러다가 NIPA 쪽에서 해커톤에 관한 정보를 건네주었고, 그대로 스무스하게 여기까지 나가보는 것으로 정하게 되었다.

2. 주제 선정 및 진행 방식

• NIPA에서 진행했던 대로 6명이 우루루 한 팀으로 나갈 수는 없었기 때문에 3/3으로 찢어져서 주제 디자인을 시작했다. 우리 팀의 경우 AI를 활용한 사회 문제 해결이라는 대주제에 맞추어 딥페이크 사진 판별 AI 프로그램을 디자인하기로 정했고, 어쩌다보니 닌자(?) 이야기가 나오게 되어 팀명을 3 Ninjas로 정하게 되었다. 돌이켜 생각해보면 닌자의 그 으슥한 이미지와 딥페이크 판별이 어느정도 연관성을 가지고 있지 않나 싶기도 하다. 또 개인적으로 로고가 힙하게 잘 나온것도 만족스러웠다.

• Detect It Yourself라는 프로젝트 이름은 내가 지었는데, 이미 유명한 표현인 “Do It Yourself”에서 따왔다. 직접 한다는 의미를 딥페이크 판별에 결부시켜, 직접 딥페이크를 판별해보자는 메시지를 전하고자 하였다. 아무리 뛰어난 기술적 솔루션이 있다 하더라도, 결국 직접 딥페이크 판별을 해보려고 하지 않으면 소용이 없으니 프로젝트 내에 사람들의 딥페이크 판별에 대한 접근성을 높여야 한다는 메세지를 담고 싶었다. 프로그램 계획에는 웹 외에도 구글 익스텐션을 이용한 개발이 포함되었다. 이건 주최 측에서 제공한 사전 멘토링을 통해 구상하게 되었는데, 덕분에 구글 익스텐션 개발에 대해서도 조금이나마 알게 되어 좋았다.

• 해커톤 자체의 진행 방식에는 약간 의아한 점이 있었다. 내가 아는 해커톤은 당일에 딱 모여서 주제 발표하고, 하루에서 며칠 정도의 시간이 주어지면 그 시간 동안 결과물을 만들어내는 그런 절차로 진행되는데, 이번엔 주제도 미리 주어지고 당일에는 발표만 하는 식으로 진행되었다. 발표 당일에 가보니, 주최 측도 이런 행사를 여는게 처음이라고 하니 아주 이해가 가지는 않았는데, 발표를 준비하기 위해 프로젝트를 진행하면서도 약간 의문스러운 점이 많긴 했다. 그래도 결과적으로는 전체적으로 탈 없이 잘 마무리되었기 때문에 큰 불만사항은 없었다(작은건 좀 생겼던 것 같기도).

3. 결과 및 시연

• 프로그램에서는 2가지의 작업을 하도록 설계하였다. 첫 번째로, 사진이 딥페이크로 생성된 것인지 아닌지 판단한다. 이건 뭐 당연한 거고 두 번째로는, grad-cam을 통해 신경망이 이미지의 어떤 부분에 주목하였는지 표시한다. 슬라이드 아래편에 히트맵이 적용되어 있는 사진들이 grad-cam이 적용된 사진들이다. 여기서 설명가능한 AI를 적용해보려 하였다.

• 설명가능한 AI(XAI)는 사용자가 머신러닝이나 딥러닝 알고리즘으로 생성된 결과와 출력을 이해하고, 신뢰할 수 있게 하는 일련의 프로세스와 방법이라ㅇ고 한다. 인공지능이 사진을 판별하여 딥페이크라는 결과를 도출해도, 사용자는 인공지능이 어떻게 그런 결과를 내놓았는지, 왜 그런 결과를 내놓았는지 직관적으로 알기가 어렵다. 이른바 블랙박스로 남겨야 하는 상황이 나오게 된다. 이는 프로그램에 대한 신뢰성 문제로 이어질 수 있다.

• grad-cam을 제공하는 것으로 인공지능의 판단에 대한 근거를 제공하면서, 동시에 사람들에게도 판단의 데이터베이스를 제공하려고 하였다. 만약 사진이 진짜 딥페이크라면, 왜 딥페이크인지에 대한 근거를 제공하는 것이 앞으로 사람들이 스스로 딥페이크를 판단하는 것에 도움이 될테고, 사진이 진짜 딥페이크가 아니라 인공지능이 오탐을 했더라도, 적어도 인공지능이 왜 그런 판단을 했는지에 대한 근거를 알 수 있으니 마찬가지로 스스로 딥페이크를 판단하는 것에 도움이 된다는 그런 생각이다.

• 익스텐션을 등록하여 이미지에 대고 사용하면 아래와 같이 판단 결과(artificial: 0.88)와 grad-cam을 적용한 사진을 보여준다.

• 구글 익스텐션으로 개발해보는 것은 멘토링을 담당해주셨던 주최 측 개발자분의 의견이었는데, 우리 개발의 취지와 잘 맞는다고 생각하여 적극적으로 반영하였다. 결과적으로 좋은 발표를 할 수 있었기 때문에 감사하게 생각한다.

4. 후기

따로 한장... 10팀 중 2등

• 개발을 하기로 마음먹은 이후로 이런 식으로 대회를 나가보는 건 처음인데, 이런 좋은 결과를 얻게 돼서 상을 받을 때에는 좀 얼떨떨했다. 사실 뻔하다면 뻔한 주제일 수 있는데, 내용을 잘 살려서 좋은 결과를 얻을 수 있지 않았나 생각한다.

• 진짜진짜 마지막으로 12월 30일에 볼 GCP의 머신러닝 엔지니어를 마지막으로 올해의 일정을 마무리할 것 같은데, 준비를 좀 해서 유종의 미를 거둬보고 싶다.