최근 업계 화두로 떠오른 '생성형 AI'가 사이버 보안 분야의 새로운 도전이 될 전망이다. 생성형 AI가 해커들의 무기로 악용되거나 개인 또는 기업의 정보를 탈취하는 새로운 취약점이 될 수 있다는 우려와 동시에 보안업계의 방어 도구가 될 수 있다는 기대도 상존한다.

생성형 AI가 촉발한 사이버 보안 '명과 암'

SK쉴더스의 화이트 해커 전문가 그룹 '이큐스트(EQST)'는 20일 서울 중구 SKT타워에서 열린 미디어 세미나에서 생성형 AI에 대한 보안 위협과 그에 따른 공격 시나리오를 공개했다.

기업의 생산성을 높이기 위해 생성형 AI가 전 산업 영역으로 확장될 것으로 전망되는 가운데, 전문가들은 보안 위협을 간과할 경우 해커들의 공격 타겟이 될 수 있다고 경고했다. 또 누구나 쉽게 활용할 수 있는 생성형 AI가 무분별하게 사이버 공격에 악용될 가능성도 존재한다.

이와 동시에 보안 업계에선 생성형 AI를 활용한 방어 전략에 대해 고민하고 있다. 공격자들이 생성형 AI를 통해 공격 속도와 정확도를 높일 경우, 방어 측면에서도 생성형 AI 도입이 필수가 될 것이란 전망이다.

이재우 SK쉴더스 EQST사업그룹장은 "향후 생성형 AI가 고도화되면 공격의 자동화, 공격 수준의 상향 평준화가 예측되며, 해당 공격을 대응하기 위한 방어 측면에서도 생성형 AI가 반드시 필요 할 것으로 예상된다"라며 "EQST는 방어 측면에서의 생성형 AI 적용에 대해 연구해 고도화되고 있는 공격에 대한 대책을 선제적으로 제시할 것"이라고 말했다.

생성형 AI 노리는 사이버 공격

이큐스트에 따르면 보안 위협은 크게 AI 모델과 학습 데이터를 대상으로 공격하는 유형과 AI 활용 서비스를 악용하는 데서 발생하는 위협으로 분류된다.

AI 모델을 대상으로 한 위협으로는 입력 데이터를 조작하거나 악의적인 데이터를 추가해 조작하는 공격이 있다. 또 학습 데이터에서 개인정보나 민감정보를 추출한 사례도 나오고 있다.

AI 활용 서비스를 악용한 공격에는 ▲프롬프트 인젝션 ▲민감정보 유출 ▲악성코드 생성 ▲딥페이크 등을 꼽았다. 프롬프트 인젝션은 악의적인 질문을 통해 AI 서비스 내 적용된 지침 혹은 정책을 우회해 본 목적 이외의 답변을 이끌어내는 공격 유형이다.

이큐스트는 생성형 AI를 딥 페이크 기술에 접목해 피해자의 목소리와 얼굴을 모방한 후 피싱 공격을 수행하는 행태도 늘어날 것으로 예상했다. 이를 통해 피싱 패턴이 다양화될 것으로 보이는 가운데, 출처가 불분명한 이메일이나 첨부파일을 실행하지 않도록 주의를 당부했다.

이호석 이큐스트 랩(Lab) 담당은 "생성형 AI로 5초 정도의 음성으로 목소리를 합성할 수 있다"며 "이를 보이스 피싱 등에 악용한 사례가 나오고 있다"고 말했다.

보안업계 AI 활용 어디까지 가능할까

이큐스트는 생성형 AI의 도입이 전 산업계로 확대됨에 따라 보안 영역에서의 실제 활용 방안을 테스트한 결과를 발표했다.

이들은 보안 실무에서 주로 사용하는 4가지 분야에 생성형 AI를 도입해 검증했다. 활용도가 높은 순으로 '시나리오 모의해킹', '시큐어 코딩'이 각각 60%, 50%를 차지했다. 모의해킹 시나리오를 생성하거나 주요 프로그래밍 언어에 대한 분석도 가능함을 확인했다.

다만 모바일 서비스의 보안 취약점을 점검하거나 악성코드를 분석하는데는 활용도가 떨어졌다. 모바일의 경우 복잡한 코드 로직을 분석하는 데 한계를 보였고, 악성코드에서도 동적 분석에서 부족함을 보였다는 설명이다.

이호석 담당은 "생성형 AI 모델이 발전함에 따라 정확도와 활용도가 높아질 것으로 보이지만 보안 영역에서 활용하기엔 초·중급 수준"이라며 "생성형 AI가 도출해 낸 결과에 의존하기 보다는 보조 도구로 적절히 활용해야 할 것"이라고 말했다.

또 "사용자와 개발자들은 안전하고 효율적인 AI 사용을 위해 한계와 보안위협을 인지하고 올바르게 활용해야 한다"며 "생성한 결과물에 지나친 의존을 자제하고 민감한 정보를 기입하지 않도록 주의해야 한다"고 조언했다.

남도영 기자 hyun@techm.kr