챗GPT가 쏘아올린 생성형 인공지능(AI) 경쟁이 달아오르자, 검색과 AI 결합이 새로운 화두로 부상하고 있다. 단순 검색뿐만 아니라 다양한 스타일의 에세이 작성을 요구할 수도 있고, 어려운 개념을 쉽게 설명해달라는 구체적인 요청도 가능하다는 것 등 모든 '검색 의도'를 아우를 수 있다는 기대감에서다.

이런 가운데,  가장 먼저 개인 맞춤형 검색 서비스 상용화에 성공한 네이버의 사례가 주목받고 있다. 네이버 AI 검색 기술 '에어서치'는 사용자들이 많이 찾는 검색 결과를 스마트블록 단위로 세분화해둔다. 사용자가 검색어를 입력하면 스마트블록을 자유자재로 조합해 최적의 검색 결과를 제공한다.

한상규·옥슬기 네이버 멀티모달 퍼스널라이제이션팀 테크리더와 최형주 엔지니어는 지난 27일  서울 강남구 코엑스에서 열린 연례 개발자 컨퍼런스 '데뷰(DEVIEW) 2023' 현장에서 본지와 인터뷰를 진행했다. 이들은 스마트블록 기반 개인화 검색 기술에 대해 상세히 소개했다.

스마트블록은 ▲사용자가 원하는 가장 정확한 답을 제공하는 '정답형' ▲취향에 따라 다양한 결과를 탐색할 수 있는 '탐색형' ▲사용자의 행동에 따라 변화하는 '반응형' ▲예상치 못한 새로운 취향을 발견할 수 있는 '발견형' 블록으로 구성된다. 이들은 '탐색형' 검색을 소개했다.

예컨대, 동일하게 '제주도 여행'이라는 키워드를 검색한 경우라도 야외 활동에 관심이 많은 사용자는 가볼 만한 곳들에 대한 정보를 담은 스마트블록을, 먹거리가 중요한 사용자라면 맛집 정보와 관련된 스마트블록이 상단에 먼저 노출되는 등 다른 검색 패턴을 가진 사용자별 맞춤형 정보를 제공받게 된다.

한 리더는 "기존 통합검색 랭킹 단위였던 컬렉션은 제한된 범위 내에서만 검색 결과 제공이 가능하다. 개인화 검색에 한계가 있다"라며 "스마트블록은 주요 검색 의도는 물론 세부 주제까지 타겟팅할 수 있고, 개인화 검색 효과 및 확장 가능성이 커 검색 결과의 만족도가 더욱 높아질 수 있다"고 설명했다.

이를 고도화하기 위해 여러 검색 모델(retrieval model)을 활용한다. 옥 리더는 "인텐트 마이너(Intent Miner)는 장르와 토픽을 기반으로 의도를 세분화하고 있다. 수백만개가 생성돼있다"라며 "네이버랩스 유럽이 논문을 발표한 모델 스플레이드(SPLADE)도 상반기 적용을 목표한다"라고 말했다. 

여기에 개인화 피쳐(Feature·특정값)를 더해 검색 의도 파악에 공을 들이고 있다. 최 엔지니어는 "수백여개 피쳐를 사용 중인데, 이중 50여개가 개인화 피쳐"라며 "데이터를 압축하는 기법인 'M3 유저 임베딩'과 실시간으로 데이터를 스트리밍 하는 '실시간 피쳐' 등을 활용하고 있다"라고 언급했다.

실시간 개인화엔 '이용자별 중요 키워드'를 추출하는 노력도 뒤따른다. 가령, 인터콘티넨탈 호텔과 신라 호텔을 검색하면, 호텔이라는 키워드가 뽑힐 수 있다. 최 엔지니어는 "각 이용자마다 최근 N시간 검색 로그에서 키워드를 뽑아온다"라며 "실시간으로 적용해, 시시각각 바뀌는 검색 흐름에 대응한다"라고 말했다.

그 결과, 클릭률과 클릭 다양성 측면에서 의미있는 진전을 이끌어냈다. 최 엔지니어는 "AB테스트 결과, 개인화 검색은 비개인화 대비 클릭률은 2%, 클릭 다양성은 1.7% 증가한 것으로 나타났다"라며 "실시간 피쳐를 반영했더니 클릭률이 2.5% 가량 뛰었다"고 했다. 실시간 개인화가 주효했다는 의미다.

'클릭 엔트로피'라는 개념으로 설명하면 이해가 쉽다는 게 그들의 설명이다. 클릭 엔트로피가 높을 수록 '탐색형'에, 엔트로피가 낮을 수록 '정답형'에 가까워진다는 의미다. 엔트로피가 높은 것이 의도가 더 많이 담긴 것이고, 낮을 수록 일종의 '답정너' 검색 결과를 선호한다는 게 그들의 분석이다.

개인화 검색의 수요가 확인된 만큼, 기술 고도화에 힘쓰겠다는 포부도 각자 전했다. 한 리더는 "사용자의 검색 만족도를 개선하는 것이 목표"라고 했다. 옥 리더는 "끊김 없는 검색 경험을 제공하고 싶다"고 언급했다. 최 엔지니어는 "네이버가 진짜 잘 찾아준다는 '감동 포인트'를 주고 싶다"고 전했다.

이영아 기자 twenty_ah@techm.kr