벡터DB 꼭 따로 써야 하나요?

1. 별도 벡터DB 선택 기준

• 일반 관계형 데이터베이스는 정확한 조건 조회와 단어 검색에 사용합니다.

  • 의미 검색이 필요하지 않다면 기존 관계형 데이터베이스를 유지하면 돼요.

• 의미 검색이 필요하다면 로컬 UQA에서 검색 데이터를 준비합니다.

  • 원문과 임베딩을 함께 저장하고 단어 검색과 의미 검색을 실행해 결과를 확인해요.

  • 검증이 끝나면 UQA 스냅샷을 만들어 클라우드 서비스에 함께 배포할 수 있습니다.

• 운영 중 데이터가 바뀌면 로컬에서 스냅샷을 새로 만들어 다시 배포해야 합니다.

  • UQA Cloud는 준비 중입니다.

2. 단어 검색과 의미 검색의 차이

• 검색은 찾으려는 정보에 따라 단어 검색과 의미 검색으로 구분할 수 있습니다.

  • 단어 검색(Keyword Search)은 입력한 글자와 문서의 글자가 일치하는지 확인합니다.

    • ‘환불’을 검색하면 ‘환불’이라는 글자가 있는 문서를 찾아요.

    • 문서에 ‘결제 취소’만 적혀 있다면 ‘환불’ 검색으로는 해당 문서를 놓칠 수 있습니다.

  • 의미 검색(Semantic Search)은 표현이 달라도 뜻이 가까운 문서를 찾습니다.

    • ‘환불’을 검색해도 ‘결제 취소’가 적힌 문서를 함께 찾을 수 있어요.

    • 의미 검색에는 임베딩과 벡터 검색이 필요합니다.

3. 임베딩과 벡터 검색의 작동 과정

• 임베딩은 문장이나 단어를 컴퓨터가 비교할 수 있는 숫자 배열로 변환한 데이터입니다.

  • 뜻이 가까운 문장일수록 숫자 배열 사이의 거리도 가까워져요.

• 벡터 검색은 검색어 임베딩과 문서 임베딩 사이의 거리를 계산해 뜻이 가까운 문서를 찾습니다.

  • 사용자가 검색어를 입력하면 검색어도 문서와 같은 임베딩 모델로 변환합니다.

  • 벡터DB는 임베딩을 저장하고 숫자 배열 사이의 거리 계산을 처리하는 데이터베이스예요.

4. 검색 기능에 맞는 검색 방법

• 모든 검색에 의미 검색이 필요한 것은 아닙니다.

  • 의미 검색이 필요한 경우

    • 챗봇이 답변에 사용할 근거 문서를 찾을 때

    • 자연어로 상품을 추천할 때

    • 표현은 달라도 뜻이 가까운 문서를 찾을 때

  • 일반 조회나 단어 검색이 필요한 경우

    • 제품 ID나 코드를 정확히 찾을 때

    • 날짜순으로 목록을 정렬하거나 가격대·카테고리처럼 정확한 조건으로 필터링할 때

• 검색창이 찾아야 하는 정보와 입력 형태에 따라 검색 방법을 선택합니다.

5. 별도 벡터DB의 데이터 동기화 문제

• 기존 데이터베이스와 별도 벡터DB를 함께 사용하면 원문 정보와 임베딩을 두 저장소에 기록합니다.

  • 기존 데이터베이스

    • 원문, 공개 상태, 카테고리 같은 정보를 저장합니다.

  • 벡터DB

    • 원문에서 생성한 임베딩을 저장합니다.

• 게시글을 수정하거나 삭제할 때 두 데이터베이스의 정보를 함께 변경해야 합니다.

  • 한쪽 변경이 실패하면 생기는 문제

    • 삭제한 글이 벡터DB에 유지되어 검색 결과에 표시될 수 있습니다.

    • 원문은 수정됐지만 임베딩이 갱신되지 않아 이전 내용이 검색될 수 있어요.

    • 두 서비스를 관리하는 비용과 검색 결과를 합치는 응답 시간이 증가할 수 있습니다.

6. UQA로 원문과 임베딩을 함께 저장해 동기화 코드 줄이기

• UQA는 원문, 공개 상태·카테고리 같은 정보, 임베딩을 함께 저장합니다.

  • 별도 저장소를 관리하고 원문과 임베딩의 상태를 동기화하는 코드를 줄일 수 있어요.

  • 게시글을 수정하거나 삭제할 때 앱은 원문과 임베딩을 같은 작업에서 변경할 수 있습니다.

• UQA에서는 단어 검색과 의미 검색을 함께 실행할 수 있습니다.

  • 제품 코드처럼 정확한 글자를 찾는 검색과 자연어 질문의 의미 검색을 함께 실행하고 관련성 높은 결과부터 보여줘요.

현재 UQA는 로컬 설치와 운영이 기본이고 UQA Cloud는 준비 중입니다. UQA와 사용법 스킬을 설치하면 원문 저장, 의미 검색, 임베딩 갱신 작업을 클로드·코덱스에게 요청할 수 있어요.

curl -fsSL https://releases.uqa-cloud.cognica.io/install.sh | sh &&
export PATH="${UQA_INSTALL_DIR:-$HOME/.local/bin}:$PATH" &&
uqa llm install skills

프롬프트 요청 예시 1: 별도 벡터DB 없이 의미 검색 구성

프롬프트 요청 예시 2: 단어 검색과 의미 검색 함께 실행