티스토리챌린지3 Elasticsearch 시맨틱 검색(semantic search) 개요Elasticsearch의 semantic_text를 사용하여 시맨틱 검색을 사용하는 방법과, Full-text saerch 검색과는 어떤 차이점이 있는지 같이 알아본다. Full-text searchFull-text 검색은 사용자가 입력한 문장을 언어에 맞는 형태소 분석기를 사용하여 각각의 품사로 분리하고, 분리된 단어들은 BM23(https://en.wikipedia.org/wiki/Okapi_BM25) 알고리즘에 따라 문서 안에 키워드의 발생 빈도, 문서의 길이 등을 값을 기준으로 평가하여 score가 놓은 문서를 찾는 방식이다.단점은 형태소 분석기로 분리된 단어에 대해서만 검색이 가능하다. (ex 맛집으로 검색하면 식당이 들어간 문서는 검색되지 않는다.동의어를 사용하면 처리가 가능하지만 사용자.. 2024. 11. 27. LLM 프롬프트 디자인 AI를 (LLM) 사용하여 원하는 결과를 얻기 위해서는 원하는 결과물에 대하여 프롬프트를 통해 상세하게 알려주어야 한다. 이를 프롬프트 디자인이라 하고 아래 7가지 항목에 대하여 프롬프트를 상세하게 작성해야 원하는 사용자가 원하는 결과물을 얻을 수 있다. AI 예제 프롬프트이전 포스팅에서 구현했던(https://blog.igooo.org/150) Spring AI 예제를 통해 각 항목에 맞게 프롬프트를 디자인 했는지 알아본다.You are a friendly AI assistant designed to help with the management of a user's todo called igooo. Your job is to answer questions about and to perform acti.. 2024. 11. 12. Spring Batch MongoDB 빠르게 수집하기 (MongoCursorItemReader) 개요MSA 구조로 개발하면서 서비스는 점점 작은 기능 단위로 나눠지고 그로 인해 데이터 구조도 단순해지면서 MySQL과 같은 RDB에서 MongoDB 같은 NoSQL로 이동하고 있고, Spring에서도 RDB만 지원 기능이 점점 MongoDB도 지원하도록 기능이 추가되고 있다. (Spring Batch에서 MongoDB를 JobRepository로 제공 예정 https://github.com/spring-projects/spring-batch/issues/877) MongoDB를 사용하는 곳이 늘어 남에 따라 Spring Batch에서도 지속적으로 MongoDB 관련 기능이 추가되고 있는데 그중 MongoDB에서 데이터를 조회하는 MongoCursorItemReader에 대하여 알아본다. MongoPa.. 2024. 11. 8. 이전 1 다음
