[Elasticsearch] Elasticsearch에서 발생한 데이터 타입 변경 문제와 해결

Elasticsearch 환경에서 로그 데이터의 특정 프로퍼티를 string 타입에서 object 타입으로 변경하는 과정에서 문제가 발생하였다. 데이터 타입을 변경한 후 해당 로그가 더 이상 기록되지 않았다. 해당 문제의 원인 파악과 해결 방법을 알아보자.

 

원인

Elasticsearch는 스키마가 유연한 문서 기반 데이터베이스로서, 데이터의 구조를 미리 정의하지 않고도 데이터를 저장할 수 있다. 하지만 데이터를 한 번 특정 형식으로 인덱싱하면, 이후 해당 인덱스의 맵핑을 변경할 수 없다.

나의 경우, 문자열(string)로 인덱싱된 특정 필드를 나중에 객체(object)로 변경하려고 하면 문제가 발생했다. Elasticsearch는 새로운 데이터를 기존 인덱스에 맞게 강제로 변환하려고 시도하며, 이 과정에서 에러가 발생하게 된다.

해결법

이 문제를 해결하기 위해 주로 다음 두 가지 방법이 사용된다.

1. 새로운 인덱스를 만들고, 새로운 맵핑을 정의한 후 데이터를 재인덱싱한다. 이를 통해 데이터 구조의 변경을 수용할 수 있다.

2. 필드 이름을 변경하여 새로운 필드로 취급하게 만든다. 이 경우, 기존 데이터와 새로운 데이터가 동일한 인덱스 내에 다른 필드로 존재하게 된다.

이 문제를 방지하기 위한 핵심 전략은 데이터의 구조를 미리 잘 계획하고, 필요한 경우 적절한 맵핑을 사용하는 것이다.

이미 데이터가 저장된 경우 input type을 마음대로 바꾸지말자..