logstash를 사용하다보면 pipeline을 여러개 실행해야 하는 경우가 있다. logstash의 multi pipeline을 적용하면 각각의 파이프라인 마다 다른 동작을 적용할 수 있다. 예를들어 6000번 포트로는 input을 http요청으로 처리해서 output을 s3로 보내고, 6001번 포트로는 기존에 사용하던 elk stack을 사용한다거나 할 수 있다. 기존에 logstash는 multi pipeline을 지원하지 않 고, 6.0 부터 지원하기 시작했다. 만약 본인의 logstash 버전이 6.0 이하라면 이 방법은 사용할 수 없다. logstash를 업그레이드 하거나 지우고 6.0 이상 버전으로 재설치 하자. logstash를 설치하는 방법은 아래 글을 참고하자. [Logstash] d..
docker로 logstash를 설치하는 방법에 대해 서술한다. 환경 ubuntu 18.04 docker 20.10.17 Docker로 logstash 설치 1. docker 이미지 Pull 맨 뒤의 8.2.2는 버전을 뜻한다. 다른 버전을 설치하고 싶으면 8.2.2 대신 다른 버전명을 입력하면 된다. sudo docker pull docker.elastic.co/logstash/logstash:8.2.2 2. docker에 logstash 볼륨 생성 $ sudo docker volume create logstash 3. 도커 실행 // 도커 실행 명령어 // -d 는 컨테이너를 background에서 실행 시켜준다. // -v 는 docker volume의 logstash를 /usr/share/log..
logstash를 설치하기 전에 Mac에 자바 open jdk 8버전이 설치되어 있어야 한다. open jdk를 설치하는 방법은 아래 링크를 확인하자. [MacOS] M1칩에서 open jdk 8버전 설치 Mac환경 M1칩에서 logstash 설치하기 1. elastic tap 설치 // 깃허브 링크 https://github.com/elastic/homebrew-tap brew tap elastic/tap 2. logstash 설치 // Logstash 설치 brew install elastic/tap/logstash-full 3. 실행 테스트 // Logstash가 설치되어 있는 폴더로 이동 cd /opt/homebrew/Cellar/logstash-full/7.17.4 // -e를 사용해서 환경설정..
