데구루 개발 노트 데구루 개발 노트

안녕하세요. 이번에는 Ubuntu 환경에서 Logstash와 Opensearch를 연동하는 부분에 대해 실습을 한 내용이 있어 공유차 글을 작성하게 되었습니다. 📌 Logstash란? 먼저 Logstash는 무엇일까요? Logstash는 다양한 소스에서 로그 데이터를 수집하고 처리하고 저장한느데 사용되는 플러그인 기반의 오픈 소스 프로그램입니다. Logstash는 다양한 환경에서 사용이 될 수 있고 다양한 소스들로부터 데이터를 수집할 수 있습니다. 따라서 다양한 라이브러리를 통해 input과 output을 설정할 수 있는 것이 특징입니다. 또한 filter를 통해 중간 연산 과정을 집어넣을 수 있어 데이터 파이프라인을 구성하는데 핵심적으로 사용될 수 있는 요소 프로그램 중 하나이지요. 그래서 확장성이 매..

앞선 게시글에서 Ubuntu 환경에서 OpenSearch를 설치하는 내용을 살펴보았습니다. Ubuntu (우분투) 에 OpenSearch (오픈서치) 설치하기 운영환경이 Ubuntu로 픽스되어 해당 운영체제에 Opensearch를 설치를 하게 되었습니다. apt-get을 통해 손쉽게 다운로드 할 수 있는 상황도 있겠으나, 저는 배포판(tar)를 다운받아 설치하는 방법을 알 deguruv.tistory.com 그럼 이제 보다 쉽게 사용하기 위해 Dashboard를 설치해보도록 하겠습니다. 앞선 게시글에서 OpenSearch를 다운받았던 사이트 내에 OpenSearch-Dashboard 다운로드 버튼을 클릭하여 다운로드 받습니다. 역시나 tar.gz로 다운받습니다. 다운로드 받아 압축을 풀면 폴더가 생성됩니..

운영환경이 Ubuntu로 픽스되어 해당 운영체제에 Opensearch를 설치를 하게 되었습니다. apt-get을 통해 손쉽게 다운로드 할 수 있는 상황도 있겠으나, 저는 배포판(tar)를 다운받아 설치하는 방법을 알아보려 합니다. 운영체제 환경은 위와 같습니다. Ubuntu 20.04.4 LTS 버전이 깔려있군요..22버전으로 업그레이드를 했어도 됐으나 이미 설치되어있으니 그냥 해보죠. 우선 Opensearch를 다운받아야겠지요? 아래 사이트로 접속합니다. Opensearch 2.11.1 opensearch.org 살짝 아래로 내려보면 OpenSearch를 다운로드 받는 버튼이 보이며 플랫폼과 패키지를 선택 후 다운로드 해주면 됩니다. 저는 .tar.gz으로 다운로드 하였습니다. 다운로드가 완료되었네요...

OpenSearch를 우여곡절 끝에 설치하고 실행시켜보려고 했습니다. 우선 외부에서 접속을 해야 하기 때문에 우선 Opensearch.yml 내부에 network 탭에 아래의 내용을 추가해줍니다. // opensearch.yml ...(생략)... # ---------------------------------- Network ----------------------------------- # # Set the bind address to a specific IP (IPv4 or IPv6): # #network.host: 192.168.0.1 network.host: 0.0.0.0 # # Set a custom port for HTTP: # #http.port: 9200 http.port: 9200 tr..

Opensearch를 Ubuntu 20.04 버전에 설치를 하고 있습니다. deguruv@deguruv-pc:~/opensearch-2.11.1/bin$ lsb_release -a No LSB modules are available. Distributor ID:Ubuntu Description:Ubuntu 20.04.4 LTS Release:20.04 Codename:focal 설치를 열심히 하였고, 이제 실행해봐야겠다는 생각에 opensearch 폴더 내에 있는 opensearch-tar-install.sh를 실행시켰습니다. 그랬더니 다음과 같은 오류가 발생했습니다. java.nio.file.AccessDeniedException: /home/deguruv/opensearch-2.11.1/config/..

📌 들어가며 회사 프로젝트에서 기존에 DB를 Oracle을 사용하다 급격한 로깅 트래픽의 증가로 Oracle에서 검색 효율이 좋은 ElasticSearch를 사용해보려 했습니다. 허나 그 막대한 라이선스 비용을 감당하느니 차라리 다른 식으로 구현을 해보자 하여 갑자기 대두된 플랫폼이 OpenSearch였습니다. 처음에 OpenSearch라는 플랫폼이 생소하긴 했지만 이미 AWS 진영에서는 많이 사용되고 있었고, 별도의 로컬 서버를 구축할 수 있도록 이미 설치패키지가 제공되고 있었습니다. LogStash와 Kibana로 멋지게 대시보드도 구현할 수 있고, QueryDSL을 활용할 수 있는 Dashboard도 손쉽게 활용할 수 있었습니다. 근데 다만 문제는 Java와의 연동 예제가 많지 않다는 것이었죠.. ..