라벨이 Elastic인 게시물 표시

[Elastic] APM Agent 설치

[설치] [APM Agent 다운로드] https://search.maven.org/search?q=g:co.elastic.apm%20AND%20a:elastic-apm-agent [Tomcat 설정] export CATALINA_OPTS="$CATALINA_OPTS -javaagent:/path/to/elastic-apm-agent-<version>.jar" (다운로드받은 Agent 경로 및 파일명) export CATALINA_OPTS="$CATALINA_OPTS -Delastic.apm.service_name=my-cool-service” (서비스 이름 아무거나 지정해 주세요.) export CATALINA_OPTS="$CATALINA_OPTS -Delastic.apm.application_packages=org.example,org.another.example” (도메인명 아무거나 지정해 주세요.) export CATALINA_OPTS="$CATALINA_OPTS -Delastic.apm.server_urls= http://1.234.25.136:40002 ” (APM 서버 ip 및 포트 이럴로 해주세요.) [Java 프로그램 설정] java  -javaagent:/path/to/elastic-apm-agent-<version>.jar (다운로드받은 Agent 경로 및 파일명) -Delastic.apm.service_name=my-cool-service -Delastic.apm.application_packages=org.example,org.another.example -Delastic.apm.server_urls=http://1.234.25.136:40002  -jar my-application.jar ( 실행할 프로그램 )

[Elastic] Filebeat 설치

[설치] curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.2-linux-x86_64.tar.gz tar xzvf filebeat-7.6.2-linux-x86_64.tar.gz [설정] filebeat.inputs: - type: log   enabled: true   paths:     - /var/log/*.log output.elasticsearch:   hosts: ["myEShost:9200"]   username: "filebeat_internal"   password: "YOUR_PASSWORD"  setup.kibana:   host: "mykibanahost:5601"   username: "my_kibana_user"     password: "YOUR_PASSWORD"

[Elastic] elasticsearch start and stop

[Start] 일반실행 elasticsearch 데몬실행 elasticsearch -d -p $ES_HOME/pid 데몬중지 pkill -F $ES_HOME/pid

[Elastic] logstash JDBC timezone 이슈해결

[이슈] Mysql에 있는 date 컬럼인 "created"에 "2020-03-01 10:11:03.201108" UTC timezone형식으로 저장되어져 있으나, logstash를 통해서 elasticsearch에 저장 후 kibana에서 볼때, 9시간 이전으로 보여짐. 처리 프로세스 Django Application(Asia/Seoul) : 장고 앱에서는 한국에 맞는 Asia/Seoul timezone을 사용함 (2020-03-01 21:11:03) + 9시간으로 표시됨      | Mysql (UTC) : DB에는 UTC로 저장됨 (2020-03-01 10:11:03) 표준시간      | Logstash(input jdbc filter) : Mysql에서 가져온 데이터가 (2020-03-01 01:11:03)로 -9시간이 되어서 가져옴 (이슈1)      | Logstash(filter date filter) : created 필드를 @timestamp로 복사      | Logstash(output elasticsearch)      | Elasticsearch(UTC, ISO8601 포맷)      | kibana : Elasticsearch에 있는 UTC를 한국시간으로 변경이 안됨 (이슈2) [원인1] Logstash input jdbc filter가 Mysql에서 데이터를 가져올때, -9시간으로 가져온다. 아마도 UTC timezone을 설정하지 않아서 로컬 Asia/Seoul timezone을 사용하여 발생하는 문제임. Mysql : "2020-03-01 10:11:03.201108" Logstash input jdbc filter : "2020-03-01T01:11:03.201Z" - 9시간 이전 데이터 리턴 (ISO8601 포맷) [해...