[Kafka] kafka.common.InconsistentClusterIdException 에러 해결

 

 

 

kafka-logs 위치를 /tmp에서 다른 영속적인 디렉토리로 바꾸고 나서 브로커를 재실행 해보니 kafka.common.InconsistentClusterIdException 에러가 떴다.

에러 원인은 브로커가 주키퍼랑 연결을 시도하는 클러스터 id랑 meta.properties에 명시된 실제 클러스터 id랑 다르기 때문이라고 한다. 이것저것 해보니 대충 이해하기로는 cluster id가 meta.properties에 기록되고 브로커가 클러스터를 조인할 때 id를 명시하는데 주키퍼가 meta.properties에 기록된 cluster id를 확인해서 값이 일치하는지 확인해본다. 그래서 브로커가 명시한 cluster id를 meta.properties에 기록해주면 브로커가 정상 실행된다.

그런데 컴퓨터를 껐다 켤 때마다 브로커가 조인하려는 클러스터 id가 바뀌면 이건 어디 문제일까?

또 다른 해결 방법은 meta.properties가 속한 로그 파일의 내용을 싹 다 지우거나 meta.properties만 지우면 다시 정상적으로 실행은 된다.

지워진 meta.properties 파일은 브로커를 재실행 할 때 다시 생성된다. 다시 확인해보면 카프카가 연결을 시도하는 클러스터 id가 meta.properties 상 id와 일치한다.

해당 에러의 원인은 config 파일에서 직접 cluster id를 바꿔버렸다든가 하는 경우도 있고, 브로커를 다른 클러스터로 복사했을 때 기존 클러스터 id를 새 클러스터 걸로 바꾸지 않아서 발생할 수도 있다.

나는 log 위치를 바꾸면서 cluster id가 바뀌어버린 것 같다. 최후의 보루라고 여기는 인도까지 갔다와야 되는 걸 보면 참고할 자료가 많은 것 같지는 않다.


[참조]
https://youtu.be/KkmN2t87qQc
https://stackoverflow.com/questions/59481878/unable-to-start-kafka-with-zookeeper-kafka-common-inconsistentclusteridexceptio
Below the steps I did to get this issue : Launch ZooKeeper Launch Kafka : .\bin\windows\kafka-server-start.bat .\config\server.properties And at the second step the error happens : ERROR Fatal
stackoverflow.com