2025.02.11 spring kafka delay

 

Spring Kafka Idle Between Polls

 

spring kafka를 사용하는 환경입니다.

대량의 데이터가 한 번에 들어올 경우 애플리케이션 내부 로직으로 인해 컨슈머 애플리케이션뿐 아니라 DB, 타 서비스까지 트래픽이 전염됩니다.

이때 spring kafka의 설정 중 idleBetweenPolls를 사용하면 max-poll-records 만큼 poll한 메시지를 소비하고 다시 poll 하기 전의 delay를 줄 수 있습니다. 

내부 구현을 보면 Thread.sleep으로 구현되어있습니다.

 

주의할 점은 consumer group에서 제외당하지 않도록  max.poll.interval.ms보다 짧게 설정해야 한다는 것입니다. 

 

또 concurrency별로 따로 적용될 테니 적절한 설정 값이 필요합니다

 

 

 

• https://docs.confluent.io/platform/current/installation/configuration/consumer-configs.html 
• https://docs.spring.io/spring-kafka/reference/kafka/container-props.html