ABOUT ME

-

Today
-
Yesterday
-
Total
-
  • 2023.08.31 기록장
    TIL 2023. 8. 31. 23:46

    그룹에서 파티션별로 오프셋을 관리
    파티션은 하나 이상의 컨슈머로 메시지를 보낼 수 없으니..
    만약에 메시지 키를 사용하여 동일 파티션에 메시지를 보낼 때
    파티션 수와 컨슈머 수가 같다면 1:1 매칭일 것이고 그렇다면 분산환경이어도 메시지의 순서는 보장이 된다.
    순서 보장의 개념은 동일 키, 동일 파티션 기준이고

    스프링 카프카로 예를 들자면..
    아이템 하나 생성 수정의 순서 보장이 필요할 때..
    파티션 3개, 인스턴스가 3개이고 따로 컨슈머 멀티 스레드를 설정하지 않았다면 해당 인스턴스는 하나의 파티션에 매칭될 것이다.
    만약 인스턴스 하나가 다운되면 파티션3, 인스턴스2  이겠지만 메시지 키(예로 아이템의 pk)로 동일한 파티션에 적재했으니 컨슘할 때 다른 파티션에 뭐가 와도 순서보장이 필요한 것과 문제는 없다.

     

    https://www.oreilly.com/library/view/kafka-the-definitive/9781491936153/ch04.html#T1_four_partitions

     

     

    'TIL' 카테고리의 다른 글

    2023.09.20 기록장  (0) 2023.09.20
    2023.09.02 기록장  (0) 2023.09.02
    2023.08.30 기록장  (0) 2023.08.30
    2023.08.12 기록장  (0) 2023.08.12
    2023.08.05 기록장  (0) 2023.08.05

    댓글

Designed by Tistory.