2024.04.28 kafka c#, spotify system design

Kafka

https://medium.com/@clasikas/kafka-producer-consumer-c-part-1-e4b9cebd1ef1

KAFKA : producer & consumer C#(part 1)

카프카 사용을 c# 예제로 보여준다.

기본 적인 개념에 대해 설명한다. 

메시지 프로듀싱은 키를 지정하지 않은 한 라운드로빈 방식이다.

키가 동일하면 같은 파티션에 적재가되고 파티셔너를 커스텀할 수도 있다.

이는 단일 파티션일 경우에는 의미가 없어지는데 하나만 있기 때문이다.

 

 

System Design spotify

https://levelup.gitconnected.com/system-design-interview-question-design-spotify-4a8a79697dda

 

스포티파이라는 음악 스트리밍 서비스의 아키텍쳐를 디자인해 보는 글이다.

실제 시스템 디자인은 아닌거 같다.

기본적인 매직넘버3의 서버를 두고 앞에 로드밸런서를 둔다. 

그리고 음악의 경우는 s3등에 저장을 하고 나머지 메타 정보는 RDB에 저장을 한다. 여기서는 SQL DB라고 언급한다.

음악을 스트리밍할 때는 서버에서 클라이언트로 청크 단위로 내려주던가 클라이언트가 바로 스토리지에 붙을 수도 있다.

 

가용성을 위해 복제에 대한 이야기도 나오는데 음악은 업로드보다 read가 더 많으므로 마스터-슬레이브 구조도 좋은 구조이다. 액티브-액티브 구조도 생각해 볼 수 있는데 동기화 방법을 고민 혹은 지원하는 기타 서드파티를 써야 한다. 

그리고 사용자가 더 많아지면 캐시등을 사용해 볼 수 있다.

자주 듣는 노래등을 CDN에 올려놓으면 서버 부하는 더 줄어들게 된다.