티스토리

.now()
검색하기

블로그 홈

.now()

gisungcu.tistory.com/m

Gisungcu 님의 블로그입니다.

구독자
3
방명록 방문하기

주요 글 목록

  • 2025.02.24 spring kafka Throttling 카프카 컨슈머에 동적 쓰로틀링 적용하기 | 우아한형제들 기술블로그이 글은 카프카(Kafka)를 사용하는 스프링 환경에서 메시지 처리 속도를 동적으로 조절해야하는 상황과 여러 쓰로틀링 기법들을 소개합니다. 카프카를 사용하는 스프링 프레임워크 환경에 익숙techblog.woowahan.com 마침 비슷한 상황에서 글을 읽게 되었다.spring kafka에서는 레코드 리스너와 배치 리스너를 제공하는데, 디폴트는 레코드 리스너이다.ackmode에서도 record와 batch가 있는데, 리스너들과 어떻게 엮이냐에 따라 동작이 다르다.ackmode는 언제 커밋하겠다는 의미이다. 디폴트인 batch는 max-poll-records만큼 다 소비하고 커밋하겠다는 거고, record는 max-poll-records를 레코.. 공감수 0 댓글수 0 2025. 2. 24.
  • 2025.02.22 spring transactional https://hyperconnect.github.io/2025/02/10/spring-transactional-rollback.html Spring Transactional Rollback Deep DiveSpring Transactional Rollback 이 되는 케이스를 심층적으로 살펴보고 예시로 확인해봅니다.hyperconnect.github.io롤백 마크는 많이들 알고 있을 것이다. 우형 글로도 많이 유명하다. 하이퍼커넥트의 글은 트랜잭션 전파 속성까지 설명하고 있다.REQUIRES_NEW는 기존 트랜잭션에서 분리되어 새로운 트랜잭션을 만드는 전파속성입니다.이를 활용해 트랜잭션 안에서도 작은 단위로 트랜잭션을 나눌 수 있게됩니다. 굳이 나눠야하는 이점이 있을까요? 애초에 트랜잭션으로 묶이는 작.. 공감수 0 댓글수 0 2025. 2. 22.
  • 2025.02.19 spring kafka kafkaListenerContainer https://docs.spring.io/spring-kafka/reference/kafka/receiving-messages/listener-annotation.html @KafkaListener Annotation :: Spring KafkaWhen using manual AckMode, you can also provide the listener with the Acknowledgment. To activate the manual AckMode, you need to set the ack-mode in ContainerProperties to the appropriate manual mode. The following example also shows how to use a differendocs... 공감수 0 댓글수 0 2025. 2. 19.
  • 2025.02.19 line 장애대응 https://engineering.linecorp.com/ko/blog/line-failure-reporting-and-follow-up-process-culture LINE의 장애 보고와 후속 절차 문화들어가며 소프트웨어를 개발하고 사용하는 곳이라면 어느 곳이든 장애가 없을 수 없을 것입니다. 사용자가 많고 트래픽 규모가 크고 연관된 서비스가 많은 복잡한 소프트웨어일수록 장애가 여engineering.linecorp.com프로세스로 정립하는 것이 좋다.그래야 장애발생 시 당황을 덜 하게 된다. 공감수 0 댓글수 0 2025. 2. 19.
  • 2025.02.13 mysql insert performance [번역] 삽입 속도를 높이기 위해 느린 MySQL을 최적화하는 20가지 방법원문 https://seo-explorer.io/blog/twenty-ways-to-optimize-mysql-for-faster-insert-rate/#Buy_a_fast_server Twenty Ways To Optimize Slow MySQL for Faster Insert Rate - SEO Explorer's Blog This blog post covers all the technique we used to optimize MySQL inxn--vr0b79z.com 공감수 0 댓글수 0 2025. 2. 13.
  • 2025.02.11 spring kafka delay Spring Kafka Idle Between PollsI've had a business requirement to slow down the consumption rate of a kafka consumer due to the impact it could possibly cause to other microservices. After a bit of research I've come to a solutionstackoverflow.com spring kafka를 사용하는 환경입니다.대량의 데이터가 한 번에 들어올 경우 애플리케이션 내부 로직으로 인해 컨슈머 애플리케이션뿐 아니라 DB, 타 서비스까지 트래픽이 전염됩니다.이때 spring kafka의 설정 중 idleBetweenPolls를 사용하면 ma.. 공감수 0 댓글수 0 2025. 2. 11.
  • 2025.02.08 https://www.alibabacloud.com/blog/mysql-deep-dive---implementation-and-acquisition-mechanism-of-metadata-locking_599191 MySQL Deep Dive - Implementation and Acquisition Mechanism of Metadata LockingThis article introduces the commonly used data structures and meanings in MDL systems and discusses the acquisition mechanism and deadlock detection of MDL.www.alibabacloud.commdl_lock은 전역적으로 관리되는것이고 .. 공감수 1 댓글수 0 2025. 2. 8.
  • DB 장애 분석: Galera Cluster Segfault 들어가며안녕하세요.이번에는 DB장애 분석 글을 써보려합니다.현재 저희 회사에서 가장 큰 이슈는 DB 장애 문제였고, 이를 해결해 보면 좋겠다고 생각했습니다. 제가 문제를 해결하기 위해 시도한 방법과 과정을 써보고자 합니다. 글의 순서는 다음과 같습니다.문제 상황의심 사례 분석메모리 부족, 많은 스레드 부하: 부하 테스트 (Sysbench 활용)특정 시각의 배치 작업, 시나리오 테스트 (K6 활용)개선점마무리    문제 상황 저희 회사는 MariaDB를 EC2에서 구동하며 Galera Cluster를 사용하고 있습니다.그중 일부 노드가 간헐적으로 다운되는 현상이 발생했습니다.Cluster 내 3개 노드 중 일부가 장애를 일으켜도 동작은 가능했지만, Segmentation Fault(Segfault) 에러.. 공감수 2 댓글수 1 2025. 1. 31.
  • 2025.01.20 get_lock, user level lock MySQL :: MySQL 8.4 Reference Manual :: 14.14 Locking FunctionsThis section describes functions used to manipulate user-level locks. Table 14.19 Locking Functions GET_LOCK(str,timeout) Tries to obtain a lock with a name given by the string str, using a timeout of timeout seconds. A negative timeout value means infindev.mysql.com   user level의 lock의 구현은 mata data table로 구현된다고 한다.같은 이름으로 여러번 get_lo.. 공감수 0 댓글수 0 2025. 1. 20.
  • 2025.01.07 mariadb source code 장애 분석을 위해서, 디버깅을 해보고 있습니다.mariadb 소스 코드에서 보고 있는 부분은 connection을 맺고 끊는 부분입니다.  server/sql/sql_connect.cc at fd9a11d8a5b820f8d08b28fb2f198edc6f196342 · MariaDB/serverMariaDB server is a community developed fork of MySQL server. Started by core members of the original MySQL team, MariaDB actively works with outside developers to deliver the most featureful, stab...github.com아래 코드를 보면 THD를 만들고 doCom.. 공감수 2 댓글수 0 2025. 1. 7.
  • 개발자를 위한 커리어 관리 핸드북 해당 리뷰는 한빛미디어의 후원으로 책을 받아 작성합니다. 들어가며안녕하세요.오늘은 책 한 권을 읽고 느낀 점을 적어보려고 합니다.운 좋게 한빛미디어에서 책을 후원해 주셔서 읽게 되었습니다.여러 후보 중에서 이 책을 선택한 이유는 다음과 같습니다."내가 잘하고 있는 걸까? 앞으로 나의 커리어가 정체되지는 않을까?"책을 읽고 나니 답변을 얻기보다는 질문이 바뀌었습니다."나에게 정말 중요한 것은 무엇일까?"  개발자를 위한 커리어 관리 핸드북 - 예스241:1 멘토링하듯 알려주는 커리어 관리 노하우* 네이버, 배민, 토스, 틱톡, 트위니 등 국내 개발자 10인의 커리어 이야기 수록커리어가 어느 시점에 이르면, 코드를 다루는 것보다 중요하고 복잡한www.yes24.com   이직의 신호제가 생각하는 회사의 일은.. 공감수 1 댓글수 0 2025. 1. 4.
  • 2024.12.22 galera health check, xk6-sql galera health check pxc-release/src/github.com/cloudfoundry-incubator/galera-healthcheck at main · cloudfoundry/pxc-releaseBOSH release of Percona Xtradb Cluster . Contribute to cloudfoundry/pxc-release development by creating an account on GitHub.github.com galera health check 기능이다.단순히 db 포트에 ping을 쳐서 health check 할 수도 있지만, 클러스터나 복제등을 사용할 때는 다른 health check방식을 사용해야 한다.galera는 위의 프로그램을 사용할 수 있다... 공감수 0 댓글수 0 2024. 12. 22.
  • 2024 회고 들어가며안녕하세요.이번 글에서는 2024년 한 해를 돌아보며 정리하고, 내년을 계획해보려 합니다. 매번 느끼지만, 시간은 정말 빠르게 흐른다고 생각합니다.2023년 회고 글을 작성한 게 엊그제 같은데 벌써 2024년 회고를 작성하고 있습니다.올해를 돌아보며 커리어, 취미, 그리고 개인적인 성장을 정리해보고자 합니다. 커리어작년 회고에서 언급했던 신규 프로젝트를 성공적으로 릴리스한 한 해였습니다.재고와 출고를 관리하는 WMS 프로젝트로, 회사에서 중요한 역할을 담당하는 프로그램입니다.스타트업의 장점 중 하나는 경력이 적더라도 큰 프로젝트를 맡아볼 기회가 많다는 점입니다.저에게 연이어 큰 프로젝트를 경험할 기회가 주어진 것은 행운이라 생각합니다.또 , 이번 프로젝트를 통해 기존에 막연히 사용하던 기술을 더.. 공감수 4 댓글수 0 2024. 12. 22.
  • Galera Cluster 알아보기 0. 들어가며안녕하세요.이번에는 Galera Cluster에 대해 알아보려고 합니다.회사 내부에서 Galera Cluster를 사용하고 있는데, 사용해 보니 특색 있는 Clustering 방식이며 잘 모르고 사용해서는 안 되는 기술이라는 생각이 들어서 공부하게 되었습니다.제가 궁금했던 점과 에러를 파악하며 공부했던 내용을 정리합니다.  글의 순서는 다음과 같습니다.Galera cluster 소개Replication 방법인증 복제비동기 복제DeadLockLarge TransactionDDL 복제 방식 (Schema Upgrades)Cluster join 시 이뤄지는 일들 (State Snapshot Transfers)SST, ISTCrash 대응 방안Health check마무리 1. Galera clust.. 공감수 2 댓글수 0 2024. 12. 20.
  • Mybatis 사용시 return 값을 검사하는 이유는 무엇일까 2024.12.18 과거 글 수정들어가며안녕하세요.이번 글에서는 MyBatis 사용 중 고민되었던 코드 작성 방식에 대해 다뤄보겠습니다.  고민 다음은 새로운 회사의 코드에서 발견한 예제입니다. 이 코드가 왜 result 값을 검사하는지 고민하게 되었습니다. @Serviceclass UserService( private val userRepository: UserRepository) { fun register(user: User) { val result = userRepository.insert(user) if (result != 1L) { throw RuntimeException("사용자 등록 중 예외가 발생했습니다.") } }}.. 공감수 2 댓글수 0 2024. 12. 18.
  • 2024.12.04 WAL https://medium.com/@_sidharth_m_/how-databases-avoid-data-loss-with-write-ahead-logs-ce0a60b8c505 How Databases Avoid Data Loss with Write-Ahead Logs?Understanding Database Failure Handling Using Write-Ahead Logmedium.com 장애, 실패는 모든 시스템에서 나타날 수 있다.DB 또한 예외는 아니다.이 글은 DB 장애 시 쓰기 일관성을 보장하는 방법을 소개하고 있다.WAL(Write Ahead Log)를 소개하는데 모든 쓰기 요청이 DB에 반영되기 전에 해당 파일에 적재된다는 것이다.만약에 DB장애가 난다면 로그 읽었던 지점부터 다시 읽어.. 공감수 0 댓글수 0 2024. 12. 4.
  • 2024.11.28 System Design Of Instagram System Design Of InstagramInstagram is a free photo and video sharing app available on iPhone and Android. People can upload photos or videos to our service and…medium.com인스타 시스템 디자인이다.MSA로 되어있는데 목적에 맞게 데이터 저장 매체가 다르다. 검색은 일라스틱 서치로, 포스트는 카산드라로, 유저정보는 RDS에.. 이런 식으로 저장된다.음 항상 RDS를 중심으로 했었는데 데이터의 양을 중심으로 생각하면 당연한 선택으로 생각된다.공통된 key 값만 있으면 정보는 조회가 가능하니 좋은 선택이다.이전에 트위터 시스템 디자인에서 설명했던 유명인 문제도 비슷하게 처리한다.. 공감수 3 댓글수 0 2024. 11. 28.
  • Sharding 만들어보기 들어가며 안녕하세요.최근 Pinterest의 샤딩 관련 글을 읽고 흥미로운 점들이 많아 이를 계기로 샤딩에 대해 더 공부하게 되었습니다.이 과정에서 우아한형제들의 기술 블로그 글도 접하게 되었고, 글에 소개된 코드를 바탕으로 직접 따라 만들어 보았습니다.이 글은 샤딩에 대한 소개, 우아한형제들의 글 분석, 그리고 Pinterest의 글 분석 순으로 구성되어 있습니다.   샤딩(Sharding)  샤딩이란 무엇이며, 언제 필요할까? 서비스를 장기간 운영하거나 폭발적인 성장을 경험하면 데이터베이스(DB)에 저장된 데이터의 양이 급격히 증가합니다. 데이터가 많아지면 DB의 쓰기, 읽기 속도가 느려지고, 저장 용량 부족과 네트워크 병목 같은 문제가 발생할 수 있습니다. 이를 해결하기 위해 선택할 수 있는 확장 .. 공감수 0 댓글수 0 2024. 11. 24.
  • 2024.11.17 db https://velog.io/@yyong3519/RDS-Slow-%EC%BF%BC%EB%A6%AC-Slack%EC%9C%BC%EB%A1%9C-%EC%95%8C%EB%9E%8C-%EB%B3%B4%EB%82%B4%EA%B8%B0 Mysql Slow 쿼리 Slack으로 알람 보내기출처 글 작성 계기 1. Slow Log 남기기 2. Lambda 3. CloudWatch & Lambda 연동velog.io  https://www.phpschool.com/gnuboard4/bbs/board.php?bo_table=qna_db&wr_id=225714 WWW.PHPSCHOOL.COM개발자 커뮤니티 1위 PHPSCHOOL.COM 입니다.www.phpschool.com https://jungseob86.tistory... 공감수 0 댓글수 0 2024. 11. 17.
  • 2024.11.16 pinterest sharding https://medium.com/pinterest-engineering/sharding-pinterest-how-we-scaled-our-mysql-fleet-3f341e96ca6f Sharding Pinterest: How we scaled our MySQL fleetThis is a technical dive into how we split our data across many MySQL servers. We finished launching this sharding approach in early 2012, and it’s still the system we use today to store our core…medium.com  이전에 pinterest sharding관련 글도 읽었었는데요. 20.. 공감수 0 댓글수 0 2024. 11. 17.
  • 실시간 리더보드 만들어보기 이 글은 아래의 글을 바탕으로 작성하였습니다. Design a Real-Time Leaderboard system for millions of usersUnpacking Challenges, Assumptions, and the Scope of Real-Time Leaderboard Designmedium.com 들어가며 안녕하세요. 오늘은 Medium 글에서 흥미로운 주제를 발견하여 직접 따라 해보고, 이에 대해소개하고자 합니다.  이번에 다룰 주제는 게임이나 검색어 분야에서 흔히 사용되는 '랭킹 시스템 구축'입니다.게임 유저의 점수를 실시간으로 수집하여 랭킹을 보여주는 시스템을 설계하고 이를 유저에게 보여줘야합니다. 이 과정을 통해 랭킹 시스템 설계의 핵심 개념과 실제 구현 방법에 대해 설명하겠습니.. 공감수 6 댓글수 0 2024. 11. 9.
  • 2024.11.08 Meta cache, AOP https://moonsub-kim.github.io/docs/meta/cache-made-consistent-metas-cache-invalidation-solution/ Cache made consistent: Meta’s cache invalidation solutionMeta의 Cache made consistent: Meta’s cache invalidation solution 을 번역한 글 입니다.moonsub-kim.github.iohttps://engineering.fb.com/2022/06/08/core-infra/cache-made-consistent/ Cache made consistentCaches help reduce latency, scale read-heavy workloads.. 공감수 0 댓글수 0 2024. 11. 8.
  • 2024.11.07 meta cache https://www.imayanks.com/blogs/how-meta-improved-cache-consistency How meta improved their cache consistency to 99.99999999Mayank Sharma How meta improved their cache consistency to 99.99999999 Introduction Caching is a powerful technique used across various aspects of computer systems, from hardware like caches to operating systems, web browsers, and especially backend develowww.imayanks.com아직 .. 공감수 0 댓글수 0 2024. 11. 7.
  • 2024.11.05 uuid Should You Use UUIDs for Database Keys?UUIDs offer uniqueness in databases but come with performance costs. Learn when to use them, their drawbacks, and alternatives loved by…medium.comuuid가 많은 저장공간, index로 사용, 사입할 때 정렬로 인한 성능저하.uuidv7이란 게 있구나. 이걸 사용하면 time base로 정렬이 가능하다. 또 ulid도 있는데 이건 사전식 정렬이 가능하고.근데 128비트니까 칼럼 조회하고 쿼리의 성능이 다른 것보다는 안 좋을 수 있다. 정렬할 때 많은 메모리를 잡아먹기도 하고. 근데 분산 시스템이 아니면 auth increm.. 공감수 0 댓글수 0 2024. 11. 6.
  • 2024.11.04 rate limiting system https://levelup.gitconnected.com/system-design-rate-limiting-system-with-bloom-filters-f540f19152ef System Design: Rate Limiting System ⏳🚦 with Bloom FiltersDesigning an Efficient Rate Limiting System with Bloom Filters, Count-Min Sketches, and Sliding Windows for Scalable Traffic Controllevelup.gitconnected.com bloom filter로 rate limit를 구현했다.일단 ip기반으로만 rate limit를 할 거면 LB로도 충분하지 않을까 싶다.유저의 정보나.. 공감수 1 댓글수 0 2024. 11. 5.
  • 2024.11.01 Query tuning [Backend Interview Qn] Which Data Structure Does SQL Tables Use To Store Data?If you’re interviewing for a backend position dealing with lots of data, your interview might ask you this question.levelup.gitconnected.com 글에서는 tree 구조인지 모르고 해쉬 맵이나 리스트이줄 알았다고 한다.mysql의 스캔을 보면 결구 노드에서 포함되는 범위를 체크하고 자식 노드로 가는 찾아가는 것이다.uk는 스캔 중에 첫 번째 값이 나오면 찾는 거 종료고, 나머지 인덱스는 다음 값이 조건에 맞지 않으면 종료고.인덱스 풀스캔과 테이블 풀스캔은 비슷하면.. 공감수 1 댓글수 0 2024. 11. 2.
  • 2024.10.29 JWT Why do many people not recommend using JWT?My article is open to everyone; non-member readers can click this link to read the full text.blog.stackademic.com JWT에 대해서 비판적인 글입니다.단순 문자에 비해 JWT는 너무 길어서 네트워크 대역폭을 낭비하고, JWT의 sign은 프레임워크에서 지원하는 Cokkie Signature로 대체될 수 있다고 말합니다.또 서버에서 제어하지 않아서 발생하는 문제에 대해서도 비판합니다.  글의 내용 보다도 댓글에서 더 많은 정보를 얻을 수 있습니다.댓글에서 열띤 토론이 벌어졌었고, 읽어보았습니다.  중간자공격 man in middle attack.. 공감수 3 댓글수 0 2024. 10. 30.
  • 2024.10.28 AOP Inheritance 추상클래스와 @transactional 질문입니다. - 인프런 | 커뮤니티 질문&답변누구나 함께하는 인프런 커뮤니티. 모르면 묻고, 해답을 찾아보세요.www.inflearn.com 관련해서 개발하다가 궁금한 점이 생겼습니다. 자식 클래스에 @Transactional 이 있고, 부모의 메서드를 오버라이딩하지 않았으면 그 메서드는 @Transactional AOP 범위에 포함되지 않습니다.Spring considers transactional. Note that a class-level annotation does not apply to ancestor classes up the class hierarchy;  Using @Transactional :: Spring FrameworkThe @Transacti.. 공감수 5 댓글수 0 2024. 10. 29.
  • 2024.10.23 ElasticSearch, Apache Lucene 음 데이터가 많은 RDB의 경우 검색이 느려질 수 있다.익덱스 설계를 한다고 해도, 1억 ~ 억 단위로 넘어가면 느려진다.수평 파티셔닝, 샤딩으로 해결할 수 있지만 이건 비용이 많이 드는 일이다. 검색이 문제라면 ElasticSearch, Apache Lucene의 도움을 받아서 빠르게 처리할 수 있을 거 같다.ElasticSearch, Apache Lucene을 사용해 보지 않아서 동작법을 몰랐다. ElasticSearch, Apache Lucene들이 인덱스, 검색만 빨리되고 결국 데이터는 RDB에서 가져오는 구조인줄 알았는데, 그게 아니라 데이터를 가지고 있는 형태더라.  +계속해서.. ssl그냥 궁금해서.. https://security.stackexchange.com/questions/20105.. 공감수 4 댓글수 0 2024. 10. 23.
  • 2024.10.22 system design 목표로 하는 dau, 동시접소자 수, 초당 메시지 수, 메시지 평균/최소/최대크기, 메시지 휘발여부기타 등등. 설계를 하기 전에 먼저 요구사항을 확인했어야 했다.무작정 해답을 내놓기보다는 질문을 더 했어야했다.  MVP로 뭔가를 만들려고 할 때는 익숙한 기술을 사용해도 된다. 다만 목표, 요구사항이 명확하다면 새로운 기술을 써서 문제를 해결하는 것도 선택지에 있어야 한다.서비스가 커질 것을 염두에 두고 있는가? 티키타카  +  Why using the premaster secret directly would be vulnerable to replay attack?Reading from this question Why does the SSL/TLS handshake have a client and serv.. 공감수 0 댓글수 0 2024. 10. 22.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.