2024.06.27 canary, AB test
bliki: Canary Release
A canary release occurs when you roll out a new version of some software to a small subset of your user base to see if there are any problems before you make it available to everyone.
martinfowler.com
매일 배포하는 팀이 되는 여정(2) — Feature Toggle 활용하기
효율적이고 안정적인 배포를 위해 고민했던 것 중 하나인 Feature Toggle(Feature Flag)에 대한 이야기
medium.com
당근 피쳐 토글 글을 보다가..
피쳐 카나리 피쳐 토글로 A/B 테스트를 할 수 있다.
A/B 테스트를 하는 방법으로는 카나리 배포도 있다.
다만 A/B 테스트와 카나리 배포를 동일시하면 안 된다고 한다.
카나리 배포는 롤백과 문제 감지를 위한 배포방법이지 A/B테스트를 통해 유의미한 데이터를 얻는 목적이 아니기 때문이다.
그럼 A/B 테스트를 구축하는 방법으로는 무엇이 있을까.
밑의 글들을 보면 결국 어플리케이션에서 사용자를 판단하고 데이터를 쌓는 것이다.
따로 서버를 구축한 것 같지는 않다.
데이터를 어떻게 쌓고 활용할지에 대한 내용이 많다.
굉장히 많은 회사들이 사용하고 있다. 이쯤 되면 안 하는 회사가 더 이상한 거 아닐까?
오늘의 집
오늘의집 A/B 실험 플랫폼 구축기 - 오늘의집 블로그
오늘의집 A/B 실험 플랫폼 구축 과정과 그 속에서 해결한 고민들
www.bucketplace.com
우형의 ab테스트
실험과 기능플래그를 위한 실험플랫폼 구축하기 | 우아한형제들 기술블로그
{{item.name}} 실험과 기능 플래그란? 실험(AB 테스트)과 기능 플래그(Feature Flag 혹은 Feature Toggle)에 대해 알고 계신가요? 실험은 대조군(A)과 실험군(B)을 나누어 유입되는 사용자들의 반응을 통해 어
techblog.woowahan.com
쿠팡의 ab테스트
대규모 A/B 테스트의 인시던트를 최소화하다
코드 리뷰 자동화를 통한 A 로직의 변경 감지
medium.com
쿠팡의 A/B 테스트 지표 연산
지표 연산 프레임워크의 아키텍처와 그 변천사
medium.com
롯데
롯데ON의 추천 Dynamic A/B Testing 구축 및 운영기
비즈니스 문제 정의
techblog.lotteon.com
카카오페이
카카오페이만의 AB 테스트 서비스를 만든 이유 | 카카오페이 기술 블로그
카카오페이에서 AB 테스트 서비스를 직접 만들게 된 과정을 공개합니다. 코루틴 액터, ANTLR 등과 같은 재미있는 기술도 소개합니다.
tech.kakaopay.com