1장. 상품 설명을 감이 아닌 실험으로 운영하라
1-1. 문구 수정과 실험 운영을 구분하는 실험 계약서
1-2. 클릭률과 구매 품질을 함께 보는 지표 나무
1-3. 상품 사실을 확인·가설·금지·누락으로 나누는 입력 카드
1-4. 10개 변형을 10개의 설득 가설로 설계하는 법
1-5. 최소 효과와 중단 조건을 먼저 적는 사전등록
2장. 생성·검수·배포를 잇는 에이전트 구조를 세워라
2-1. 입력에서 학습까지 아홉 상태로 흐름을 닫기
2-2. GPT-4o Structured Outputs로 10개 변형을 구조화하기
2-3. 브랜드 보이스를 형용사가 아닌 문장 규칙으로 번역하기
2-4. 중복·길이·사실성 검수를 생성기와 분리하기
2-5. 저위험 자동 승인과 고위험 인간 검토를 라우팅하기
3장. A/B/n 배포와 이벤트 추적을 오염 없이 구현하라
3-1. 해시 기반 고정 배정으로 같은 사용자의 경험을 지키기
3-2. 노출·클릭·장바구니·구매 이벤트의 분모를 고정하기
3-3. event_id와 transaction_id로 중복을 제거하기
3-4. Shopify·GA4에서 실험 문맥을 함께 보내기
3-5. 동의·식별자·보존 범위를 최소화하기
4장. 성급한 승자를 막는 자동 판정 엔진을 만들어라
4-1. 관측 CTR과 Wilson 신뢰구간을 함께 읽기
4-2. 기준 CTR·최소 효과·검정력으로 표본을 계산하기
4-3. 10개 변형의 다중 비교와 동률을 처리하기
4-4. SRM·지연·봇·재고 변화를 데이터 홀드로 보내기
4-5. 보호 지표와 위험 등급으로 자동 선택을 제한하기
5장. 하나의 상품으로 완주하고 학습 자산으로 확장하라
5-1. 샘플 상품의 사실 카드와 실험 계약을 작성하기
5-2. 10개 설명 생성·검수 결과를 운영 대기열에 넣기
5-3. 배포·추적·판정 보고서를 끝까지 실행하기
5-4. CTR 너머의 매출·마진·반품을 다목적으로 평가하기
5-5. 상품군·세그먼트·채널별 지식베이스와 밴딧 확장