[태그:] cutoff value

  • ELISA 분석 2 – 양/음성 판정 분석, 세팅(진단 키트 적용 목적)

    Keypoint

    • 목적은 ELISA 결과를 항원 또는 항체 진단 키트로 활용 가능하도록 양/음성 판정 기준(cutoff) 을 설정하는 것임.
    • qRT-PCR 기반으로 정의된 표준 양성/음성 샘플을 레퍼런스로 사용함. 즉, ELISA 신호를 임상적(또는 분자진단) 진실값에 매핑하는 과정임.
    • ELISA 분석 세팅
      • (1) 판정 지표 정의: OD / S–N / S/P 중 무엇을 쓸지 결정함.
      • (2) cutoff value 도출: sensitivity, specificity를 기반으로 최적 기준값을 설정함.

    1) 표준 양성/음성 세트(reference qRT-PCR 기반) 세팅

    • 양성/음성 라벨은 reference qRT-PCR kit 결과로 확정함.
    • 양성 샘플은 가능하면 Ct 범위를 넓게 포함시키는 것이 유리함.
      • 강양성만 있으면 cutoff가 “이상적으로” 잡히고, 약양성 구간에서 성능이 무너질 수 있음.
      • 강, 중, 약 양성샘플 추천
    • 음성 샘플은 현장 매트릭스(검체) 다양성을 최대한 반영하는 것이 유리함.
      • 혈청/혈장, 개체 차이, 농장/지역 차이, 저장 조건 등을 포함하면 false positive(위양성) 리스크를 더 현실적으로 평가 가능함.
    • 측정은 최소 duplicate 권장임.
      • 판정값이 “진단” 목적이면 duplicate 불일치 샘플이 실무에서 가장 큰 문제로 이어짐.

    2) Ag-ELISA vs Ab-ELISA에서 cutoff 의미가 달라짐

    2-1) 항원(Ag) 진단 키트로 활용할 때

    • 목표는 “현재 감염 개체에서 타겟프로틴/바이러스/항원 존재 여부” 판정임.
    • 실무적으로 특이도 우선 전략이 자주 필요함.
      • false positive 발생 시 방역/격리/도태/추가검사 비용이 커짐.
    • 따라서 cutoff는 “민감도/특이도 균형”도 보지만, 종종
      • Specificity 목표(예: ≥99%)를 먼저 고정하고 그 안에서 sensitivity 최대인 cutoff를 선택하는 방식이 합리적임.

    2-2) 항체(Ab) 진단 키트로 활용할 때

    • 목표는 “노출/감염 이력 또는 백신 면역 형성 여부” 판정임.
    • 약양성/경계구간이 많아질 수 있음(면역 형성 초기, 저역가, 교차반응 등).
    • 따라서 cutoff 하나로 단칼에 자르기보다
      • gray zone(재시험 구간) 을 함께 설계하는 것이 실무 친화적임.

    3) 신호 지표 선택: OD vs S–N vs S/P 장단점(진단 키트 관점)

    3-1) Raw OD로 판정할 때

    • 장점: 단순함. 계산 최소임.
    • 단점: plate-to-plate 변동에 취약함.
      • incubation, washing, substrate 반응시간 차이로 OD가 이동하면 cutoff 안정성이 깨짐.
    • 결론: 연구실 내부 스크리닝에는 가능하나, 진단 키트 판정 지표로는 리스크 큼.

    3-2) S–N(= OD_sample − OD_negative control)로 판정할 때

    • 장점: 배경(background) 제거가 직관적임.
    • 단점: PC 정보가 없으면 plate 변동 보정이 제한적임.
      • 전체 OD가 올라가거나 내려가면 S–N도 같이 흔들릴 수 있음.
    • 결론: background 보정용으로는 유용함. 다만 판정 지표로는 상황에 따라 한계가 있음.

    3-3) S/P로 판정할 때(진단 키트에서 가장 흔한 운영 방식)

    • 권장 형태는 다음임.
      • S/P = (OD_sample − OD_NC) / (OD_PC − OD_NC)
    • 장점: plate 변동을 PC/NC 기준으로 정규화함.
      • lot, 날짜, 오퍼레이터가 달라도 상대적 기준을 유지하기 쉬움.
    • 단점: PC 또는 NC 품질이 흔들리면 전체가 흔들림.
      • 따라서 plate acceptance criteria(QC 룰) 이 필수임.

    4) Background / signal noise 보정(반드시 들어가야 하는 파트)

    • ELISA 판정에서 background는 “노이즈”가 아니라 현장 false positive의 원인임.
    • 주요 원인은 다음임.
      • washing 불충분 → 비특이 결합 잔존 → background 상승
      • substrate 반응 시간 편차 → plate drift 발생
      • edge effect, sealing 문제
      • 샘플 매트릭스(용혈/지질혈/고빌리루빈 등)로 인한 비특이 신호
    • 결론: 진단 키트 목적이면 정규화 지표(S/P 등) + QC 룰을 같이 설계해야 함.

    5) Cutoff value 선정 로직(“가장 높은 값”을 구체화해야 함)

    cutoff는 “감으로”가 아니라, 아래 중 하나로 정의해야 함.

    5-1) ROC 기반 + Youden’s J 최대

    • 각 cutoff 후보마다 sensitivity, specificity를 계산함. / reference qRT-PCR 결과 값을 기준으로 sensitivity, specificity 계산함.
    • Youden’s J = sensitivity + specificity − 1 최대가 되는 지점을 선택함.
    • 장점: 민감도/특이도 균형을 수학적으로 명확히 설명 가능함.

    5-2) Target specificity 고정 후 sensitivity 최대(Ag 진단에 특히 유리)

    • 특정 특이도 기준을 먼저 설정함(예: ≥99%).
    • 그 조건을 만족하는 cutoff 중 sensitivity가 최대인 값을 선택함.
    • 장점: false positive 비용이 큰 Ag-진단 키트에서 논리적으로 설득력 높음.

    5-3) Gray zone 포함(Ab 진단에 특히 유리)

    • cutoff 주변에서 오분류가 집중되는 구간을 indeterminate로 설정함.
    • 해당 구간은 재시험/재채취/확진검사(PCR 등) 플로우로 연결함.
    • 장점: “키트 운영”에서 현실적인 판정 체계를 제공함.

    6) Plate acceptance criteria(QC 룰) — S/P를 쓸 거면 필수임

    • PC/NC 품질이 흔들리면 cutoff 자체가 의미 없어짐. 따라서 아래 룰이 필요함.
      • NC OD 허용 범위 설정 필요(너무 높으면 plate reject)
      • PC OD 최소값 설정 필요(너무 낮으면 plate reject)
      • (PC − NC) 최소 separation 설정 필요(분모 안정성 확보 목적)
      • duplicate 불일치 기준 설정 필요(CV 또는 %diff 기준)
    • 결론: cutoff 선정과 QC 룰은 세트로 가야 “진단 키트”로 완성됨.

    7) Summary

    • 진단 키트 목적이면 판정 지표는 S/P = (S−NC)/(PC−NC) 형태가 가장 안정적임.
    • Ag-진단은 특이도 우선 전략이 실무 친화적임.
    • Ab-진단은 gray zone + 재시험 플로우까지 포함하는 설계가 유리함.

  • ELISA 분석 – 그룹간 양 비교 결과 표현 법 3가지

    ELISA 분석 – 그룹간 양 비교 결과 표현 법 3가지

    Keypoint

    핵심 1: ELISA 결과는 OD값 한 점 비교(특정 희석 비율 고정) 로도 보여줄 수 있음. 단, 샘플 희석 비율 선택에 따라 결론 흔들릴 수 있음.

    핵심 2: OD값 vs 희석비율(희석곡선) 로 보여주면 전체 반응 형태까지 확인 가능함. QC 체크에도 유리함.

    핵심 3: endpoint titer 로 요약하면 그룹간 비교가 깔끔해짐. 이때 cutoff는 blank mean+3SD로 정의 가능함.

    ELISA 실험 예시

    목적: 백신 접종 조건별로 개체의 혈청 내 항체 생성량을 비교하는 ELISA 수행함.

    실험내용: 각 개체의 혈액에서 분리한 혈청을 희석buffer 에 시리즈(1:100~1:3200)로 희석하고 ELISA 수행 및 OD 측정함.

    실험결과: 3가지 그래프로 표현

    (1) OD 값 vs 그룹(특정 희석 비율 1개 선택함)

    (2) OD 값 vs 검체 희석비율(희석 곡선 보여줌)

    (3) Endpoint titer vs 그룹(양성 기준선 필요함)

    결과 표현 원리:

    희석이 진행되면 결합 가능한 항체 농도가 낮아지면서 OD가 감소하는 구조임.

    일반적으로 OD-희석 관계는 Sigmoid 형태(포화 → 감소 → 바닥)로 나타나기 쉬움.

    변수: 코팅 항원량, 혈청 희석 설계(간격/범위), blocking/세척 품질, 2차항체 농도, 반응시간이 OD 형태를 지배함.

    예외: OD가 포화(saturation)되면 실제 차이가 있어도 OD 차이가 눌릴 수 있음. 반대로 background가 높으면 약양성 구간이 사라질 수 있음.

    실험 결과 데이터:

    GroupSampleOD_1:100OD_1:200OD_1:400OD_1:800OD_1:1600OD_1:3200
    Vax-AVax-A-12.252.091.851.61.150.59
    Vax-AVax-A-22.222.041.841.551.120.57
    Vax-AVax-A-32.142.031.841.511.050.53
    Vax-AVax-A-42.212.071.851.541.110.53
    Vax-AVax-A-52.182.041.831.541.090.55
    Vax-BVax-B-11.761.581.220.780.350.13
    Vax-BVax-B-21.751.571.220.750.350.11
    Vax-BVax-B-31.731.531.240.730.320.12
    Vax-BVax-B-41.771.581.290.750.410.17
    Vax-BVax-B-51.791.531.240.780.330.14
    Vax-CVax-C-10.970.580.30.180.140.11
    Vax-CVax-C-20.920.490.270.080.10.1
    Vax-CVax-C-30.90.510.260.090.070.04
    Vax-CVax-C-40.970.520.270.140.110.05
    Vax-CVax-C-50.990.60.310.140.120.13

    (1) OD 값 vs 그룹(특정 희석 1개 선택)

    • 예: 1:800 또는 1:1600 같은 “중간 희석”에서 그룹별 OD boxplot 제시 가능함.
    • 관찰(예시): Vax-A가 가장 높고, Vax-B가 중간, Vax-C가 낮게 나타나는 형태임.
    • 해석 규칙: 동일 희석에서 OD가 높을수록 항체 수준이 높다고 해석 가능함. 단, 포화/바닥 구간이면 해석 제한됨.
    output (2)

    (2) OD 값 vs 검체 희석비율(희석곡선)

    • 그룹별 평균 OD 곡선(±SEM)과 cutoff 라인을 같이 그리는 방식임.
    • 관찰(예시):
      • Vax-A는 고희석까지 OD가 유지됨.
      • Vax-B는 중간 수준에서 감소함.
      • Vax-C는 비교적 빨리 cutoff 근처로 내려감.
    • 해석 규칙: cutoff 교차 지점이 오른쪽(고희석)으로 갈수록 항체가 많다고 해석함.
    output (1)

    (3) Endpoint titer vs 그룹

    • endpoint titer 정의: OD ≥ cutoff 를 만족하는 “가장 높은 희석배수” 임.
    • 본 글에서는 discrete endpoint 사용함. (측정한 단계 중 마지막 양성 희석을 endpoint로 둠)
    output (4)

    ** endpoint가 딱 갈리게 설정함

    • Vax-A: 1:3200에서도 OD ≥ cutoff 유지함 → endpoint 3200 임.
    • Vax-B: 1:1600까지 OD ≥ cutoff, 1:3200에서 OD < cutoff임 → endpoint 1600 임.
    • Vax-C: 1:400까지 OD ≥ cutoff, 1:800부터 OD < cutoff임 → endpoint 400 임.
    • 결론: endpoint 기준 그룹 순위 = Vax-A(3200) > Vax-B(1600) > Vax-C(400) 임.

    *** Endpoint – cutoff=blank mean+3SD

    • cutoff = mean(blank) + 3×SD(blank) 임.
    • blank = 혈청 대신 diluent만 넣은 well(항원 코팅/블로킹/세척/기질반응 조건 동일)임.
    왜 이 기준이 쓰임
    • background(비특이 신호) 분포의 상단을 기준으로 “양성”을 정의하려는 목적임.
    • blank 분포가 정규에 가깝다는 가정이면 mean+3SD는 대략 상위 0.1~0.2% 근처 경계값 성격임.
    • 결론: “background 변동을 고려해도 이 이상이면 신호로 보겠다”는 선언임.
    • n.c. mean + 3SD”는 보통 Negative control(음성 대조군/음성 혈청) 기준일때 사용함!!!!!!!!!

    **** Geometric mean titer

    Endpoint titer의 분포 성질
    • endpoint는 100→200→400처럼 배수로 증가함.
    • 동일한 “차이”가 산술적으로는 비대칭임.
      • 400→800은 +400임.
      • 1600→2000 같은 의미가 아님. endpoint는 원래 이런 스케일이 아님.
    • 따라서 endpoint titer는 보통 log-정규(log-normal) 성격을 가짐. 산술평균(Arithmetic mean)으로 요약하면 왜곡되기 쉬움.
    GMT 정의
    • GMT = exp( mean( ln(titer) ) ) 임.
    • 같은 말로, titer들을 로그 변환해서 평균낸 뒤 다시 원래 스케일로 되돌린 값임.
    GMT 장점
    • 배수 스케일 데이터에 자연스러운 중심값임.
    • 극단값(outlier)에 산술평균보다 덜 흔들림.
    • 그룹 간 비교가 “몇 배 차이인지”로 직관적으로 해석됨.
      • 예: GMT가 400 vs 1600이면 4배 차이임.
    GMT 단점/주의
    • titer=0은 log 계산 불가임. 아래 처리 규칙 필요함.
    • endpoint가 상한(예: 1:3200에서도 양성)인 샘플이 많으면 “검출한계 우측 검열(right-censoring)” 문제가 생김. GMT가 과소/과대 해석될 수 있음.
    • 따라서 희석 범위를 endpoint가 걸리도록 설계하거나, 상한 미도달 샘플은 “≥3200”로 별도 표기 필요함.

    데이터 정리 및 Discussion 실수 방지 체크리스트

    • 실수 1: OD 한 점(고정 희석)만 보고 결론 냄 → 대응: 희석곡선 또는 endpoint를 같이 제시함.
    • 실수 2: 희석 범위가 cutoff를 교차하지 않음(끝까지 양성/처음부터 음성) → 대응: 희석 범위를 재설계함.
    • 실수 3: blank SD가 큰데 그대로 cutoff를 씀 → 대응: 세척/블로킹/plate edge effect 점검 후 재측정함.
    • 실수 4: endpoint를 원 OD 기준으로 plate 간 비교함 → 대응: 가능하면 같은 run 내 비교 또는 정규화(S/P 등) 고려함.
    • 실수 5: endpoint 통계를 원값으로 수행함 → 대응: log 변환 후 비교 권장함.

    Summary

    • 결론: ELISA 그룹 비교는 OD@고정희석 / 희석곡선 / endpoint titer 3가지로 정리 가능함.
    • 판정 기준: endpoint는 cutoff=blank mean+3SD 로 정의 가능함.
    • 실무 팁: 한 장으로 끝내려면 “OD@중간희석 + endpoint” 조합이 전달력 좋음.
    • 실무 팁2: endpoint가 흔들리면 assay 방식, 실험(blank SD, 세척, edge effect)부터 점검 필요함.