방법론 v0.6

0. 판정문 작성 원칙 — 다른 모든 조항보다 앞선다

참값은 정보 제공자입니다. 판단은 하지 않습니다. 판단은 독자가, 그리고 필요하다면 의료·법률 전문가가 합니다. 이 원칙이 우리를 법적으로 지키고(사실 전달은 명예훼손이 성립하기 어렵습니다), 신뢰의 원천이 되며(입장 없는 심판이 가장 신뢰받습니다), 무엇보다 각 독자가 자기 맥락에서 옳은 결정을 하게 합니다.

1) 독자의 결정 질문부터 답한다

판정문은 "이거 사, 말아? 먹던 거 계속 먹어?"라는 독자의 질문에 먼저 답하고, 학술 근거는 그다음입니다. 결론 → 근거 순서.

2) 사실을 전달하되 행동을 지시하지 않는다

"연구가 무엇을 보여주는가"에서 문장을 멈춥니다. "사라·사지 마라·돈이 아깝다·과장이다·효과 있다·없다" 같은 행동 명령과 가치판단을 쓰지 않습니다.

3) 명확하되 명령하지 않는다

결론은 흐리지 않습니다 — 오히려 광고보다 선명하게. 단 그것이 "사실의 결론"이지 "행동의 명령"이 아니게 합니다. "판단 안 함"을 애매하게 뭉개는 핑계로 쓰지 않습니다 — 그것은 정보 제공이 아니라 책임 회피입니다.

1. 판정 단위 — 등급은 성분이 아니라 주장에 붙는다

주장 = 성분 × 효능 × 용량(및 기간)

"콜라겐은 피부에 좋다"는 판정 불가능한 문장입니다. "저분자 콜라겐 펩타이드 2.5~10g/일, 8주 이상 섭취 시 피부 수분·탄력 개선"은 판정 가능한 주장입니다. 하나의 성분에 여러 주장이 있으면 각각 따로 판정합니다 — 콜라겐×피부와 콜라겐×관절은 별개의 판정입니다. 판정은 특정 상품이 아니라 주장 단위로 서술하며, 광고 문구를 인용할 때는 캡처와 수집일을 함께 보관합니다.

2. 효과 등급

등급 보정 요소 (모든 판정문에 명시)

• 산업 자금 편향 — 해당 주장의 연구 중 제조사 자금 연구 비중. 높으면 한 단계 하향 검토.
• 출판 편향 — 긍정 결과만 출판된 정황(소규모 연구 일색, 사전등록 부재 등).
• 효과 크기 — 통계적으로 유의해도 체감 불가능한 크기면 판정문에 그대로 씁니다. "효과는 있으나 자로 재야 보이는 수준."
• 용량 격차 — 연구에서 쓴 용량 대비 한국 시판 제품의 실제 함량. 근거가 A여도 시판 제품이 연구 용량의 절반이면 그 사실을 판정문 최상단에 씁니다. 한국어권에서 이것을 판정 체계로 일관되게 하는 곳을 우리는 아직 찾지 못했습니다 — 찾으면 여기에 링크하겠습니다.

2-1. 등급 경계 규칙 v0.5 · 재판정에서 학습

등급이 엇갈릴 때 반복해서 문제가 되는 경계를, 재판정 절차(6-2)가 드러낸 대로 명문화합니다.

• ① 1차 종점 우선 (B/C 경계). 등급은 그 RCT의 사전지정 1차 종점 결과를 기준으로 합니다. 1차 종점이 비유의하고 2차·사후 하위군·대리지표에서만 유의하면 최대 C. (예: 루테인 — AREDS2 1차 주분석 HR 0.90 P=.12 비유의 → C.)
• ② 독립성 우선 (C/D 경계). 메타분석이 유의해도 가장 크거나 이해상충 없는 독립 RCT가 무효이거나 고품질 하위집합에서 유의성이 소멸하면 D. (예: 폴리코사놀·가르시니아 → D.)
• ②-b 독립 재현 부재 (B/C 경계). 무효로 판명된 독립 RCT는 없으나 양성이 전부 제조사 연구에 집중되고 독립 재현이 부재하면 D가 아니라 최대 C. 인체 신호는 있으나(→D 아님) 독립적으로 재현된 적이 없으므로(→B 아님). '무효'는 D, '부재'는 최대 C. (예: 히알루론산·세라마이드 → B에서 C로.)
• ③ 복합 주장 집계. 한 주장에 여러 종점이 묶이면 종점별로 채점하고, 근거 전무 성분이 있으면 반등급 하향 검토하며 그 사실을 분리해 밝힙니다. (예: 밀크씨슬 — 간 건강은 C, 피로는 근거 0건 → 명시.)
• ④ 규제 인정은 가점이 아니다. 식약처 기능성 인정은 상향 요인이 아니라 중립 메타데이터로 별도 표기합니다(원료·표시 규제일 뿐 효과·임상 이득 보증이 아님).

2-2. 등급 옆 점수 병기 v0.6 · 0~100

등급(A~F)은 구간이고, 그 안의 위치를 0~100점으로 함께 표기합니다 — 예: "등급 C · 47점". 등급은 큰 분류, 점수는 그 등급 안에서 근거가 하한에 가까운지 상한에 가까운지를 보여줍니다.

• A 80~100 · B 60~79 · C 40~59 · D 20~39 · F 0~19 · ? 판정불가(점수 없음)

점수는 근거 강도(인체 RCT의 유무·규모 · 독립성 · 1차 종점 충족 · 효과 크기 · 결과 일관성)를 종합해 구간 안에서 정합니다. 정밀한 계측이 아니라 등급 안의 방향 표시이며(47점과 49점은 사실상 같습니다), 그 근거를 판정문에 함께 적습니다. v0.6 이후 신규 판정부터 적용합니다. 점수를 정하는 실제 계산 규칙은 아래 2-3장에 전부 공개돼 있습니다.

2-3. 축 일곱과 기준점 표 v0.7 · 재현 가능한 채점

v0.7에서 무엇이 달라졌나. v0.6까지 점수는 「근거 강도를 종합해 구간 안에서 정한다」고만 적혀 있었습니다. 실제로는 아래 규칙으로 계산해 왔지만 그 규칙이 공개돼 있지 않았습니다. 규칙이 적혀 있지 않으면 독자도, 이의를 제기하는 사업자도, 저희 자신도 등급을 재현할 수 없습니다. 참값이 표준이 되려면 남이 같은 판정을 다시 계산할 수 있어야 합니다. 그래서 전부 공개합니다.

① 판정은 축 일곱 개로 분해합니다

• 축0 주장 유형 — 물리·화학적 사실에는 A~F를 매기지 않습니다. 등급은 진위가 아니라 근거 위계의 척도입니다.
• 축1 종점 · H 실제 사건(사망·발병·입원·재발·골절·감염·수술) · P 증상 척도(그 증상이 치료 목표인 경우) · S 대리지표(혈압·혈당·검사수치·영상소견·병변수 등)
• 축2 재현 · R2 서로 다른 연구진·자금원의 복수 RCT가 같은 방향 · R1 확증시험 하나 · R0 방향이 갈림 · RX 같은 적응증에서 반복 반증 · RE 재현 동등
• 축3 독립 · I2 독립 자금 확인 · I1 부분 관여 · I0 개발사·제조사 자금
• 축4 효과 · E+ 1차종점 이득 · E~ 선언된 문턱 미달 · E0 무효 · E- 위해 · EX 효과크기 확인 불가
• 축5 정밀 · C1 신뢰구간 전체가 문턱 바깥 · C0 그렇지 않음 · CX 판단 불가
• 축6 비뚤림 · B0 결함 없음 · B1 결함 하나 · B2 결함 둘 이상

축6의 결함은 아홉 항목으로 한정합니다 — 완결자분석 · 상당한 탈락(15% 이상) · 중간분석 경계에서 조기중단 · 비열등성 설계 · 총 200명 미만 · 12주 미만 · 눈가림 없는 주관 종점 · 활성대조만 · 부적절한 무작위배정·배정 은폐. 목록에 없는 흠은 세지 않습니다. 「위약군이 없다」·「결측 보고가 부족하다」는 결함 항목이 아닙니다.

② 강점 축을 셉니다

일곱 중 아래에 해당하는 개수가 강점 축 수입니다.

H · R2(또는 RE) · I2 · E+ · C1 · B0 · 대형 하드종점 시험(big_hard_rct)

③ 상한 규칙 — 하나라도 걸리면 그 위로 못 올라갑니다

• S 대리지표 → 최대 C
• P 증상 척도 → 최대 B (A는 실제 사건을 요구합니다)
• R1 → 최대 B · R0 → 최대 C
• I0(대형 하드종점 시험이 아닌 경우) → 최대 C
• E~ 문턱 미달 → 최대 C · EX → 최대 C
• B1 → 최대 B · B2 → 최대 C
• 공동 1차종점 중 한쪽만 충족 → 최대 C · 1차 실패·2차만 양성 → 최대 C

④ 기준점 표 — 등급과 강점 축 수로 점수가 정해집니다

등급 구간(A 80~100 · B 60~79 · C 40~59 · D 20~39 · F 0~19)과 어긋나지 않습니다. 점수는 등급 안의 위치이지 별도의 계측이 아닙니다. 50점과 54점의 차이는 강점 축 하나입니다.

⑤ 방향 — 이득이냐 무효·위해냐

• 1차종점에서 이득(E+·E~·EX)이면 A~C 구간에서 상한 규칙을 적용합니다.
• 1차종점이 무효·위해(E0·E-)면 D가 기본입니다.
• F는 좁습니다. 축2가 RX(같은 적응증에서 반복 반증)이면서, 축4가 E-(위해)이거나 축5가 C1(신뢰구간이 임상적으로 중요한 이득을 배제)일 때만 F입니다. 반복해서 반증됐더라도 정밀하지 않고 해롭지도 않으면 D입니다. 「효과 없음이 확정됐다」와 「효과를 못 보였다」는 다른 말이기 때문입니다.

⑥ 예시 — 실제 판정 하나를 그대로 계산해 보면

감시림프절 생검 기반 경부수술 × 조기 구강암 3년 생존 (판정 2879)

축 H(3년 전체생존) · R1(프랑스 재현 시험이 있으나 1차종점이 2년 경부재발로 달라 재현으로 세지 않음) · I2(일본 후생노동성 공공 연구비) · E+(원문이 선언한 12% 임상 허용차를 넘음) · B1(비열등성 설계). 강점 축은 H·I2·E+ 셋. 상한은 R1과 B1이 각각 B. → B 등급, 강점 3 → 72점.

⑦ 이 표는 만든 것이 아니라 실측한 것입니다

축을 기록한 판정 1,090건에서 (등급, 강점 축 수) → 점수를 전수 집계한 결과, 모든 칸이 단일값이었고 예외가 0건이었습니다. 위 표는 그 집계 결과 그대로입니다. 같은 규칙을 코드로 옮겨 1,090건에 다시 적용했을 때 1,089건이 일치했습니다(99.91%). 어긋난 1건은 그 판정 자체의 축 기록이 모순이어서 재검토 대상으로 공개해 두었습니다.

⑧ 적용 범위와 한계

• 이 규칙은 축이 기록된 판정에 적용됩니다. 2026년 8월 현재 1,110건입니다.
• 나머지 1,770건은 축 이전 방식으로 판정됐습니다. 등급 근거는 각 판정문의 「등급 이유」에 서술돼 있으나 같은 방식으로 재현할 수는 없습니다. 이 사실을 숨기지 않고 밝힙니다.
• 소급 적용을 진행 중이며, 조회가 많은 판정부터 축을 매깁니다. 소급으로 등급이 바뀌는 경우 개별 정정이 아니라 방법론 마이그레이션으로 일괄 기록합니다 — 옛 등급이 틀렸다기보다 규칙이 덜 정해진 상태에서 매겨진 것이기 때문입니다.
• 강점 축을 세는 방식은 가중치가 없습니다. 축 하나하나의 무게가 실제로 같지는 않을 것입니다. 더 나은 가중을 찾으면 v0.8에서 바꾸고, 바꾼 사실과 영향 범위를 여기에 적습니다.

3. 안전성 표기 (효과 등급과 별도 축)

• 양호 — 연구 용량에서 중대한 이상반응 보고 드묾.
• 주의 — 특정 조건(임신, 약물 병용, 간·신질환 등)에서 주의 필요. 조건을 명시.
• 경고 — 보고된 중대 이상반응 있음. 내용을 명시.
• 불명 — 장기 안전성 데이터 부족.

4. 판정 절차 — 7단계, 전부 공개

• ① 주장 수집 — 실제 광고·상세페이지 문구를 원문 그대로 인용합니다(캡처·수집일 보관). 허수아비를 만들지 않습니다.
• ② 문헌 검색 — 검색원(PubMed 등), 검색식, 검색일을 판정문에 기록합니다. 누구나 재현할 수 있어야 합니다.
• ③ 선별 — 인체 연구 우선, RCT·메타분석 우선. 제외한 연구는 제외 사유를 남깁니다.
• ④ 초안 — AI(Claude)가 작성합니다. 이 사실을 숨기지 않습니다.
• ⑤ 승인·서명 — 참값 편집부가 근거 목록을 직접 확인하고 승인하며, 판정문에 편집부 이름으로 서명합니다. 승인 전에는 어떤 판정도 공개되지 않습니다.
• ⑥ 공개·정정 — 오류 제보 창구를 엽니다. 정정 시 원문은 취소선으로 남기고 정정문과 날짜를 붙입니다.
• ⑦ 이의 제기 — 판정 대상 주장과 이해관계가 있는 사업자는 근거 문헌을 첨부해 이의를 제기할 수 있습니다. 접수 후 14일 이내에 검토 결과를 회신하고, 타당한 이의는 정정 절차로 처리하며, 기각된 이의는 사유와 함께 판정문 하단에 기록합니다.

5. 이해충돌 정책

판정 대상과 관련된 어떤 금전 관계도 맺지 않습니다 — 판매, 제휴, 광고, 원고료, 샘플 수령을 포함합니다. 기업용 감시 서비스의 고객 여부는 공개 판정의 대상 선정과 등급에 어떤 영향도 주지 않으며, 판정 대상과 감시 서비스 고객이 겹치는 경우 해당 판정문 최상단에 그 사실을 고지합니다.

6. AI 사용 고지

초안 작성과 문헌 정리에 AI를 사용합니다. AI는 출처를 지어낼 수 있으므로, 모든 인용 문헌은 승인 전에 실제 존재와 내용 일치를 사람이 확인합니다. 확인 전 문헌은 [검증 필요] 표시를 달고, 이 표시가 남아 있는 판정문은 공개할 수 없습니다.

6-1. 실패 패턴 도감 (학습 고리)

검증에서 걸러낸 "정보가 틀리는 방식"을 도감에 적립합니다. 이것은 정답 목록이 아니라 질문(함정) 목록이며, 판정마다 검증을 더 날카롭게 하되 검증을 대체하지 않습니다. 새 판정의 검증 단계는 이 도감을 확인 항목으로 읽고, 새로 걸러낸 패턴은 도감에 적립합니다. 예: "자금 없음 위장", "대리지표를 체감 효과로 확대", "흡수 입증 연구를 효능 근거로 전용", "제형 혼용(경구·구강점막·부착)". 정정 장부의 반박은 도감을 거꾸로 교정합니다 — 시간이 갈수록 검증이 빠르고 정확해집니다.

6-2. 검증·재판정 절차 v0.3

모든 판정은 아래 공정을 거칩니다. 이 공정이 등급 하나하나의 신뢰를 만듭니다.

• ① 초안 — AI가 문헌을 검색·종합해 등급 초안을 낸다.
• ② 2번 블라인드 교차검증 — 우리 등급을 모르는 독립 감사관 2명이 각자 인용을 원문으로 열어 확인하고 스스로 등급을 매긴다.
• ③ 분류 — 합치(둘 다 같음)/살핌(한 명만 다름)/엇갈림(둘 다 다름).
• ④ 엇갈림 재판정(변증법 · 이종 모델 교대) — 높은 등급·낮은 등급을 각각 다른 에이전트가 실제 근거를 새로 찾아 겨루게 한다. 검증은 코덱스(다른 모델 계열)와 참값의 AI가 번갈아 맡아 한쪽의 판단을 다른 쪽이 이어받아 검증하고, 편집부가 최종 판결한다.
• ⑤ 애매하면 한 번 더, 안 좁혀지면 강제하지 않는다 — 판결이 애매하면 교차검증을 한 번 더 돌리고, 그래도 등급이 좁혀지지 않으면 한 등급을 억지로 짜내지 않는다. "근거가 갈리는 판정"으로 양쪽을 이유와 함께 나란히 싣고 그대로 공개한다.
• ⑥ 경계의 학습 — 재판정이 드러낸 등급 정의의 모호함은 방법론 명확화(2-1장)로 적립한다.

각 판정문의 "교차 검증" 항목에서 그 판정이 이 절차의 어느 경로(합치/재판정 하향·조정)를 거쳤는지 공개합니다.

7. 한계 고지

모든 판정은 승인일까지 공개된 문헌에 근거하며, 새 연구가 나오면 등급은 바뀔 수 있습니다. 이곳의 어떤 내용도 의학적 조언이 아닙니다. 복용 결정은 의사·약사와 상의하세요.

방법론 변경 이력

• v0.2 (2026-07-05) — 0장 "판정문 작성 원칙" 신설. 판정문은 독자의 결정 질문부터 답하고(결론→근거), 사실을 전달하되 행동을 지시하지 않으며, 명확하되 명령하지 않는다.
• v0.3 (2026-07-06) — 6-1장 실패 패턴 도감·6-2장 검증·재판정 절차 신설. 초안→2번 블라인드 교차검증→엇갈림은 변증법 재판정. 억지 결론 금지.
• v0.4 (2026-07-06) — 2-1장 등급 경계 규칙 신설(1차 종점 우선·독립성 우선·복합 주장 집계·규제 인정은 중립).
• v0.5 (2026-07-06) — 2-1장 ②-b "독립 재현 부재" 규칙 신설. 판정 013~032를 이종 모델(코덱스 최상위)로 2번 더 필터링하며 학습: 독립 RCT가 '무효'면 D, '부재'면 최대 C.
• v0.6 (2026-07-06) — 2-2장 점수 병기(A~F 옆 0~100점) + 6-2장 교대 교차검증·미수렴 양론 병기 신설. 검증은 코덱스·참값 AI가 번갈아, 판결이 안 좁혀지면 강제하지 않고 갈림을 그대로 공개. 판정 051(아쿠아포린)에서 첫 적용.
• v0.7 (2026-08-19) — 2-3장 축 일곱과 기준점 표 공개. v0.6까지 점수는 「종합해 정한다」고만 적혀 있었고 실제 계산 규칙이 비공개였다. 축이 기록된 판정 1,090건에서 (등급, 강점 축 수)→점수 표를 전수 역산해 예외 0건임을 확인하고, 상한 규칙·F 판별식과 함께 전문을 공개한다. 축 미기록 1,770건의 소급 적용을 시작하며 소급으로 바뀌는 등급은 개별 정정이 아니라 방법론 마이그레이션으로 일괄 기록한다.
• v0.1 (2026-07-04) — 최초 작성. (2026-07-05 이의 제기 절차 추가)