03Risk Prediction

관찰 단위는 국토안전관리원에 신고된 사고 한 건이다. 사망자가 한 명 이상이면 분류 정답은1, 그렇지 않으면0으로 둔다. 회귀 정답은 같은 기록의 사망자 수다. 두 질문은 같은 입력을 쓰더라도 출력의 단위가 다르다. 분류는 사망 포함 여부를, 회귀는 사람 수를 설명한다. 사고가 없던 작업은 수록되지 않아 내일 작업의 사고 발생률을 계산할 수 없다. 체험에서 정답의 단위를 바꾸어 분류 혼동행렬과 회귀 RMSE를 비교한다. 사망자 수 회귀는 학습 기간의 객체별 평균을 미래 기록에 적용하며, 처음 보는 객체에는 전체 학습 평균을 쓴다. 전체 평균만 답하는 기준선과 나란히 읽는다.

분류값은 숫자로 부호화돼 있어도 크기의 순서가 있는 양이 아니다. 공종·객체·작업 프로세스·공공민간·시설물은 학습 기간에 나온 범주만 one-hot 지시변수로 만든다. 미입력도 별도 범주로 남기고 평가 때 처음 본 범주는 기존 사전에 끼워 넣지 않는다. 사고 유형은 사후에 정리한 분류이므로 사전 예측 입력으로 쓰면 누설이 된다. 아래 객체별 비율은 각 객체의 사망 포함 신고 건수를 그 객체의 신고 건수로 나눈 값이다. 작업량이나 노출 시간이 없으므로 비율이 높다는 이유만으로 특정 객체가 더 위험하다고 결론내릴 수 없다. 사후 유형 선택을 바꿀 때 평가 기간을 유지하여 입력 정보의 차이가 순위 성능을 어떻게 바꾸는지 읽는다.

로지스틱 회귀는 one-hot 입력의 선형 결합을 sigmoid로 바꾸어 사망 포함 점수를 낸다. 평균 이항 손실과 L2 벌점0.002를 사용하고 학습률0.7로160회 계산한다. 결정나무는 범주 하나와 나머지를 나누어 Gini 불순도를 줄이는 분할을 선택하며 기본 깊이4, 최소 잎60건을 쓴다. 같은2019–2023년27,275건으로 학습하고2024–2025년9,921건에서 평가한다. 160회 값은 수렴해라고 표시하지 않는다. 작은 점수 범위를 읽기 쉽게 임계값 곡선의 축을 실제 최대 점수에 맞춘다. AUC는 순위를 보고 혼동행렬은 선택한 임계값에서 판정을 세므로 두 지표를 함께 읽는다. 모두 비사망이라고 답하는 전체 기록 기준선은95.8%이나 재현율은0이다.

교차 검증은 한 번 나눈 자료의 우연에 성능 판단이 좌우되는지 확인하는 방법이다. 먼저2024년과2025년 평가 기록을 따로 읽는다. 2025년은6월까지여서 연간 건수로 비교하지 않으며 AUC도 표본 구성이 다르다는 전제에서 본다. 두 번째 체험은 학습 기간에서 매10번째 기록을 취한 뒤3개 또는5개 폴드로 나누어 실제로 다시 학습한다. 이 계산은 미래 평가의 대체가 아니라 학습 기간 내부의 변동을 보는 보조 검사다. 각 폴드에서 평가 라벨은 학습에 들어가지 않고 입력 범주 사전도 학습 기록에서 만든다. 사고 유형 포함 여부를 결과에 표시하고 바꿀 수 있다. 가장 높은 폴드만 고르는 대신 모든 폴드의 차이와 미래 평가 결과를 함께 남긴다.

범주 입력의 판정 경계는 연속 좌표의 직선 그림과 다르다. 여기서는 객체와 시설물 조합마다 실제 평가 기록 하나를 골라 모델 점수로 칠한 표를 만든다. 빈 칸은 해당 평가 조합이 없다는 뜻이며 임의의 사고 기록을 만들어 채우지 않는다. 임계값을 바꾸면 같은 점수가 양성 또는 음성으로 분류되어 색이 달라진다. 셀 사이에는 공종과 작업 프로세스도 다를 수 있으므로 두 입력만 바꾼 인과 효과로 해석하지 않는다. 사후 사고 유형을 포함하면 모형이 보는 정보가 달라지는 것을 표 위에 명시한다. 희귀 범주의 한 기록이 그 범주 전체를 대표한다고 보지 말고 실제 기록 수와 함께 읽는다. 연속 입력 평면의 경계를 이해한 뒤 범주형 자료에서 무엇을 고정할 수 없는지 비교하는 체험이다.

예측 모델이 찾은 관계는 상관이다. “교육 시간이 많은 현장에서 사고가 더 많다”는 결과가 나왔다고 해서 교육을 줄이면 사고가 줄어든다는 뜻은 아니다. 그 사이에 둘 다에 영향을 주는 제3의 요인(교란 요인)이 있을 수 있다. 예를 들어 대형 현장일수록 안전교육을 더 많이 하면서 위험한 공종도 더 많이 맡는다면, 교육 시간과 사고율이 함께 높게 나올 수 있다.

아래 체험은 가상의 현장 여러 곳을 이렇게 만든다. 현장 규모가 클수록 교육 시간도 길고 사고율도 높게 정한 것은 설명을 위한 설정이며 실제 규모와 사고율의 관계가 아니다(01). 그리고 같은 규모끼리 비교하면 교육이 늘 때 사고율이 줄도록(가상의 진짜 효과) 만들었다. 규모를 구분하지 않고 보면 교육과 사고율이 양의 관계로 나오고, 규모별로 나누어 보면 음의 관계가 나온다. 이것은 01에서 본 구성 효과, 심프슨의 역설과 같은 뿌리다.

그러니 모델이 학습한 계수를 정책 효과로 읽을 때는 조심해야 한다. 교육을 2시간 늘려 사고율이 얼마나 변할지를 묻는 것은 개입의 효과를 묻는 일이고, 관측된 상관만으로는 답할 수 없다. 교란 요인을 통제하거나, 무작위 배정 같은 설계가 필요하다. 06에서 설명 가능한 AI를 다룰 때도 “모델의 설명은 인과가 아니다”를 다시 만난다.

학습 곡선은 학습 자료가 늘어날 때 같은 평가 집합의 성능이 어떻게 달라지는지 보여 준다. 여기서는 학습 기간 기록을 정해진 간격으로 취하여25%,50%,100%를 비교하고 미래 평가9,921건을 고정한다. 각 비율마다 범주 사전과 계수를 다시 만든다. 자료가 많아지면 희귀 범주가 더 관측되지만 정확도가 반드시 단조롭게 오르는 것은 아니다. 사고 유형 포함 여부와 모형을 고정한 상태에서 곡선을 읽어야 데이터 양과 모델 변경 효과를 혼동하지 않는다. 점들이 비슷하다는 사실만으로 자료가 충분하다고 판단할 수 없다. 미래 시기의 변화, 신고 방식의 편향, 미입력과 사고 없는 작업의 부재는 학습량을 늘려도 자동으로 해결되지 않는다. 각 점의 AUC를 기준선0.5와 함께 비교한다.