교육 만족도 조사의 설계와 해석 기준
교육 사업의 결과보고서에는 거의 예외 없이 만족도가 들어갑니다. 저희도 여러 해 동안 같은 형식의 조사를 반복해 왔습니다.
기록을 한자리에 모아 놓고 보니, 만족도라는 숫자 하나는 생각보다 많은 것을 감추고 있었습니다. 이 글은 그 숫자를 만들 때와 읽을 때 저희가 지키는 기준입니다.
문항은 몇 개가 적당한가
저희 기록에 남은 조사는 대부분 5점 척도 12문항에서 13문항 구조입니다. 자활 컨설팅과 취업컨설팅 조사가 12문항, 일부 컨설팅 조사가 13문항입니다.
문항 수를 이 범위로 잡는 이유는 두 가지입니다. 열 개 아래로 내려가면 영역별로 나눌 수가 없고, 스무 개를 넘기면 뒤쪽 문항의 응답 품질이 떨어집니다.
영역은 대체로 다섯 갈래로 나뉩니다. 교육 내용, 교육 방법, 강사, 시설과 환경, 운영 지원입니다.
여기에 전반적 만족도 문항 하나를 따로 답니다. 이 문항 하나가 뒤에서 설명할 해석의 기준점이 됩니다.
전반 만족과 가중평균은 다른 숫자다
결과보고서에 만족도를 한 줄로 적을 때, 그 숫자가 어디서 나왔는지를 반드시 밝혀야 합니다. 전반적 만족도 문항 하나의 평균과, 척도 문항 전체의 가중평균은 다른 값입니다.
2024년 대전광역자활센터 컨설팅 결과보고서는 전 12문항 가중평균 4.97점, 전반 만족 문항 5.00점으로 기재하고 있습니다. 두 값을 함께 적어 두었기 때문에 몇 해 뒤에도 어느 쪽 숫자인지 헷갈리지 않습니다.
두 값이 벌어질수록 특정 영역에서 점수가 빠졌다는 뜻입니다. 저희는 벌어진 폭을 보고 어느 영역을 손봐야 할지를 판단합니다.
한 가지 더 지킵니다. 인용은 결과보고서에 그 숫자로 기재된 값만 하고, 응답 파일이나 응답분포 계산표에서 다시 계산해 낸 값은 쓰지 않습니다.
문항별 편차가 진짜 정보다
평균 하나만 보면 개선할 곳이 보이지 않습니다. 문항별 평균의 최솟값과 최댓값을 나란히 적어 두면 그때부터 정보가 됩니다.
2024년 대전광역시청 자유학기제 진로특강은 문항별 평균이 4.69점에서 4.83점 사이였습니다. 2023년 충북산업과학고 캠프는 12문항 평균이 1학년 4.54점에서 4.81점, 2학년 4.68점에서 4.81점 범위였습니다.
이 범위의 아래쪽 문항이 보통 시설과 환경, 또는 교육 시간 편성입니다. 내용과 강사 문항은 높게 나오고 운영 조건 문항이 낮게 나오는 패턴이 반복됩니다.
그래서 저희는 만족도를 올리는 작업을 강의 개선이 아니라 운영 개선에서 먼저 시작합니다.
응답률을 같이 적지 않으면 숫자가 아니다
응답 인원과 총원을 함께 적는 것이 저희의 원칙입니다. 자활 컨설팅은 총원 10명에 응답 10명으로 응답률이 완전했습니다.
반면 1차년도 아동보호전문기관 컨설팅은 참여 10명에 응답 7명입니다. 같은 4점대 후반 만족도라도 응답 7명의 값과 응답 10명의 값은 무게가 다릅니다.
응답이 적을수록 한 사람의 응답이 평균을 크게 움직입니다. 그래서 결과보고서에 만족도를 쓸 때는 항상 응답 인원을 괄호로 붙입니다.
점수 척도를 바꾸면 비교가 끊긴다
만족도를 5점 척도로만 쓰는 것은 아닙니다. 2019년 선문대학교 사업의 3D프린팅 과정 만족도 조사는 8개 영역 13문항을 100점 환산 방식으로 운영했습니다.
매우 그렇다 100점, 그렇다 90점, 보통 80점, 그렇지 않다 70점, 전혀 그렇지 않다 60점으로 배분하는 방식입니다. 발주처가 지정한 서식이면 그 서식을 따라야 합니다.
다만 척도가 바뀌면 연도 간 비교가 끊깁니다. 저희가 5점 척도를 기본으로 붙잡고 있는 이유는 정확해서가 아니라 계속 이어져서입니다.
정리하면
만족도 숫자 하나를 제대로 쓰려면 네 가지가 같이 있어야 합니다. 어느 문항의 값인지, 몇 문항의 평균인지, 응답이 몇 명인지, 척도가 무엇인지입니다.
이 네 가지가 붙어 있는 숫자는 몇 해가 지나도 다시 쓸 수 있습니다. 붙어 있지 않은 숫자는 그해 보고서를 넘기는 순간 쓸모가 없어집니다.
만족도 조사는 발주처에 제출하려고 하는 일이 아니라, 다음 해의 자기 자신에게 남기는 자료입니다.
근거 문서
BRAIN\_DB\02_사업DB\biz_top25_details.csv만족도 기재 행 전체- 대전광역자활센터 2024 결과보고서 (전 12문항 가중평균 4.97, 전반 만족 5.00)
- 2024 대전광역시청 자유학기제 진로특강 결과보고서 (문항별 4.69~4.83)
- 2023 충북산업과학고 캠프 결과보고서 (1학년 4.54
4.81, 2학년 4.684.81) DATA\사업\2025\선문_코딩\6.성과\D_2025__3D프린팅 1회차 만족도조사.hwp·2회차(8항 13문항 100점 환산, 응답 8명·13명)