프로그램 평가의 기획과 자료분석 및 해석 그리고 프로그램 실패유형과 원인

이번시간에는 프로그램 평가 기획과 자료분석 그리고 해석에 대해 알아볼 겁니다. 추가로 프로그램이 왜 실패하는지 유형과 원인이 살펴보겠습니다

 

프로그램 평가의 기획

체계적인 평가과정 설계 방법(Caffarella)

프로그램 평가의 기획은 다음과 같은 체계적인 과정을 따라야 합니다

1. 평가결과에 영향을 미치는 이해관계자들과의 협력과 후원을 확보합니다. 이는 자금지원기관, 최고 경영자, 프로그램 개발자, 지역사회단체 등을 포함합니다.
2. 평가에 참여해야 할 사람들을 결정하고 참여 방법을 결정합니다.
3. 평가의 목적과 결과를 어떻게 활용할 것인지를 명확하게 기술합니다.
4. 평가할 내용과 질문을 구체화합니다.
5. 평가를 위해 필요한 증거를 누가 제공할지를 결정합니다.
6. 사용될 평가 방법을 구체화합니다.
7. 자료 수집 기법과 시기를 결정합니다.
8. 분석 절차를 구체화합니다.
9. 프로그램을 평가하기 위해 사용될 기준과 그 결정에 활용되는 절차를 명확하게 정의합니다.
10. 평가를 실시하는 데 필요한 구체적인 시간계획과 예산을 결정합니다.
11. 평가를 완료한 후 권고안을 작성하고 평가 보고서를 작성하여 제시합니다.
12. 프로그램 전반 또는 특정 학습 활동에 대한 개선 사항에 대응합니다.

 

평가자료 수집기법

평가 자료 수집을 위해 다양한 기법이 사용됩니다.
1. 질문지법: 정보를 수집하고 신속하며 신뢰성 있는 결과를 얻을 수 있는 방법입니다. 참여자들에게 질문지를 배포하고 정해진 질문에 답변하도록 요청합니다.
2. 면접법: 대면적이고 개인적인 상호작용을 통해 데이터를 수집하는 방법입니다. 조사자가 참여자와 직접 대화하면서 질문에 대한 답변을 기록합니다.
3. 관찰법: 특정 행동을 관찰하고 기록하는 방법으로, 행동 발현에 강조점을 두고 관찰자가 기록합니다. 이는 특히 행동이나 상호작용에 중점을 둔 프로그램의 평가에 유용합니다.
4. 논평: 형식적이거나 비형식적인 방법으로 기록된 의견이나 평가입니다. 참여자들의 의견이나 경험을 기록하여 분석합니다.
5. 비디오테이프와 테이프 리코딩: 수업이나 특정 상황을 비디오로 기록하고 후에 분석하는 방법입니다. 영상을 통해 특정 행동이나 상황의 효과성을 분석하고 평가할 수 있습니다.

 

자료수집시기와 장소

자료 수집은 프로그램의 다양한 단계에서 이루어질 수 있습니다. 이를 위한 몇 가지 지침은 다음과 같습니다:

1. 프로그램 시작 전: 프로그램이 시작되기 전에는 참여자들의 기초 자료를 수집하는 것이 중요합니다. 이는 참여자들의 수준을 파악하고 출발점을 설정하기 위한 것입니다.

2. 프로그램 진행 중: 프로그램이 진행되는 동안 참여자의 학습에 관한 자료를 수집할 수 있습니다. 또한 프로그램에 대한 참여자와 스텝의 반응을 확인하기 위해 자료를 수집할 수 있습니다.

3. 프로그램 종료 후: 프로그램이 끝난 후에는 참여자들의 학습에 관한 자료와 프로그램에 대한 참여자와 스텝의 반응을 평가하기 위해 자료를 수집할 수 있습니다.

4. 프로그램 종료 후 추가 평가: 프로그램 종료 후에도 참여자들의 지식수준, 수행 능력, 가치 및 태도 등에 대한 자료를 수집할 수 있습니다. 또한 기관의 정보 및 지역사회/사회에 관한 정보를 수집할 수 있습니다.

 

자료수집 지침

1. 자료 수집 방법은 완전히 익명으로 이루어져야 합니다.

2. 분명하고 정확한 지시문이 제공되어야 합니다.

3. 면접, 토론, 관찰은 평가 결과에 직접적인 영향을 미치지 않는 사람들에 의해 수행되어야 합니다.

4. 자료 수집 형식과 방법을 결정하기 위한 충분한 시간이 제공되어야 합니다.

5. 특별한 사건(시험, 휴일 등) 직전이나 직후에는 평가 정보를 수집해서는 안 됩니다.

6. 참여자들이 교수자와 수업 내용에 익숙해질 수 있는 충분한 시간을 가진 후에 정보를 수집해야 합니다.

7. 정보가 이완되고 자연스러운 상황에서 수집되어야 합니다.

8. 부정확하거나 편파적인 지각을 피하기 위해 가능한 한 자신의 정보와 다른 정보를 대조하여 검토해야 합니다.

 

교육프로그램의 실패 유형과 원인

1. 부분적인 기획과 실행 문제
부분적인 기획과 실행 문제는 다양한 요인에 기인할 수 있습니다. 먼저, 불분명한 조직목표로 인해 프로그램의 방향성이 모호해지고, 이로 인해 프로그램이 목표를 달성하는 데 어려움을 겪을 수 있습니다. 또한, 잘못된 고객체제 설정은 프로그램이 제대로 된 방식으로 운영되지 못하게 할 수 있으며, 자원 제약에 대한 불완전한 이해는 프로그램을 위한 적절한 자원 확보를 방해할 수 있습니다. 비용 부족이나 엉성한 설계는 프로그램을 효과적으로 실행하는 데 필요한 자원과 계획이 부족함을 의미하며, 이러한 문제로 인해 계획의 완수가 어려워질 수 있습니다.

 

2. 부적절한 등록으로 인한 프로그램 취소
프로그램이 취소되는 경우에는 다양한 요인이 작용할 수 있습니다. 먼저, 부적절한 등록으로 인한 프로그램 취소는 적절한 등록 절차나 시스템이 부재하여 프로그램을 실시할 충분한 참여자를 모으지 못한 경우를 의미합니다. 이는 부적절한 수강료, 스케줄, 그리고 장소 설정 등으로 인해 발생할 수 있습니다. 또한, 잠재적 참여자, 조직, 그리고 지역사회의 관심 부족으로 인해 충분한 참여자를 모집하지 못할 수도 있습니다. 이와 함께, 부적절한 마케팅 전략이나 매력적인 경쟁체계 부재로도 참여자들의 관심을 끌어들이지 못할 수 있습니다. 또한, 시장 포화와 부적절한 후원은 프로그램이 지원을 받거나 경쟁력을 유지하기 어려운 상황을 초래할 수 있습니다.

 

3. 참여자 기대에 미치지 못하는 프로그램 실행
프로그램 실행 중에 참여자들의 기대에 부응하지 못하는 경우에는 몇 가지 이유로 인해 발생할 수 있습니다. 먼저, 미숙한 교수자나 진행자가 프로그램을 운영하거나 진행하는 경우에는 참여자들이 원하는 수준의 지도나 안내를 제공하지 못할 수 있습니다. 또한, 목표가 불분명하게 설정되었거나 내용과 참여자들의 욕구가 일치하지 않는 경우에도 참여자들의 기대를 충족시키기 어려울 수 있습니다. 그리고 비수업자원의 품질이 저하되어 필요한 자원이나 시설이 부족하거나 품질이 낮은 경우에도 프로그램 실행이 원활하지 않을 수 있습니다.

 

4. 참여자 만족도와 목표 달성의 불일치
참여자의 만족도와 프로그램 목표 달성의 불일치는 여러 이유로 발생할 수 있습니다. 첫째, 프로그램의 수업 방식이 비효율적이거나 참여자들의 요구를 충분히 반영하지 못할 경우에는 참여자들의 만족도가 낮아질 수 있습니다. 둘째, 참여자들이 프로그램의 목표에 대한 인식이 부족하거나 비현실적인 기대를 가지고 있을 경우에도 목표 달성과 만족도 간의 불일치가 발생할 수 있습니다. 마지막으로, 프로그램의 목표와 실제 프로그램이 제공하는 내용이나 방식이 일치하지 않는 경우에도 참여자들은 프로그램에 대한 기대와 경험 사이의 불일치를 느낄 수 있습니다. 이러한 요인들은 학습 준비 부족으로 이어질 수 있으며, 이는 참여자들이 프로그램에 대한 효과적인 참여를 제한할 수 있습니다.