PBL 자동채점 시스템 - 실험적 프로젝트
📋 프로젝트 개요
PBL(Problem-Based Learning) 과제에 대한 자동 채점 시스템을 개발하려 했던 프로젝트입니다.
초기 목표
- 멀티모달 입력 처리 (텍스트, 이미지, 문서)
- 다중 LLM 기반 공정한 채점
- CLI 기반 빠른 처리
🎯 시도한 것
기술적 선택
- Multi-LLM 통합: GPT, Claude, Gemini를 동시 활용하여 채점 편향성 감소
- 멀티모달 처리: 다양한 형식의 학생 제출물 통합 분석
- CLI 기반 아키텍처: 빠른 배치 처리를 위한 커맨드라인 인터페이스
구현 방식
학생 제출물 → 형식 감지 → 전처리 →
Multi-LLM 채점 → 결과 합의 → 피드백 생성
💡 진행 내용
구현한 부분
- ✅ 멀티모달 입력 파싱 시스템
- ✅ Multi-LLM API 통합 (GPT, Claude, Gemini)
- ✅ 기본 채점 로직 구현
- ✅ CLI 인터페이스 프로토타입
직면한 문제
-
CLI 기반의 한계
- 상황: 실제 교육 현장에서 CLI 도구 사용의 접근성 문제
- 시도: 사용 가이드 작성, 스크립트 자동화
- 결과: 비기술 담당자들이 사용하기 어려움
-
전처리 복잡도
- 상황: 다양한 형식(PDF, DOCX, 이미지)의 전처리가 복잡
- 시도: 각 형식별 파서 개발
- 결과: 유지보수 복잡도 증가, 새 형식 추가 시 확장성 문제
-
실시간 피드백 요구
- 상황: 교육자들이 웹 UI에서 즉시 결과를 보고 싶어함
- 시도: CLI 결과를 파일로 저장 후 수동 확인
- 결과: UX 불편, 워크플로우 단절
🔄 중단 이유
핵심 이유: 사용성 문제로 인한 아키텍처 전면 재설계 필요
상세 배경:
- 사용성: CLI 기반은 기술팀 외에는 사용이 어려움
- 더 나은 대안: Google Gemini API 기반 웹 인터페이스로 전환 결정
- 아키텍처 변경:
- CLI 배치 처리 → 웹 기반 실시간 처리
- 로컬 전처리 → 클라우드 기반 처리
📚 배운 점
기술적 학습
-
Multi-LLM 통합 노하우
- 각 LLM의 강점과 약점 이해
- API 호출 최적화 및 비용 관리
- 결과 합의 알고리즘 설계
- → 이 경험은 나중에 LLM 분석 도구 프로젝트에서 활용됨
-
멀티모달 처리 파이프라인
- 다양한 입력 형식의 표준화 방법
- Vision API와 OCR 통합 경험
- → 이 지식은 멀티모달 처리 시스템으로 발전
-
전처리 아키텍처
- 파일 형식별 파서 설계
- 에러 핸들링 및 폴백 전략
프로젝트 관리
- 사용자 니즈 조기 검증의 중요성: 개발 초기에 실제 사용자와 UX 검증 필요
- 아키텍처 선택의 영향: CLI vs Web은 단순 인터페이스 차이가 아니라 전체 시스템 설계에 영향
- 점진적 개선보다 재설계가 나을 때: 근본적인 사용성 문제는 패치로 해결 불가
다음에 다르게 할 것
- MVP 단계에서 실사용자 테스트: 프로토타입을 만들기 전에 사용자 워크플로우 검증
- 확장 가능한 아키텍처 초기 설계: 나중에 웹으로 전환 가능한 구조로 시작
- 인터페이스와 핵심 로직 분리: 채점 엔진과 UI를 모듈화하여 인터페이스 변경 용이하게
🔗 관련 프로젝트
이 경험이 다음 프로젝트로 이어짐:
- LLM 분석 도구: Multi-LLM 통합 경험 활용
- 멀티모달 처리 시스템: 파일 처리 파이프라인 발전
- 향후 PBL 시스템 v2: 웹 기반으로 재설계 예정
💭 회고
이 프로젝트는 “실패”가 아니라 방향 전환이었습니다.
CLI 기반 프로토타입을 만들면서:
- Multi-LLM 통합의 실전 경험 획득
- 멀티모달 AI 처리의 복잡성 이해
- 교육 현장의 실제 니즈 파악
특히 Multi-LLM을 활용한 채점 편향성 감소 아이디어는 검증되었고, 이는 다른 LLM 프로젝트에도 적용되고 있습니다.
아키텍처 변경으로 중단되었지만, 핵심 채점 로직과 LLM 통합 경험은 재사용 가능한 자산이 되었습니다.
다음 단계: Google Gemini API를 활용한 웹 기반 PBL 채점 시스템 v2 계획 중
프로젝트 중단일: [날짜] 아키텍처 재설계 결정일: [날짜] 학습 내용 정리일: 2025-01-21