가사에서 뮤직비디오까지 — 생성 AI 파이프라인 실험 노트

곡 한 곡을 넣으면 씬 기획부터 이미지·영상 생성까지 이어지는 파이프라인을 만들어 봤습니다. 완성보다 설계에서 배운 것이 더 값졌습니다.

타임라인은 불변이다

가장 크게 깨달은 원칙. 곡 길이는 고정값이고, 씬은 그 위에 얹히는 레이어일 뿐입니다. “씬을 뒤에 추가”하면 전체 길이가 늘어나 오디오 싱크가 무너집니다. 그래서 편집은 추가가 아니라 분할(split) 로만 설계했습니다.

정답지가 있으면 받아쓰기 하지 않는다

가사 원문을 이미 알고 있다면, STT(받아쓰기)가 아니라 강제정렬 문제로 바뀝니다. “이 문장이 몇 초에 나오는가”만 풀면 되니 정확도가 훨씬 높죠.

스타일은 프롬프트가 아니라 레퍼런스로 고정한다

텍스트 프롬프트만으로는 생성할 때마다 화풍이 흔들립니다. 기준컷과 캐릭터 시트를 레퍼런스 이미지로 매 호출에 물려주는 것이 8할이었습니다.

정리하면, 생성 AI 파이프라인의 핵심은 모델 선택이 아니라 불변 규칙을 어디에 두느냐였습니다.