Music Lens로 50초 발췌 음원 중 4–19초를 그린 이미지입니다. 음원: “Aces High” by Kevin MacLeod (incompetech.com), CC BY 4.0

왜 만들었나

AI 에이전트는 대부분 소리를 듣지 못합니다. 소리를 받을 수 있는 모델도 곡의 인상은 말하지만, 몇 BPM인지, 몇 초에 어떤 코드와 음이 울렸는지, 가사가 박의 어디에 걸리는지는 근거를 들어 짚지 못합니다. 그래서 "이 곡을 듣고 비슷한 느낌으로 작곡해 줘" 같은 부탁을 하면, AI는 곡을 실제로 듣지 않고 제목이나 장르로 짐작하게 됩니다. Music Lens는 이 빈칸을 채우려고 만들었습니다.

하는 일

• 곡을 넣으면 BPM과 박, 코드와 조성, 섹션, 멜로디·베이스·드럼 음표, 가사 단어의 타이밍을 시간과 함께 텍스트 악보로 정리합니다. 섹션마다 한 줄인 요약부터 마디 단위 확대까지 AI가 필요한 만큼 읽습니다.
• 보컬·베이스·드럼을 나눠 파트별로 읽고, 섹션마다 어느 파트가 켜져 있는지 알려 줘서 편곡이 어떻게 쌓이는지 보여 줍니다.
• 결과는 피아노 롤 그림, 원음과 함께 재생되는 화면, 한쪽 귀에는 원음을 다른 쪽 귀에는 결과를 들려주는 확인용 소리로 원음과 맞춰 볼 수 있습니다.
• 브라우저에서 쓰는 웹 앱과, 같은 집 네트워크의 AI가 서명된 요청으로 쓰는 Mac 분석 서버 두 가지로 씁니다.

맡은 일

방향과 요구사항, 검증 기준을 정하고 결과를 검토했습니다. 코드는 AI 팀(Claude·Codex)이 나눠 작성했고, 실제 곡으로 결과를 듣고 대조하며 다듬었습니다.

GitHub