제스엔지니어링 · 주임연구원 · 2023.09 – 2024.04

맡은 범위

AMR 연동

ROS 기반 AMR을 기동하고 외부 시스템의 이동 명령을 소켓으로 전달

로봇팔 통신

느린 제어를 풀기 위해 업체와 gRPC 인터페이스 초기 테스트, 경로 보간

카메라·비전

로봇팔 카메라 영상 스트리밍, Yolact 학습과 인식 결과 정리

시험 도구

Qt FK·IK 시뮬레이션, Pico PID 구동, Streamlit + Pico W 진동 시험 UI

로봇팔 카메라 스트리밍과 Yolact 인식

• 문제: 로봇팔 카메라 영상에 접근할 수단이 내부 WebUI뿐이었습니다.
• 해결: 그 URL에서 이미지를 스트리밍으로 받아 디코딩해 썼습니다. 버퍼가 4~8보다 크면 동작과 영상 사이에 지연이 생겨 제어에 쓸 수 없었습니다.
• 인식: Yolact 학습 데이터를 roboflow로 라벨링하고, 데이터에 없는 상황에서 오인하는 문제를 사진 보충으로 줄였습니다. 저확률로 다양한 변화를 주는 증강 코드를 더하고, 추론 결과를 클래스별 좌표 목록으로 바로 쓸 수 있게 출력을 고쳤습니다.
• 결과: 촬영 카메라, 자세, 배치, 조명을 바꿔 가며 데이터를 모은 결과, 같은 컵이라도 쟁반 밖에 있으면 컵으로 인식하지 않게 만들 수 있었습니다.

로봇팔 경로 보간

• 문제: 기존 프로토콜로는 강화학습 시뮬레이션의 동작을 실제 로봇에 적용하기 어려웠고, 아무 제약 없는 API는 위험한 움직임을 보였습니다.
• 해결: 통신을 제조사 gRPC 클라이언트로 바꾸고, 목적지를 한 번에 주지 않고 끊어서 주는 방식으로 부드러운 움직임을 시도했습니다.
• 결과: 같은 간격과 cos 보간을 써 봤지만 만족스러운 움직임까지는 가지 못했습니다.

경험의 범위

AMR 작업은 지도와 좌표를 맞춘 자율주행 연동이 아니라 이동 명령을 전달하는 수준이었습니다. 물체를 집기 위한 좌표 변환과 6D 자세 추정은 조사까지 했고 구현은 하지 못했습니다. 프로젝트는 회사 사정으로 초기 구동 단계에서 중단됐습니다.

배운 점

• 정확한 스레드 관리와 부드러운 모션 제어가 어렵다는 것, 예외 처리가 잘 되어 있어도 방심하면 안 된다는 것.

← 송승훈 Seunghun Song · Portfolio