AI를 사용하여 대화형 게임 만들기

이 활동에서는 손 제스처에 반응하는 대화형 게임을 프로그래밍하고 해당 지식을 적용하여 자신만의 대화형 게임을 개발하는 방법을 배웁니다. 그런 다음 독특한 게임 요소를 만들고, 게임에서 AI의 잠재력을 탐구하고, AI가 작동하는 방식에 대해 더 깊이 이해하기 위한 디자인 과제에 참여하게 됩니다. AI의 놀라운 가능성을 발견할 준비를 하세요!

손 감지는 컴퓨터가 이미지에서 손을 식별하는 데 사용하는 프로세스입니다. 로봇공학, 컴퓨터 비전, 인간-컴퓨터 상호작용 등 다양한 분야에서 중요합니다. 기계가 인간과 효과적으로 상호 작용하려면 정확한 손 감지 모델이 필요합니다. 학습 기반 방법의 출현으로 손 감지 모델은 더욱 강력하고 정확해져서 실제 응용에 적합해졌습니다.

예를 들어 손 감지 모델은 컴퓨터 비전을 사용하여 미국 수화를 인식하고 텍스트나 음성으로 변환하는 SignAll과 같은 제스처 인식 시스템에 사용할 수 있습니다. 기계 학습 모델은 다양한 수화 제스처를 인식하도록 훈련되어 청각 장애가 있거나 난청이 있는 사람들이 수화를 모르는 다른 사람들과 의사소통하는 데 도움이 될 수 있습니다.

SignAll의 핵심 기술은 이미지, 동영상 등의 시각적 정보를 사용하여 해당 정보를 컴퓨터에서 처리할 수 있는 데이터로 변환합니다.

수화는 표현력이 풍부한 시각적 언어이므로 기존 기술로는 해석하기 어려울 수 있습니다. SignAll을 사용하면 휴대폰이나 컴퓨터의 카메라를 사용하여 수화의 핵심 요소를 캡처, 분석 및 번역합니다.

이러한 모든 요소는 컴퓨터 소프트웨어에 의해 분류되고 해석되어 사용자의 수화를 이해할 수 있습니다. 앱은 이러한 시각적 정보를 수집하면서 이를 수천 개의 잠재적 수화 제스처 데이터베이스와 비교합니다. 기계 학습을 사용하여 가능성을 좁히고 가장 가능성이 높은 옵션을 예측합니다. 앱은 사용자에게 이러한 옵션을 제시하고 사용자는 자신이 말하려는 내용과 일치하는 옵션을 선택합니다.

기계 학습은 청각 장애가 있는 사람들의 의사소통 문제를 해결하는 강력한 도구가 될 수 있습니다. 청각 장애가 있거나 난청이 있는 사람들은 청각 커뮤니티 구성원과 서명할 때 의사소통 장벽을 경험하는 경우가 많습니다. AI는 청각 장애가 있는 사람들이 언제 어디서나 자연스럽고 효과적으로 다른 사람들과 의사소통할 수 있도록 하는 기술 솔루션을 개발함으로써 이러한 장벽을 극복하는 데 도움을 줄 수 있습니다.

이제 SignAll의 작동 방식을 알았으니 다음 질문에 대해 생각해 보세요.

이 기술을 한 단계 더 발전시킬 수 있다면 어떤 모습일까요? 알아 보자!

이 활동에서는 SignAll 앱의 기본 아이디어를 취하고 이를 단순화하여 손 동작을 인식하고 이에 반응하는 대화형 게임을 만듭니다. 무작위로 나타나는 물체를 터치하면서 화면 주위로 손을 움직이게 됩니다. 컴퓨터의 카메라는 손이 움직이는 곳을 관찰하고 인공 지능이 움직임을 추적하고 이해합니다.

아이디어를 브레인스토밍하고, 피드백을 제공하고, 코드를 디버깅하는 데 도움을 줄 수 있는 친구를 확보하기 위해 이 프로젝트에서 파트너나 그룹과 함께 작업할 수 있습니다. 이 활동을 수행하기 위해 AI 또는 기계 학습에 대한 사전 지식이 필요하지 않습니다.

이 프로젝트에서는 MIT의 PoseBlocks 소프트웨어를 사용하게 됩니다. 이 무료 툴킷은 인기 있는 스크래치 코딩 언어와 매우 유사하게 드래그 앤 드롭 블록을 사용하여 코드를 생성합니다. 차이점은 PoseBlocks에는 내장된 신체 추적 인공 지능을 사용하는 특수 블록이 있다는 것입니다.

코드를 생성하려면 슬라이서 스프라이트를 클릭하고 블록을 작업 공간으로 드래그합니다. PoseBlock 작업 공간에는 여러 섹션이 있습니다. (스크래치에 익숙하신 분이라면 매우 친숙하게 느껴질 것입니다.)

왼쪽 영역에는 "코드", "의상", "사운드"라는 세 개의 탭이 있으며, 각 탭에는 사용할 수 있는 항목 라이브러리가 포함되어 있습니다. 모든 코드 블록은 코드 라이브러리에 있으며 기능별로 그룹화되고 색상으로 구분되어 있습니다. 의상 라이브러리를 사용하면 스프라이트를 추가, 변경 또는 그릴 수 있습니다. "Sprite"는 PoseBlock에 있는 개체나 캐릭터의 이름입니다. 각 스프라이트에는 프로그램에서 작업을 수행하는 코드가 제공될 수 있습니다. 스프라이트가 여러 형태를 가질 때 우리는 그것을 의상이라고 부릅니다. 예를 들어 요소 스프라이트에는 9개의 의상이 있습니다. "의상" 탭을 클릭하시면 해당 의상을 보실 수 있습니다. (원하는 스프라이트를 사용할 수 있습니다. 직접 그릴 수도 있습니다.)