취미 방송이라도 해볼 생각으로 느릿하게 준비하고 있었는데,
얼굴 캠은 부끄럽고 요즘 유행하는 버튜버처럼 따라 해볼라고 방법을 찾아 봤습니다.
(글쓸 생각 없이 작업해보고 다 된뒤에 포스트모뎀으로 쓰는 거라서 과정 스샷이 별로 없습니다 --;;)
1. 공기계를 웹캠으로 만들기
저는 일단 집에 웹캠이 없습니다.
캠방 할거 아니라서 얼굴 인식만 되면 될거같아서,
이마트 중고폰 자판기에 넣으려고 가지고 있던 공기계를 꺼내왔습니다.
노인 갤럭시 S4 (이하 갤4)입니다.
방전되어 있어서 하루동안 충전기에 꽂아 심폐소생술을 했더니 되살아나셨습니다.
(죽은 자의 소생)
앞면 유리가 깨져있고 전면 카메라는 보이지도 않지만,
후면 카메라는 멀쩡히 살아 있습니다.
(개조 다 해놓고 찍은거라 사진에 스포일러가 있네요)
네, 이걸 웹캠 대신 쓰려고 합니다.
안드로이드 기기를 웹캠으로 쓸수 있는 어플이 있습니다.
DroidCam
https://play.google.com/store/apps/details?id=com.dev47apps.droidcam&hl=ko&gl=US
1. PC에 연결해서 웹캠으로 쓸수 있습니다.
2. 연결 방식은 와이파이, USB 다 됩니다.
3.마이크도 가능하기 때문에 캠과 함께 소리도 넣을수(는) 있습니다.
4. 연결할 PC에는 PC용 프로그램을 설치해야 합니다.
( https://www.dev47apps.com/droidcam/windows )
무료 버전으로는 카메라 회전, 필터 등 추가 기능이 되지 않고 순수하게 웹캠 기능만 사용 가능합니다.
(유료 버전은 아래 버튼들이 활성화됩니다.)
때문에 그냥 카메라면 되는거면 무료 버전으로 충분합니다.
무료 버전에서는 자이로를 통한 카메라 회전이 지원하지 않습니다.
저는 세팅해보다보니 카메라 회전 기능등이 필요해서 유료 버전을 구매했습니다. 5.49 달러, 대충 6천얼마
(카메라가 정방향이 되어있어야 후술할 VTube Studio에서 제대로 사용할 수 있습니다.)
...
근데 한 가지 큰 문제가 있었습니다.
주 사용 폰에서 테스트 해보고 괜찮네 하고, 갤4에 동일하게 설치해봤는데
분명 갤4를 인식을 하고 캠 화면이 들어왔지만,
뚝 멈추고 영상이 안되는 거였습니다;;;
노인이라서 성능 문제인가 싶어서 또 다른 공기계에도 해봤는데 잘 되었습니다.
근데 뭔가 위화감이 있어서 잘 돌았던 폰에 DroidCam을 지웠다가 재설치 해봤습니다.
안드로이드 기기는 앱이 하드웨어를 쓰려면 위처럼 권한을 얻어야 합니다.
그런데 갤4에 DroidCam에 설치후 실행했을 때는 카메라와 오디오 권한을 묻지 않았습니다.
최근 안드로이드 개발을 하고 있어서인지 떠오른 생각..!
OS 버전이 낮아서?
당시 갤4에 설치되어 있던 안드로이드는 5.0(롤리팝)이었습니다.
그 이상 공식으로는 지원이 안되고 있었죠.
OS를 올려보기로 했습니다.
구글신님께 물어보니 lineage OS를 이용해서 안드로이드 10까지도 올릴수 있더군요.
(이미 해보신 분의 예시 영상)
저는 적당히 8.1로 올렸습니다.
방법은 아래 링크로 대체합니다.
https://cholchori.tistory.com/1954
...
이제 안드로이드 버전이 8.1.0이 되었습니다.
(모델명이 SM-G988N-갤럭시s20울트라인 이유는
구글 플레이에 모델명 때문에 지원되지 않는 앱을 사용하려고
build.prog를 고쳐본건데 별 쓸모는 없더군요. 안해도 됩니다.)
다시 DroidCam을 설치해보고 해보니
이제야 카메라와 오디오 권한을 물어봅니다.
허용하고 캠을 연결해보니 잘 됩니다.
추가:
폰의 화면을 꺼도 웹캠으로 사용이 가능합니다.
갤4의 고질적인 문제 중 하나가 발열인데, 화면을 키고 있으면 당연히 기기 온도가 올라갑니다.
기기 자체도 오래 되었기도 하고, USB로 사용하면서 충전을 하면서 쓰려다보니
카메라를 계속 사용하고 있으면 발열로 폭발 하는게 아닐까 걱정했는데,
다행히 화면을 끄고 사용하니 발열은 적게 발생했고,
충전 + 카메라를 계속 사용 하고 있는데도 그리 뜨거워지지 않았습니다.
대부분의 조작은 PC에서 할수도 있어서 문제 없습니다.
2. OBS에 캠 연결해서 테스트해보기
이제부터 갤4는 폰이 아니라 웹캠이 되었습니다.
웹캠을 써본적이 없어서 웹캠의 다양한 기능들에 대해서는 자세히 모르지만,
기본적으로 카메라의 역활과 PC에서 웹캠으로 인식하는 동작들은 할 수 있습니다.
당연히 OBS에 카메라를 띄울수도 있습니다.
1. 소스 목록에서 추가(+)를 선택
2. 비디오 캡쳐 장치를 선택
3. 속성에서 장치를 DroidCam Source 를 선택합니다.
(저처럼 여러 개가 나올수도 있는데 아무거나 선택해도 다 나옵니다.)
PC DroidCam 유료 버전이어야 좌우 반전이 가능하지만,
OBS에서도 가능하기 때문에 유료 버전의 DroidCam 유료 버전이 없이 사용하실수도 있습니다.
3. VTube Studio에 연결하기
하지만 본래 목적은 캠방이 아니라 버튜버 였습니다.
캐릭터를 띄울 프로그램이 필요합니다.
스팀에서 VTube Studio 라는 게 있습니다.
기본 사용은 무료이고 워터마크 제거는 유료(15,500원)입니다.
Live2D 모델을 웹캠으로 찍은 얼굴에 따라 움직이게 해주는 프로그램입니다.
(비슷한걸로 FaceRig라고 있죠)
https://store.steampowered.com/app/1325860/VTube_Studio
구글 앱으로도 있습니다.
https://play.google.com/store/apps/details?id=com.denchi.vtubestudio&hl=ko&gl=US
모바일에서 가지고 놀수도 있는 거고, PC판과 연동할 수 있는데 이게 또 유료입니다.
애초에 갤4는 모바일 판을 사용할 수 없습니다. 검색하면 나오지도 않습니다.
(이래서 모델명을 변경하려고 했던거..)
하지만 어차피 웹캠을 통한 PC판으로 쓸려고 했기때문에 필요없습니다.
스팀에서 VTube Studio를 설치/실행합니다.
적당한 모델을 골라서 띄우고 설정으로 갑니다.
카메라 모양 아이콘을 선택해서 카메라 설정으로 들어갑니다.
Webcam Tracking에 있는 Choose Camera를 선택하면
OBS에서 했던거처럼 DroidCam Source라고 인식되고 있습니다.
순차적으로 select. 해서 카메라를 설정합니다.
Tracking Quality를 최대 레벨 Level 5 (초전자포?)로 설정합니다.
(Autostart cam with VTS를 체크하면 VTube Studio를 실행하면 자동으로 해당 설정으로 캠을 시작합니다.)
마지막으로 아래에 Camera On을 클릭하면...
워터 마크 설정과 초기 설정에 대한 어쩌구저쩌구 안내 이후
위 같이 얼굴이 인식되는 것을 확인 할 수 있습니다.
1. 헤드 트래킹
2. 눈 깜박임 (윙크도 가능)
3. 립싱크 (입 모양 인식)
4. 아이트래킹 (눈동자 인식)
5. 거리 인식 (캠 거리로 확대/축소)
6. 마이크 인식을 지원 (립싱크 지원인듯 한데 안해봄)
위 기능들을 지원합니다.
각 기능들의 감도도 수동 조절 가능합니다.
(저처럼 눈이 작으면 캐릭터가 반쯤 감은 눈이 됩니다. 감도 조절 필요. 렌게 쌉가능)
적용한 모델이 해당 기능들을 모두 지원하면 각 기능에 맞춰 움직입니다.
기본 모델 중 테스트 모델로 가장 적절한건 Hiyori_A 입니다. 아이트래킹까지 지원하거든요
(하지만 이걸 처음 본 당신은 마음이 시키는 Akari를 먼저 눌렀을 것이다.)
(참고로 Akari는 슴부먼트가 있다)
4.VTbue Studio를 OBS에 세팅하기
이미 OBS를 사용하시는 분들이라면 아실 방법입니다.
1. 소스 목록에서 추가(+)를 선택
2. 윈도우 캡쳐를 선택
3. 속성에서 윈도우를 VTube Stdio를 선택
4. 캡쳐 방식을 Windows Graphics Capture를 선택합니다.
5. 클라이언트 영역 을 체크합니다.
이렇게하면 이제 VTube Studio 화면을 방송 화면으로 가져올 수 있게 됩니다.
왼쪽 밑에 날아다니는게 워터마크인지는 모르겠으나 제대로 할거면 유료 버전을 구매하는게 낫겠네요
크로마키도 가능합니다.
VTube Studio의 배경 선택 메뉴에 보면 맨 아래쪽에 ColorPicker가 있습니다.
원하는 색으로 선택합니다. 보통 녹색이죠? 아바타 색과 겹치지 않는 걸로 골라주세요.
OBS에서 아까 설정한 윈도우 캡쳐의 필터에서 크로마 키를 설정해줍니다.
그러면 깔끔하게 설정 완료!
현실의 남정네인 내가 2D 미소녀로 살아 움직인다!
.....는 저는 TS할 생각이 없습니다. 적당한 남캐를 만들거나 찾아볼 생각입니다.
끗.
=======================================================================================
추가
갤4를 모니터 위에 고정시키려고 했으나 스탠드를 당장 구매하기 귀찮았던 나는 집에 있던걸로 대강 고정시키기로 했습니다.
(aka. 옛날 지스타 기념품, 나무젓가락)
(일루미나티?)
나중에 스탠드를 사든 어쨌든
저렇게 고정해두면 폰을 빼서 DroidCam을 실행하기 귀찮아집니다.
그래서 스마트폰 원격 프로그램을 찾습니다.
여러가지가 있습니다만, scrcpy라는게 있습니다.
https://github.com/Genymobile/scrcpy/blob/master/README.md#windows
따로 설치할 필요없이 포터블하게 사용할 수 있고 가벼워서 좋습니다.
먼저 폰의 개발자모드와 USB디버깅이 활성화 되어있어야합니다.
다운받아 압축을 풀고 scrcpy.exe로 실행하면 됩니다.
그럼 폰을 컴퓨터로 조작할 수 있습니다.
(근데 이걸로 잠금 풀면 실제 폰도 화면이 켜지는데 화면 끄는 법을 모르겠음..수동으로 꺼야함..)