[리눅스] Windows 11에서 VirtualBox Ubuntu 실행 에러 해결 방법 (VERR_NEM_VM_CREATE_FAILED)

목차 (OPEN)

• 📝 들어가며
• 1️⃣ Windows 기능 해제하기
• 2️⃣ 메모리 무결성 끄기
• ✅ 중간 점검
• 3️⃣ VBS 완전 비활성화
• 4️⃣ UEFI 부트 설정 수정 (SecConfig.eif)
• ✅ 최종 점검
• 📚 결론

 

 

 

 

📝 들어가며

최근 수업 1주차 과제 때문에 Ubuntu 20.04를 VirtualBox에 설치하려고 했는데, 시작부터 에러를 마주쳤다.

 

 

Failed to get device handle and/or partition ID for 0000000001d90380
(hPartitionDevice=0000000000000c91, Last=0xc0000002/1)
(VERR_NEM_VM_CREATE_FAILED).

결과 코드: E_FAIL (0x80004005)
구성 요소: ConsoleWrap
인터페이스: IConsole {872da645-4a9b-1727-bee2-5585105b9eed}

 

 

에러 메시지를 그대로 복사해서 구글링해 보니 해결 방법이 꽤 많이 올라와 있어서 금방 해결될 줄 알았다.

하지만 이상하게도 모든 방법을 동원해도 내 문제는 전혀 해결이 되지를 않았다. 🤯

 

그러다 우연히 Reddit에서 관련 문제에 대해 토론하던 댓글을 발견했고,

거기서 얻은 힌트를 바탕으로 결국 직접 문제를 해결할 수 있었다.

 

나는 오늘 하루 종일 이 문제만 붙잡고 있었는데,

이 글을 보는 다른 사람들은 나처럼 시간 낭비하지 않고 바로 해결할 수 있길 바라며 해결 과정을 정리해두려고 한다.

 

 

---

1️⃣ Windows 기능 해제하기

1) Win + R 로 실행창 열기

2) OptionalFeatures.exe 입력 후 실행하기

3) 목록에서 아래 항목 중에 체크가 된 게 있다면 모두 해제해주기

     - Hyper-V

     - Windows Hypervisor Platform (Windows 하이퍼바이저 플랫폼)

     - Virtual Machine Platform (가상 머신 플랫폼)

     - Windows Subsystem for Linux (리눅스용 Windows 하위 시스템)

4) 확인 누르고 재부팅하기

 

 

귀찮으면 CMD를 관리자 권한으로 열어서 아래 명령어들을 차례로 실행하면 된다.

DISM /Online /Disable-Feature /FeatureName:Microsoft-Hyper-V-All
DISM /Online /Disable-Feature /FeatureName:VirtualMachinePlatform
DISM /Online /Disable-Feature /FeatureName:HypervisorPlatform
bcdedit /set hypervisorlaunchtype off

 

---

2️⃣ 메모리 무결성 끄기

1) 시작 메뉴에서 Windows 보안 을 검색해서 실행하기

2) 디바이스 보안 (장치 보안) 클릭

3) 코어 격리에서 메무리 무결성 스위치 끄기

4) 재부팅하기

 

 

 

혹시나 위의 사진처럼 UI에서 끄려고 하는데도 꺼지지 않는다면,

관리자 모드 CMD에서 아래 명령어를 입력하면 된다.

reg add "HKLM\SYSTEM\CurrentControlSet\Control\DeviceGuard\Scenarios\HypervisorEnforcedCodeIntegrity" /v Enabled /t REG_DWORD /d 0 /f

---

✅ 중간 점검

보통 이 단계까지가 구글에 많이 나와있는 거였다.

여기까지 해서 성공했는지가 궁금하다면

Win + R 키를 누르고, msinfo32 를 입력해서 나오는 항목들 중에서

'가상화 기반 보안'이 항목을 확인해보면 된다.

 

 

 

손가락으로 가리키고 있는 저 부분인데, 이게 '사용 안 함'이라고 나와야 한다.

 

보다시피 난 이 단계까지 따라해도 여전히 가상화 기반 보안이 '실행 중'이라고 떴다 ..🤯

(나처럼 뜨면 실패한 거니까 다음 단계로 넘어가보자 ..)

 

 

---

3️⃣ VBS 완전 비활성화

나는 여기까지 해도 VBS가 살아있었어서 레지스트리와 BCDEdit를 추가로 적용해줬다.

그냥 아래 명령어를 관리자 모드 CMD에 복붙하면 된다.

reg add "HKLM\SYSTEM\CurrentControlSet\Control\DeviceGuard" /v EnableVirtualizationBasedSecurity /t REG_DWORD /d 0 /f
reg add "HKLM\SYSTEM\CurrentControlSet\Control\Lsa" /v LsaCfgFlags /t REG_DWORD /d 0 /f

bcdedit /set hypervisorlaunchtype off
bcdedit /set vsmlaunchtype off

 

그리고 Reddit 댓글에서 Windows Hello 관련 시나리오까지 꺼주라고 해서

일단 그냥 하라는 대로 아래의 명령어로 나도 꺼줘봤다.

reg add "HKLM\SYSTEM\CurrentControlSet\Control\DeviceGuard\Scenarios\WindowsHello" /v Enabled /t REG_DWORD /d 0 /f

 

 

 

---

4️⃣ UEFI 부트 설정 수정 (SecConfig.eif)

UEFI 부트 과정에서 BVS를 강제로 꺼주는 설정인데,

앞의 모든 방법으로도 해결이 안 되던 문제가 이걸 적용하자 마자 바로 해결됐다.

 

 

일단, 관리자 모드 CMD에다가 아래 명령어들을 차례대로 복붙하면 된다.

mountvol X: /s
copy %WINDIR%\System32\SecConfig.efi X:\EFI\Microsoft\Boot\SecConfig.efi /Y

bcdedit /create {0cb3b571-...} /d "DebugTool" /application osloader
bcdedit /set {GUID} path "\EFI\Microsoft\Boot\SecConfig.efi"
bcdedit /set {GUID} device partition=X:
bcdedit /set {GUID} loadoptions DISABLE-LSA-ISO,DISABLE-VBS
bcdedit /set {bootmgr} bootsequence {GUID}
mountvol X: /d

 

 

이러고 재부팅하면 UEFI 경고가 뜰텐데 당황하지 말고, F3 누르고 Enter 눌러주면 된다.

 

이렇게만 하면 드디어 VBS가 완전히 꺼진 것이다. 🎉💞💖

 

 

---

✅ 최종 점검

완전히 해결 된건지 확인해보려면,

다시 Win + R 키를 누르고, msinfo32 를 입력해서 나오는 항목들을 확인해보면 된다.

 

 

내 경우 위의 사진처럼 바뀌면서 가상화 기반 보안이 '사용 안 함'으로 바껴 있었고,

갑자기 어디선가 Hyper-V 관련 기능들이 생겨서 모두 '예'라고 나오는 상태가 되어있었다.

 

 

어쨋든 이렇게 바뀌고 나니 드디어 Ubuntu가 제대로 작동하기 시작했다. 😭💓💓💓💓

 

 

그리고 알아보니까 나는 교수님이 무조건 VirtualBox 6.x 를 쓰라고 하셔서 이렇게 삽질을 했지만 ,,

이런 특수한 경우가 아니라면 Windows 11 사용자들은 그냥 VirtualBox 7.x 를 사용하라고 한다 ㅎㅎ ..

 

 

---

📚 결론

이번 오류의 근본적인 원인은 Windows 11이 기본적으로 켜 두는

가상화 기반 보안(VBS, Virtualization-Based Security) 때문이라고 한다.

 

VBS는 내부적으로 Hyper-V 하이퍼바이저를 사용하기 때문에,

VirtualBox 같은 다른 가상화 소프트웨어와 충돌을 일으키는 것이다.

 

즉, 아무리 VirtualBox 자체 설정을 건드려도 Windows에서 Hyper-V 계열 기능이 살아 있으면,

결국 VM 실행 시 VERR_NEM_VM_CREATE_FAILED 에러가 발생할 수밖에 없다.

 

 

 

내가 오늘 한 과정은 결국 Windows의 VBS와 Hyper-V 관련 요소들을 완전히 비활성화 하는 것이라고 보면 된다.

이 과정을 통해 Windows가 더 이상 Hyper-V 하이퍼바이저를 강제로 띄우지 않게 되었고,

그 결과 VirtualBox가 자체 가상화 엔진을 문제없이 사용할 수 있게 된 것이다.

 

 

 

정리하면, 이 문제는 Windows 보안 체계(VBS)가 가상화 권한을 선점하고 있어서 그런 거다 정도만 알고 있으면 된다.