usb-storage: page allocation failure: order:0, mode:0x20

-
https://access.redhat.com/solutions/90883

위 링크에서는 Red Hat Enterprise Linux 6 환경에서 발생한 문제 입니다만, 저는 Arm 9 계열 Embedded Linux 3.10.0 에서 발생한 문제입니다.
USB-2에 16KBytes 단위로 루프를 돌며 딜레이 없이 최대 15GB까지 쓰다보니 엄청난 양의 page가 발생하였고, Free와 Cache를 오가는 메모리에 문제가 생겨서 page allocation failure 가 발생했을 것으로 추정하고 있습니다.

위 링크에서는 두가지 Workaround를 제공하고 있습니다.
vm.min_free_kbytes 늘리기 : 정확한 수치는 제공하고 있지 않습니다만, 65535까지 늘려서 해결하였다는 포스팅이 제법 있습니다. 다만 아직 정확하게 파악하지 못해서 적용하지 않았습니다.
vm.zone_reclaim_mode 이 0일 경우 1로 세팅 : linux v3.10.0 에는 이 기능이 없습니다.

그리하여 다른 방법을 찾아보던 중 다음과 같은 커널 패치를 찾았습니다.
어차피 USB-2의 속도로는 명령어 큐가 32가 되어도 충분하므로 256에서 32로 줄여도 무방하다고 합니다.
https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/drivers/usb/storage/uas.c?id=e2875c33787ebda21aeecc1a9d3ff52b3aa413ec
최신 커널에서 해당 패치가 적용되어 있으므로 커널을 재컴파일 해서 올라보았으나 
https://github.com/torvalds/linux/blob/master/drivers/usb/storage/uas.c#L912
동일한 문제가 발생합니다.

결국 이 기능 외에는 루프를 돌며 수GB를 쓰는 기능이 없으므로 아예 기능을 빼버렸습니다. 다만 이 기능이 꼭 필요하다면 loop에 딜레이를 조금 주면 해결될 것으로 보입니다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

WSL2 Ubuntu 20.04 및 네트워크 설정

-
이미지
WSL2 Ubuntu 20.04 파워쉘을 실행합니다. 미리 설치한 Ubuntu 20.04를 WSL2로 변환하기로 합니다. 메시지의 링크를 따라가면  Updating the WSL 2 Linux kernel  페이지가 나오며, Instruction을 따라서 파일 다운로드 후 실행합니다. 그리고 다시 아래 명령을 수행하면 이번에는 정상적으로 변환합니다. 확인해보니 VERSION이 2로 나오며 잘 전환되었습니다. 실행! WSL2 Network 기본적으로 NAT로 설정되어 있습니다. Port forwarding으로 해결하려 삽질하다, 우연히 얻은 정보로 해결하였습니다. (출처 : https://www.clien.net/service/board/park/14995027) 가상 스위치 Bridge 설정 VirtualBox 같은 가상머신을 사용해보신 분들은 알겠지만, Bridge 모드로 설정하는 것이 가장 편리합니다. 먼저 Hyper-V 관리자를 관리자권한으로 실행합니다. 우측 중앙의 가상 스위치 관리자를 실행합니다. 만약 실패할 경우 네트워크 장치의 이더넷 속성에서 다음과 같이 해제한 수 다시 진행하시면 됩니다. 기본적으로 "내부 네트워크" 로 설정되어있는데 외부 네트워크로 설정합니다. WSL 이 안보이는 경우가 있는데 WSL2 를 한번도 실행하지 않은 경우입니다. WSL2 리눅스를 한번 띄우고 나간다음 확인해보면 WSL 항목이 생깁니다. 이와 같이 설정후 다시 WSL2 리눅스를 띄우고 IP 설정하면 브릿지모드로 동작합니다. 임베디드 개발자가 주로 사용하는 TFTP, NFS, FTP, SSH 등등 맘껏 설치해서 사용할 수 있습니다!
자세한 내용 보기

리눅스 멀티코어를 사용하는 tar 압축/해제

-
이미지
Situation 주로 사용하는 업무용 PC에 HDD 가 연결되어있는데 WSL 을 통해 엑세스 하다보면 매우 느립니다. 그러다 문득 반디집의 멀티코어 압축해제 가 생각나서 있지 않을까? 하고 찾아봤습니다. Task 검색해보면 몇가지 압축 해제 방법이 나오는데, tar -I 옵션으로 할 수 있는 압축 해제 방법이 간단하므로 이 옵션을 쓸 수 있는 방법을 골라냅니다. 또한 리눅스에서 주로 사용하는 압축은 .tar.gz 과 .tar.bz2 각각 다른 명령을 씁니다. 이것까지는 어쩔수 없는 모양입니다. 실제로 멀티코어를 쓰는지도 확인해보도록 합니다. 반디집 글에 많은 사람들이 환호했던 것은 멋진 영상때문이었습니다. 저도 환호할것 같네요. Action .tar.bz2 bz2에 사용할 프로그램은 lbzip2 입니다. 설치 우분투 설치 sudo apt install lbzip2 실행 tar의 man page를 보면 -I 옵션은 압축 프로그램을 사용한 압축이라고 합니다. -I, --use-compress-program=COMMAND Filter data through COMMAND. It must accept the -d option, for decompression. The argument can contain command line options. 압축은 다음과 같이 실행합니다. tar -I lbzip2 -cf <파일명> <대상파일> 압축해제 다음과 같이 실행합니다. tar -I lbzip2 -xf <파일명> <대상파일> 압축해제하는데 멀티코어는 15초 걸리는데 반해, 일반 tar 해제는 1분 2초가 걸립니다. 이 동영상 올리려고 포스트를 쓴거나 마찬가지입니다. lbzip2 압축해제 실행하자마자 모든 코어가 100% 올라가는 걸 보세요! ㅋㅋㅋㅋ (좌측 프로그램은 bottom 입니다.) .tar.gz gz에 사용할 프로그램은 pigz 입니다. 이름이 재밌는 말장난이네요.
자세한 내용 보기

git pull 을 했더니 branch가 갈라지는 경우

-
이미지
문제 git pull을 했더니 다음과 같은 메시지를 뿜어냅니다. 현재 브랜치와 'origin/master'이(가) 갈라졌습니다, 읭? 이게 뭔 소리죠? glog를 확인해봅니다. origin/master와 로컬의 master가 분리되었습니다. 이게 무슨일이야! 원인 사실은 범인이 접니다! ㅡ.ㅡ 여러가지 원인이 있지만 제가 발생시킨 방법은 다음과 같습니다. devel에서 commit 후 push build에서 pull devel에서 재수정 후 commit --amend하여 합침, 그리고 push build에서 pull 4번에서 pull을 했더니 commit이 달라져있던거죠. 우리가 원하는건 결국 devel에서 마지막으로 push했던걸 build에서 pull 하는 겁니다. 해결 일단 급한불은 끄기 위해 제가 아는 명령어를 조합해서 해결하기로 했습니다. 왼쪽 빨간선 두개 아래로 내리면 origin/master 와 같은 commit으로 가게 됩니다. # 주의 --hard 옵션은 로컬 변경사항까지 다 날려버립니다. 반드시 stash 같은걸로 백업해두세요. $ git rebase --hard HEAD~2 그리고 그냥 origin/master로 올라갑니다 git pull origin master 급했기때문에 일단 이렇게 해결했지만, 좀 더 우아한 해결방법이 있을것 같습니다. 나중에 또 문제 생기면 찾아보도록 하겠습니다.
자세한 내용 보기