[WSL] Python으로 테스트용 FTP server 운영

-

잡설

테스트용으로 email을 받아서 바로 버려버리는 python 스크립트를 작성해서 잘 써먹고 있었는데, 이번에는 ftp 서버 스크립트를 작성해서 로그만 남기고 바로 버리는 스크립트를 만들어볼까합니다.

pyftpdlib

일단 구글링을 통해 pyftpdlib 를 사용하면 된다는 것을 알게되었습니다. 곧바로 실행해봅니다.

설치

pip3로 설치합니다. 별거없죠?
$ sudo pip3 install pyftpdlib

The directory '/home/shaun289/.cache/pip/http' or its parent directory is not owned by the current user and the cache has been disabled. Please check the permissions and owner of that directory. If executing pip with sudo, you may want sudo's -H flag.

The directory '/home/shaun289/.cache/pip' or its parent directory is not owned by the current user and caching wheels has been disabled. check the permissions and owner of that directory. If executing pip with sudo, you may want sudo's -H flag.

Collecting pyftpdlib

  Downloading https://files.pythonhosted.org/packages/31/61/63ef60aca6de07eba1639d9d47f3f8e29462e8bb49d6a8dce9aeff240646/pyftpdlib-1.5.6.tar.gz (188kB)

    100% |████████████████████████████████| 194kB 397kB/s

Installing collected packages: pyftpdlib

  Running setup.py install for pyftpdlib ... done

Successfully installed pyftpdlib-1.5.6

바로 실행해봅니다.

$ python3 -m pyftpdlib 2121

anonymous로 잘 동작합니다만, upload가 안됩니다.

Requirement

제가 작성한 테스트용 서버 요구사항입니다.  이대로 만들어보기로 합니다.
  1. Download 받지만 HDD에 기록하지 않고 바로 버림
  2. anonymous 블럭, 사용자 설정 계정
  3. 자세한 Log 남김

Base code

먼저 관련 자료를 찾아봅니다. pyftpd tutorial 을 찾았습니다. 매우 잘 되어있네요. WSL이 어쨌든 Linux이니 Unix FTP Server 코드를 사용해보니 잘 됩니다. 이를 기반으로 조금씩 수정해나가봅니다.

Download 받지만 HDD에 기록하지 않고 바로 버림

첫번째 조건에서 가장 중요한 것은 HDD에 기록하지 않는겁니다. HDD 에 굳이 기록했다 지워서 HDD의 수명을 단축시키기 싫은거죠.
pyftpd 에서 방법을 찾아보았지만 못찾았습니다. 있을법도 한데 시간 투자가 아까우니 일단 포기.
/dev/null 과 같은 디렉토리를 쓸 방법이 있나? 찾아보았는데 blackhole directory 로 이슈도 있고 nullfs 를 작성하고 mount 하는 코드도 공개되어있네요. 하지만 python 코드 내에서 모든걸 해결하고 싶어서 포기.
temp 디렉토리를 만들어서 거기에 쓰고 바로 지우라는 조언도 있네요. 올?ㅋ 이 방법이 땡깁니다.

mktemp

일단 쉘에서 실행해보니 다음과 같이 생성됩니다.

$ mktemp -d
/tmp/tmp.RIN3kUuWWr

왠지 python에서 지원할것 같아서 찾아보니 있네요.

tempfile — Generate temporary files and directories

그럼 준비 다 된거죠! 코딩만 하면 됩니다.

Flow

간단하게 Flow 를 적어봅니다.


  1. 시작
  2. temp directory 생성
  3. ftp 서버 설정
    1. download 디렉토리를 생성한 temp directory에 저장
  4. 다운로드 즉시 삭제

Code

몇차례 시행착오 끝에 코드가 완료되었습니다.
다운로드 즉시 삭제는 on_file_received 라는 handler가 있어서 쉽게 구현했네요.
로그는 pyftpdlib 가 잘 남겨줘서 굳이 따로 코딩할 필요가 없었습니다.

코드는 pyftpdblackhole 에서 확인하시면 됩니다.

여담

굳이 temp directory에 저장하고 삭제하는 낭비를 하지 않고 그대로 날려버리고 싶은데 귀찮기도 하고 테스트 서버라서 시스템 성능을 요구하는것도 아니라 쉽게 가기로 했습니다.


댓글

댓글 쓰기

이 블로그의 인기 게시물

WSL2 Ubuntu 20.04 및 네트워크 설정

-
이미지
WSL2 Ubuntu 20.04 파워쉘을 실행합니다. 미리 설치한 Ubuntu 20.04를 WSL2로 변환하기로 합니다. 메시지의 링크를 따라가면  Updating the WSL 2 Linux kernel  페이지가 나오며, Instruction을 따라서 파일 다운로드 후 실행합니다. 그리고 다시 아래 명령을 수행하면 이번에는 정상적으로 변환합니다. 확인해보니 VERSION이 2로 나오며 잘 전환되었습니다. 실행! WSL2 Network 기본적으로 NAT로 설정되어 있습니다. Port forwarding으로 해결하려 삽질하다, 우연히 얻은 정보로 해결하였습니다. (출처 : https://www.clien.net/service/board/park/14995027) 가상 스위치 Bridge 설정 VirtualBox 같은 가상머신을 사용해보신 분들은 알겠지만, Bridge 모드로 설정하는 것이 가장 편리합니다. 먼저 Hyper-V 관리자를 관리자권한으로 실행합니다. 우측 중앙의 가상 스위치 관리자를 실행합니다. 만약 실패할 경우 네트워크 장치의 이더넷 속성에서 다음과 같이 해제한 수 다시 진행하시면 됩니다. 기본적으로 "내부 네트워크" 로 설정되어있는데 외부 네트워크로 설정합니다. WSL 이 안보이는 경우가 있는데 WSL2 를 한번도 실행하지 않은 경우입니다. WSL2 리눅스를 한번 띄우고 나간다음 확인해보면 WSL 항목이 생깁니다. 이와 같이 설정후 다시 WSL2 리눅스를 띄우고 IP 설정하면 브릿지모드로 동작합니다. 임베디드 개발자가 주로 사용하는 TFTP, NFS, FTP, SSH 등등 맘껏 설치해서 사용할 수 있습니다!
자세한 내용 보기

리눅스 멀티코어를 사용하는 tar 압축/해제

-
이미지
Situation 주로 사용하는 업무용 PC에 HDD 가 연결되어있는데 WSL 을 통해 엑세스 하다보면 매우 느립니다. 그러다 문득 반디집의 멀티코어 압축해제 가 생각나서 있지 않을까? 하고 찾아봤습니다. Task 검색해보면 몇가지 압축 해제 방법이 나오는데, tar -I 옵션으로 할 수 있는 압축 해제 방법이 간단하므로 이 옵션을 쓸 수 있는 방법을 골라냅니다. 또한 리눅스에서 주로 사용하는 압축은 .tar.gz 과 .tar.bz2 각각 다른 명령을 씁니다. 이것까지는 어쩔수 없는 모양입니다. 실제로 멀티코어를 쓰는지도 확인해보도록 합니다. 반디집 글에 많은 사람들이 환호했던 것은 멋진 영상때문이었습니다. 저도 환호할것 같네요. Action .tar.bz2 bz2에 사용할 프로그램은 lbzip2 입니다. 설치 우분투 설치 sudo apt install lbzip2 실행 tar의 man page를 보면 -I 옵션은 압축 프로그램을 사용한 압축이라고 합니다. -I, --use-compress-program=COMMAND Filter data through COMMAND. It must accept the -d option, for decompression. The argument can contain command line options. 압축은 다음과 같이 실행합니다. tar -I lbzip2 -cf <파일명> <대상파일> 압축해제 다음과 같이 실행합니다. tar -I lbzip2 -xf <파일명> <대상파일> 압축해제하는데 멀티코어는 15초 걸리는데 반해, 일반 tar 해제는 1분 2초가 걸립니다. 이 동영상 올리려고 포스트를 쓴거나 마찬가지입니다. lbzip2 압축해제 실행하자마자 모든 코어가 100% 올라가는 걸 보세요! ㅋㅋㅋㅋ (좌측 프로그램은 bottom 입니다.) .tar.gz gz에 사용할 프로그램은 pigz 입니다. 이름이 재밌는 말장난이네요.
자세한 내용 보기

git pull 을 했더니 branch가 갈라지는 경우

-
이미지
문제 git pull을 했더니 다음과 같은 메시지를 뿜어냅니다. 현재 브랜치와 'origin/master'이(가) 갈라졌습니다, 읭? 이게 뭔 소리죠? glog를 확인해봅니다. origin/master와 로컬의 master가 분리되었습니다. 이게 무슨일이야! 원인 사실은 범인이 접니다! ㅡ.ㅡ 여러가지 원인이 있지만 제가 발생시킨 방법은 다음과 같습니다. devel에서 commit 후 push build에서 pull devel에서 재수정 후 commit --amend하여 합침, 그리고 push build에서 pull 4번에서 pull을 했더니 commit이 달라져있던거죠. 우리가 원하는건 결국 devel에서 마지막으로 push했던걸 build에서 pull 하는 겁니다. 해결 일단 급한불은 끄기 위해 제가 아는 명령어를 조합해서 해결하기로 했습니다. 왼쪽 빨간선 두개 아래로 내리면 origin/master 와 같은 commit으로 가게 됩니다. # 주의 --hard 옵션은 로컬 변경사항까지 다 날려버립니다. 반드시 stash 같은걸로 백업해두세요. $ git rebase --hard HEAD~2 그리고 그냥 origin/master로 올라갑니다 git pull origin master 급했기때문에 일단 이렇게 해결했지만, 좀 더 우아한 해결방법이 있을것 같습니다. 나중에 또 문제 생기면 찾아보도록 하겠습니다.
자세한 내용 보기