데이터 scraping 후 table을 pandas DataFrame으로 변환했을 때 쓸모없는 행이나 열이 함께 들어오는 경우가 있다.정상적인 테이블에 값만 null이라면 df.dropna()로 처리하면 간편하지만 그게 아닌 상황일 경우 (예를들어 스크랩핑 한 페이지의 pagination 때문이랄지..)불필요한 행이 존재하는지 여부에 따라 삭제를 해주어야 한다. 나는 아래와 같이 처리하였다. if 0 in df: df = df.drop([0], axis=1) df에 0이라는 행이 존재할 경우 …
Month: 2021 5월
PM2로 python 스크립트 관리하기
NodeJS는 PM2로 프로세스를 관리할 수 있는데 Python은 PM2와 같은 프로세스 매니저가 없나 싶어서 검색하다가 PM2에서 python 스크립트도 구동이 가능하다는 사실을 알게 되었다. pm2 start –name app_name python_script.py –interpreter python3 위와 같이 PM2에서 python 스크립트로 프로세스 매니징이 가능하다.아래 글에서 확인한 내용이며 스크립트 주기적 실행 및 cron 옵션 등을 사용 가능하다. Automate Your Python Script with Process …
header에 _포함 시 nginx proxy 에 전달되지 않을 경우
Nginx로 Reverse Proxy를 구축하고 뒷단에 node.js로 API 서버를 돌리는 중 이상하게도 header key에 _가 포함되어있을 경우 정상적인 response를 하지 않는 현상을 발견하고 검색해본 결과. nginx에서는 기본적으로 헤더에 _가 있으면 제거하고 전달한다고 한다.CGI 변수 맵핑 시 발생하는 문제점을 방지할 목적이라고 하는데 나는 _이 필요하다고…! nginx의 server이나 http block에 다음과 같은 옵션을 하나 추가해둔 뒤 nginx를 reload …