목록Develop/Error Correction (3)

imort 박뉴프

NodeJS MySQL [ER_NOT_SUPPORTED_AUTH_MODE] 오류

보호되어 있는 글입니다.
Develop/Error Correction 2024. 1. 21. 10:20
Nginx - 웹사이트 크롤링 거부

1) 설정 파일 nginx.conf server { listen 80; server_name hello.userinsight.co.kr; location /robots.txt { return 200 "User-agent: *\nDisallow: /"; } location / { proxy_pass http://localhost:0000/; proxy_something... } } 2) 설정 파일 robot.txt 아래와 같은 컨피그를 nginx-app.conf에 넣고 도커화를 할때에, 적용만 해주면 된다. location /robots.txt { return 200 "User-agent: *\nDisallow: /"; } 팁으로 Django app 레벨에서, 해주는 경우도 있다. (파이서닉한 방법이다.)..
Develop/Error Correction 2022. 11. 10. 09:57
HTTP 403 - HTTP 크롤링 오류

BeautifulSoup을 이용해 웹사이트 크롤링을 했을 때, 다음과 같이 HTTP 403 오류가 뜬다면 아래의 코드를 입력해서 해결할 수 있다. url = "www.example.com" requests.get(url, headers={ "User-Agent": "Mozilla/5.0" }) 🔍 블로그 https://parkmj236.tistory.com 🔍 Notion 이력서 https://branch-frog-b20.notion.site/Park-Minji-e4fa8aa44b8c48b582a9082515dbc15e 🔍 Github https://github.com/Park-New-project/Projects 참고
Develop/Error Correction 2022. 10. 15. 14:37
Prev 1 Next