실행 환경 : python3.7

Selenium : 3.13.0

참고

Lambda 에서 실행가능한 Selenium 이나 ChromeDriver의 버전이 낮아서,

어떤 동작이(특히 click) 잘 안되는 경우가 많고, (send_keys() 를 사용하면 되기도 함)

특정 사이트는 접속이 안되서 timeout 에 걸리는 경우도 많이 있습니다.

크롤링 대상 사이트에 접속이 원활하게 되는지, 아래 간단한 예제로 확인을 해보고,

Lambda 에서 크롤링을 실행할지 결정하는것이 좋겠습니다.

간단한 정적 웹페이지 크롤링이라면 BeautifulSoap 을 사용하거나,

selenium 의 여러 기능이 필요하다면 Cloud9 에서 시도하는것을 추천합니다.

개인적인 의견입니다~

  1. 우선 아래의 python library 압축해둔 파일을 다운로드 합니다.

https://drive.google.com/file/d/1m1Ui9LFOoXX0P-TBaxCxqvfZGzTUb-Ff/view?usp=sharing

  1. AWS 의 Lambda 에서 계층을 생성합니다.

Untitled

Untitled

업로드 버튼을 누르고 위의 구글드라이브에서 다운로드 받은 파일을 선택해서 업로드 합니다.

여기에서 설정한 python 버전과 이후에 만들 람다함수의 python 버전과 일치해야 합니다.

python3.7 까지는 정상적으로 실행되는것을 테스트 해봤습니다.

  1. 람다 함수 생성

Untitled