참고

Lambda 에서 실행가능한 Selenium 이나 ChromeDriver의 버전이 낮아서,

어떤 동작이(특히 click) 잘 안되는 경우가 많고, (send_keys() 를 사용하면 되기도 함)

특정 사이트는 접속이 안되서 timeout 에 걸리는 경우도 많이 있습니다.

크롤링 대상 사이트에 접속이 원활하게 되는지, 아래 간단한 예제로 확인을 해보고,

Lambda 에서 크롤링을 실행할지 결정하는것이 좋겠습니다.

간단한 정적 웹페이지 크롤링이라면 BeautifulSoap 을 사용하거나,

selenium 의 여러 기능이 필요하다면 Cloud9 에서 시도하는것을 추천합니다.

환경 생성

플랫폼은 Ubuntu 를 선택

나머지는 기본으로 하고, [생성] 클릭.

환경이 생성이 완료되면 접속

터미널에서 다음 명령어 실행

sudo apt-get update

완료되면 다음 명령어 실행

sudo apt-get install -y libappindicator1 fonts-liberation

sudo apt-get install -f