참고

Lambda 에서 실행가능한 Selenium 이나 ChromeDriver의 버전이 낮아서,

어떤 동작이(특히 click) 잘 안되는 경우가 많고, (send_keys() 를 사용하면 되기도 함)

특정 사이트는 접속이 안되서 timeout 에 걸리는 경우도 많이 있습니다.

크롤링 대상 사이트에 접속이 원활하게 되는지, 아래 간단한 예제로 확인을 해보고,

Lambda 에서 크롤링을 실행할지 결정하는것이 좋겠습니다.

간단한 정적 웹페이지 크롤링이라면 BeautifulSoap 을 사용하거나,

selenium 의 여러 기능이 필요하다면 Cloud9 에서 시도하는것을 추천합니다.

Cloud9 에서 새로운 환경 생성.

플랫폼은 Amazon Linux2

생성되면 환경으로 접속 후 터미널에서 아래 명령어 실행

sudo yum update -y

설치 중 Is this ok [y/d/N]: 나오면 y 입력 (또는 명령어에 -y 추가)

아래 명령어로 chrome 설치

wget <https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm>

sudo yum install -y ./google-chrome-stable_current_x86_64.rpm

설치 중 Is this ok [y/d/N]: 나오면 y 입력 (또는 명령어에 -y 추가)

참고. 설치 마지막에 Error Summary 에 이런 메시지가 있다면,,

• At least xxxMB more space needed on the / filesystem.

링크 설정