aws 썸네일형 리스트형 AWS JAVA SDK를 이용한 EMR(Elastic MapReduce) Job Flow 생성 및 실행 AWS JAVA SDK를 이용하여 개발한 MapReduce를 EMR Custom Jar로 등록하여 Job Flow를 생성 및 실행하는 방법이다. private static final String EMR_SETUP_NAME = "Setup hadoop debugging"; private static final String HADOOP_SETUP_JAR = "s3://elasticmapreduce/libs/script-runner/script-runner.jar"; private static final List HADOOP_SETUP_ARGS_AS_LIST = Arrays.asList("s3://elasticmapreduce/libs/state-pusher/0.1/fetch"); private static .. 더보기 S3 전체 파일 리스트 가져오기 S3 특정 bucket에 저장된 Object 파일리스트 목록을 가져올때 아래와 같이 코딩을 할 수 있다. AWSCredentials crd = new BasicAWSCredentials(accessKey, secretKey); AmazonS3 s3 = new AmazonS3Client(crd); ObjectListing objects = s3.listObjects(bucketName, folderName); do { //1000개 단위로 읽음 for (S3ObjectSummary objectSummary : objects.getObjectSummaries()) { } objects = s3.listNextBatchOfObjects(objects); 더보기 이전 1 다음