[AWS] AWS 분석 서비스 비교

AWS 분석 서비스

 AWS의 분석서비스에 대해 알아보고 각각의 목적과 예시를 통한 비용효율적인 솔루션을 알아보았습니다 .

• Amazon ES(Amazon Elasticsearch Service)
• Amazon EMR
• AWS Glue
• Amazon QuickSight

Amazon ES(Amazon Elastic search Service)

현재는 OpenSearchService라고 명칭이 변경 되었습니다 . 

Amazon ES는 대량의 로그 데이터를 수집할 수 있기 때문에 로그 분석에 널리 사용되는 서비스입니다. 

Amazon ES는 Logstash, Amazon Kinesis Data Firehose, Amazon CloudWatch Logs 및 AWS IoT와 통합되므로 사용 사례 요구 사항에 맞는 안전한 데이터 수집 도구를 선택할 수 있습니다.

도메인 생성하기 

처음 단계에서 도메인을 생성합니다 . 

기존에 있는 Route53 별칭 도메인으로 연결할 수 있습니다 ( 지금단계에서는 그냥 넘어갑니다 . ) 

배포유형에서 프로덕션 (여러 가용영역 사용) 을 선택합니다 .

데이터 노드 선택 

요금표를 참고하여 가장 비용효율적인 인스턴스를 선택합니다 . 

가용영역은 3-AZ 선택 ( 재해복구 ) 를 선택합니다 . 

생성 완료 후 분석

• OpenSearch를 사용하면 데이터를 쉽게 수집, 보안, 검색, 집계, 확인, 분석할 수 있습니다. 
• 이런 기능은 애플리케이션 검색, 로그 분석 등의 사용 사례에서 인기가 있습니다. 
• OpenSearch가 있으면 원하는 방식으로 사용, 수정, 확장, 수익화, 재판매할 수 있다는 오픈 소스 제품의 이점을 누릴 수 있습니다. 

EMR (Amazon EElastic MapReduce)

빅데이터 플랫폼을 손쉽게 확장하고 관리하는 서비스입니다 . 

(솔루션 아키텍트 시험에 주로 출제되는 방식입니다 . 

NoSQL 환경에서 빅데이터 분석을 위해 필요한 서비스가 무엇인지 주로 물어봅니다 .)

 

AWS Glue 

간단하고 확장 가능한 서버리스 서비스를 통합합니다 .

데이터 통합은 분석, 기계 학습 및 애플리케이션 개발을 위해 데이터를 준비하고 결합하는 프로세스입니다. 

이 작업은 다양한 소스에서 데이터 검색 및 추출, 데이터 강화, 정리, 정규화 및 결합, 데이터베이스, 등의 여러 작업을 포함합니다. 

Glue의 사용 

AWS Glue는 새 데이터가 도착하면 ETL 작업을 실행할 수 있습니다. 

 ETL은 추출 , 변형 및 로드를 의미합니다 .  

주로 Lambda함수에서 트리거해서 S3의 정보를 추출 및 변형을 하는 기능을 수행 합니다 

AWS Glue 데이터 카탈로그를 사용하면 데이터를 이동하지 않고도 여러 AWS 데이터 세트 전체에서 신속하게 데이터를 검색할 수 있습니다. 

시험예시 (SAA -CO2) 

AWS Glue는 새 데이터가 도착하면 ETL 작업을 실행할 수 있습니다. 예를 들어 AWS Lambda 함수를 통해 ETL 작업을 트리거하여 Amazon S3에 새로운 데이터가 저장되는 대로 ETL 작업이 실행되도록 할 수 있습니다. 또한, 이 새로운 데이터 세트를 ETL 작업의 일부로 AWS Glue 데이터 카탈로그에 등록할 수도 있습니다.

QuickSite

Amazon QuickSight 는 매우 빠른 클라우드 기반 비즈니스 인텔리전스(BI) 서비스입니다 

모든 사람이 데이터를 사용하여 손쉽게 시각화를 구축하고, 임시 분석을 수행하며, 비즈니스 통찰력을 신속하게 확보할 수 있게 해줍니다. 

QuickSite와 OpenSearch Service의 사용 

Amazon Elasticsearch Service :  Elasticsearch 배포, 보호, 실행을 간단하게 할 수 있는 완전 관리형 서비스로 규모에 따라 비용을 지불합니다. 

QuickSight :  작성자는 데이터 원본으로서 Amazon Elasticsearch Service를 선택할 수 있으며 특정 데이터 도메인을 선택하여 QuickSight에서 분석하고 시각화를 시작할 수 있습니다.