성덕이의 개발공간

AWS Data Sync란? 온프레미스와 AWS간 또는 AWS 스토리지 서비스간 데이터 전송 및 복제를 자동화하는 서비스 (데이터 마이그레이션) SMB나 NFS 프로토콜을 사용하는 온프레미스 서버의 파일을 AWS의 S3, EFS, FSx for Windows로 전송 가능 온프레미스 데이터를 위의 경로로 마이그레이션하거나 S3 Glacier로 아카이빙을 위해 사용 AWS 서비스 내의 스토리지 내의 데이터 이동을 위해 사용 전송 중 및 전송 종료시 데이터 무결성 확인 및 암호화 가능 전송은 시간별, 일별, 주별 등 예약된 일정에 따라 자동적으로 데이터를 저장할 수 있다. 온프레미스의 여러가지 스토리지 유형의 데이터들이 NFS, SMB를 사용하여 DataStync Agent를 거처 S3, EFS, FSx등에 ..

AWS Snow Family란? 데이터를 네트워크가 아닌 물리적인 장치에 저장하여 전송할 수 있는 디바이스 온프레미스에 있는 데이터를 AWS로 마이그레이션 해야 할 떄 사용(네트워크로도 가능하긴 함) 제한된 시간안에 마이그레이션, 1회성 마이그레이션, 가장 적은 시간이 소요되는 방법, 회사 네트워크 사용 제한, 최저 비용 등등 일때 사용한다. 데이터 전송절차는 다음과같다. 스노우볼 디바이스 요청 주문자에게 디바이스 배송 온프레미스 서버에 연결하여 디바이스에 데이터 복사 AWS 데이터센터로 디바이스 배송 AWS 데이터센터에서 S3 버킷으로 데이터 복사 스노우볼 데이터 제거 Snow Family 종류 3가지 1. AWS Snowcone AWS Snow 패밀리 데이터 전송 디바이스 중 가장 작은 제품, 약 8..

AWS FSx란? (2가지 존재) 1. FSx For Lustre 리눅스 환경을 위한 고성능 병렬 스토리지 시스템 병렬 스토리지 시스템 = 분산파일 시스템 (DFS) 머신 러닝, 빅데이터 등의 고성능 컴퓨팅에 사용 (HPC) S3 버킷과 통합 구성하여 같이 사용 가능 온프레미스 서버에서도 물론 액세스 가능하다. 두가지 파일 시스템 배포 옵션이 있다. 1. 스크래치 파일 시스템 임시 스토리지 및 단기 데이터 처리를 위한 시스템 데이터는 복제되지 않으며 파일 서버 장애시에도 교체되지 않음 2. 지속적 파일 시스템 장기 스토리지 및 워크로드를 위한 시스템 데이터가 여러 가용영역에 자동으로 복제되어 가용성이 높음 파일 서버 장애시 자동으로 교체됨 2. FSx for Windows File Server Elast..

AWS Storage Gateway란? 온-프레미스 데이터 센터의 데이터와 AWS 클라우드의 스토리지를 서로 연결해주는 서비스 하이브리드 클라우드 스토리지라고도 불린다 (클라우드 인프라 + 온프레미스 인프라) 온프레미스의 데이터를 AWS로 실시간으로 전송 및 저장 가능 (짧은 지연시간 액세스) 온프레미스에 로컬캐시를 이용해서 자주 사용하는 데이터 보관 기능 파일 백업, 클라우드 파일 저장소, 재해 복구 저장소의 용도로 사용 (온프레미스 스토리지 공간 비용절감) 게이트웨이 종류는 S3 파일 게이트웨이 FSx 파일 게이트웨이 볼륨 게이트웨이 테이프게이트웨이 S3 파일 게이트웨이란? 온프레미스와 S3간에 파일 단위로 전송하는 게이트웨이 NFS, SMB 프로토콜을 이용하여 S3에서 객체를 저장하고 검색 가능 A..

S3 기타기능 이벤트 알림 (Event Notificaion) S3 이벤트가 발생할때(객체의 생성, 복제, 복원 등이 있을 때)마다 알림 Amazon SNS, SQS, Lambda로 보낼 수 있음 객체가 삭제될때 이벤트가 발생하는데 이 때 SNS로 알림을 보내 사용자의 이메일로 전송 이벤트 알림을 Amazon EventBridge와 통합하여 이벤트 애플리케이션을 구축 가능 (더많은 기능) S3 Select & S3 Glacier Select SQL 구문을 사용해 S3 객체의 콘텐츠를 필터링하여 원하는 데이터만 가져오는 기능 전체 데이터를 읽지 않고 필요한 데이터만 읽어오므로 비용절감 및 속도가 빠르다. 요청자 지불 버킷 (Requested Pays) 일반적으로 버킷에 데이터를 다운로드 하거나 업로드할때 ..

S3 Glacier Vault Lock 이란? S3 Glacier Vault는 아카이브 데이터를 저장하는 컨테이너 이 Lock을 사용하여 파일 저장 후, 파일 삭제 및 편집을 못하두록 잠가둠 Write Once Read Many(WORM)모델을 적용 (한번하면 보기만 가능) Vault Lock을 사용하기 위해서는 Vault Lock 정책을 생성 Vault 정책이 생성된 이후에 더 이상 변경이나 삭제 불가 데이터 보관 규정 준수 정책이 있는 경우에 사용 S3 Object Lcok (S3 객체 잠금)이란? 일정기간 또는 무기한으로 객체가 삭제되거나 덮어쓰지 못하도록하여 읽기만 가능하도록 한다. 보관 기간을 설정하여 정해진 시간 동안 객체를 보호시킬 수 있다. Write Once Read Many(WORM) ..

객체 수명주기 관리 (Lifecycle Policy)란? 객체가 저장되어 삭제될 때 까지의 수명주기를 비용효율적으로 저장 되도록 관리하는 기능 버전 관리가 활성화되어 있을 경우 객체의 버전별로 수명 주기 정책을 적용할 수 있음 Amazon S3 Analytics - 스토리지 클래스 분석 데이터 액세스 패턴을 관찰해 자주 액세스하지 않는 Standard 스토리지를 standard_IA스토리지 클래스로 옮길 시점을 알려준다. (비용 절약) 다양하게 수명주기를 정할 수 있다. 정리내용을 확인할 수 있다.

S3 스토리지 글래스란? 데이터를 저장하는데 비용을 줄일 수 있다. S3 Standard(범용) 짧은 지연시간과 많은 처리량을 제공 일반정인 용도의 다양한 사용 사례에 적합 S3 Intelligent-Tiering 액세스 패턴을 알 수 없거나 예측할 수 없는 데이터용 액세스 패턴을 모니터링하고, 액세스하지 않은 객체를 저렴한 액세스 계층으로 자동으로 이동 액세스 패턴을 알 수 없거나 액세스 패턴이 변화하는 데이터에 대한 스토리지 비용을 최적화하려는 경우에 사용 액세스 계층 이동을 통해 움직인다. 여기에 업로드하거나 이전한 객체는 Frequent Access (자주 만나는) 계층에 자동으로 저장 모니터링 후 30일 연속으로 액세스 되지 않는 것은 Infrequent Access 계층으로 이동 90일 연속으..

S3 Replication (복제 규칙)이란? S3 버킷 간의 객체를 자동으로 복제하는 기능 2가지 복제 유형이 있다. 교차 리전 복제 (CRR, Cross Region Replication) 서로 다른 AWS 리전의 S3 버킷으로 객체를 복사 지리적으로 가까운 액세스가 필요한 경우 재해복구(DR) 서울 - 미국의 경우 미국앞에 만들어놓으면 굳이 서울까지 안와도 된다. 동일 리전 복제 (SRR, Same Region Replication) 같은 AWS 리전의 S3 버킷으로 객체를 복사 동일한 데이터를 사용하는 프로덕션과 테스트계정 간의 복제 법적 준수사항으로 같은 리전안에 데이터 복사본을 만들어 놓아야 하는 경우 버킷 복제를 위해서는 원본과 대상 버킷 모두 버전관리가 활성화 되어있어야 함 다른 AWS 계..

액세스 로깅 (Access Logs)이란? S3 버킷의 모든 활동 (접속, 읽기, 쓰기, 변경 등)을 파일로 만들어 S3 버킷이 저장하는 기능 감사 목적으로 활용 가능 로그 분석을 위해 Amazon Athena같은 분석 도구를 사용 가능 절대로 로그 파일 저장소를 같은 버킷에 하지 말것! (무한루프로 인해 로그파일 지속적인 증가) 실습 기존에 있던 버킷으로 로그를 만들고 새로 생성된 버킷에 로그를 저장하겠다. 같은 리전이여야 돈이 덜든다. (다르면 데이터 비용이 조금더 추가됨) 기존에 있던 버킷을 비워주기위해 다음과 같이 처음 세팅으로 변경한다. 처음 버킷에서 [속성]에 들어가 다음과 같이 세팅하자. 방금 만들어준 버킷을 넣어주고 변경사항을 저장한다. 이제 이 버킷에 있는 모든 객체들의 활동들이 로그파일..