아마존 웹 서비스 (AWS Discovery Book) #3

2022. 8. 27. 02:11

SMALL

3장 무한대로 저장 가능한 스토리지 만들기

1. 스토리지(Storage)

스토리지란 컴퓨터에 데이터를 저장하는 저장소 역할 수행
컴퓨터의 하드디스크
스토리지를 서버에 직접 연결할 수 있고, 대용량 데이터를 저장하기위해 별도의 스토리지용 네트워크 구성 할 수 있다.

DAS(Direct Attached Storage)

서버에 직접 연결하는 방식

NAS(Network Attached Storage)

스토리지를 빠른 속도의 네트워크로 연결하는 방식
LAN을 연결하여 SAN보단 저렴하다
파일 단위로 데이터에 접속한다.
OS에 파일 서버로 표시된다.

SAN(Storage Attached Network)

스토리지를 빠른 속도의 네트워크로 연결하는 방식
확장에 용이하며, 대규모 엔터프라이즈 환경을 구성하기 적합한 고속용 전용 네트워크 구성
블록 수준에서 데이터를 저장
OS 입장에서보면, SAN은 일반적으로 디스크로 나타나며 별도로 구성된 스토리지용 네트워크가 존재

Amazon S3(Simple Storage Services)

데이터를 무한하게 저장가능
대용량의 데이터를 백업 및 보관이 가능한 Amazon Glacier(글레이셔) 등 용도에 따라 다양한 스토리지 이용 가능하다.

2. 데이터 백업(Data Backup)

데이터 백업(Data Backup)

데이터 백업이란 데이터가 손상되거나 유실되는 것을 대비하여 데이터를 복사 다른 곳에 저장
저장 장소는 동일 장비 or 다른 장비의 하드디스크 or 별도의 백업 테이프

데이터 백업을 하는 경우

하드웨어(H/W) 고장, 하드디스크(HDD) 손상
DB 및 S/W 손상, OS 자체 문제로 인한 데이터 손상
운영상의 데이터 유실 및 작업자의 실수, 개발자의 실수 및 쿼리 오류 등

→ AWS에선 EBS 스냅샷 및 AMI 백업 등의 기능을 활용하여 데이터 백업 서비스 제공함

3. 스냅샷(Snapshot)

스냅샷(Snapshot)

스냅샷은 기술적인 용어로, 특정 시간에 데이터 저장 장치의 상태를 별도의 파일이나 이미지로 저장하는 기술
스냅샷 기능을 이용하여 데이터를 저장하면 유실된 데이터 복원과 일정 시점의 상태로 데이터 복원 가능

→ AWS에서는 EBS에 대한 스냅샷 제공함으로써 데이터 백업/복원 및 다른 EC2 또는 다른 리전으로 EBS 복사 기능을 통해 인스턴스의 마이그레이션을 지원

4. S3와 Glacier

4-1 Amazon S3(Simple Storage Services)

S3는 무한대로 저장가능하며, 사용 만큼 지불하는 인터넷 기반 스토리지 서비스
버킷이라는 리전내에서 유일한 영역을 생성하고 데이터 키-값 형식의 **객체(Object)**로 저장한다
S3는 비용이 매우 저렴하며, 간단한 정적 웹 서비스를 위한 웹사이트를 만들 수 있다.
S3 서비스는 스토리지 기술을 근간으로 하며, 파일 단위의 접근만 지원하기 때문에 EBS서비스를 대체할 수 없다.

구분	내용
서비스명	Amazon S3(Simple Storage Services)
설명	어디서 원하는 양의 데이터를 저장하고 검색할 수 있도록 구축된 객체 스토리지
주요 특징	- 2006년에 출시된 최초의 AWS 서비스 - 객체 기반의 무제한 파일 저장 스토리지 - URL을 통해 손쉽게 파일 공유 기능 제공 - 99.99%의 내구성 - 정적 웹 사이트 호스팅 서비스 제공 가능
프리티어 (Free Tier)	- 5GB Amazon S3 표준 스토리지 - Get 요청 20,000건, Put 요청 2,000건 - 가입 후 12개월 후 종료됨

4-2 Amazon S3(Simple Storage Services)의 주요 특징

활용 분야	내용
백업 및 복구 (Backup & Restore)	- 뛰어난 내구성과 확장성 제공, 버전관리 기능 - 데이터 보호 기능과 하이브리드 구성
백업 및 복구 (Backup & Restore)	- 고객이 규제 대상 산업(금융,의료)을 위한 규정 준수 - 아카이브 요구사항을 충족할 수 있도록 다양한 스토리지 클래스 제공
빅데이터 분석을 위한 데이터 레이크 (Data Lake)	- 제약 또는 재무데이터, 사진과 비디오 같은 멀티미디어 파일 - 어느 것 상관 없이 S3를 빅데이터 분석용 데이터 레이크로 사용
하이브리드 클라우드 스토리지 (Hybrid Clould Storage)	- AWS Storage Gateway와 연게하여 On-Premise 환경에서 클라우드 스토리지 활용, 데이터 백업 및 재해복구 원활하게 수행
재해복구 (Disaster Recovery)	- 데이터 보호 및 타 리전으로 교차 리전 복제(CCR) 서비스 제공

Amazon S3 스토리지 클래스

1. S3 표준(S3 Standard)

자주 엑세스하는 데이터를 위한 스토리지 클래스
99.99% 내구성, 99.99% 가용성 뛰어난 객체 스토리지 서비스
EBS 대비 20%까지 저렴함
전송 데이터를 위한 SSL 및 저장 데이터 암호화 지원

2. S3 표준 - IA(Infrequent Access)

엑세스 빈도는 낮지만 필요할 때 빠르게 엑세스 해야하는 스토리지 클래스
S3 Standard와 같은 내구성, 가용성 지원
S3 대비 58% 저렴함, 최근 백업 서비스에 많이 사용됨

3. S3 One Zone - IA (S3 One Zone Infrequent Access)

엑세스 빈도는 낮지만 빠른 엑세스가 필요한 데이터를 저장하는 스토리지 클래스
최소 3개의 가용영역에 데이터를 저장하는 다른 s3 스토리지 클래스가 아님
단일 가용 영역에 데이터를 저장함으로써 S3-Standard-IA 대비 20% 쌈

4. Amazon Glacier

데이터 보관을 위한 안전하고 비용이 매우저렴한 스토리지
S3와 같은 내구성, 가용성 보유
S3 Standard 대비 77%까지 쌈
데이터 아카이빙 및 장기간 데이터 보관 및 오래된 로그 데이터에 대한 저장 용도로 알맞춤

4-3 Amazon Glacier

데이터 아카이빙 및 장기 백업을 위한 안전하고 안정적이며 비용이 매우 저렴한 클라우드 스토리지 서비스
S3의 개별 스토리지 영역인 **‘Buket’**과 유사한 **‘Vault’**라는 개별 스토리지 영역을 생성하여 데이터를 보관함
Console을 통한 업로드 지원, 별도의 API를 이용하여 데이터에 대한 저장 기능 제공
일반적으로 S3에 저장되는 데이터는 라이프 사이클 옵션을 활용하여 일정 기간 이상 지난 데이터에 대해 보다 저렴한 Glacier로 이동하여 저장하는 옵션 사용할 수 있음

구분	내용
서비스명	Amazon Glacier
설명	데이터 아카이빙을 위한 안전하고 안정적인 장기 객체 스토리지
주요 특징	- S3와 같은 내구성 - 몇 분에서 몇 시간 내 데이터 꺼내기제공 - S3 대비 최대 77% 싼 가격 - 아카이빙, 장기간 백업 및 오래된 로그 데이터
프리티어 (Free Tier)	데이터 보관에 대해 프리티어 제공하지 않음

아카이빙 (Archiving)

사전적 의미로 '보관'이라는 뜻을 가진 아카이빙은 개인 및 단체가 활동하며, 남기는 수많은 기록물 중 가치가 있는 것을 선별하여 보관하는 장소, 또는 그 기록물 자체를 이르는 용어를 뜻한다.

파일 전송을 위해 백업용, 보관용 기타 다른 목적으로 한곳에 모아둔 파일, 파일 목록이거나 디렉터리 혹은 카탈로그로 된 파일들이며, 지원되는 프로그램에 따라 달라진다.

FTP(File Transfer Protocol) 파일 전송 프로토콜에서 많이 사용되며, 주로 기록을 위해 사용되어진다.

아카이브(Archive)

아카이브(Archive)는 보관 및 참고용으로 생성한 데이터 사본이다. 필수 요소는 아니지만, 아카이브를 만든 후에는 원본 데이터를 삭제하는 경우가 많다.

아카이브를 하는 목적은 여러 가지 목적이 있는데, 가장 보편적인 것은 과거의 데이터에서 일부 데이터를 회수(Retrieval)하는 것이다. 고객의 서명이 들어간 계약서의 파일이거나, 예전에 만들어졌던 내용이라 현재는 사용하지 않지만 다시 필요해졌을 경우 사용되어질 수 있는 파일들을 저장해두고 필요시 되찾을 목적으로 사용되어진다.

또, 증명을 위한 이메일이나 파일 같은 것으로 현업에서 데이터 변경을 요청하여 데이터를 변경하였는데, 그로인해 문제가 발생하였을 경우 요청으로 인한 데이터 변경이였던 것을 증명할 문서가 필요할 것이다. 아카이브는 이러한 문제가 발생하였을 경우 증명의 목적으로도 사용되어진다.

아카이브는 원본파일을 그대로 복사하여 저장하는 방식이기 때문에 최신상태 그대로를 보관한다.

4-4 Amazon Glacier의 주요 특징

데이터 접근 방법 3가지

1. API/SDK를 이용한 Direct 연결

API나 SDK를 활용한 프로그램 개발을 통해 깊게 저장된 데이터를 위한 Glacier에 직접 접속

2. S3 라이프 사이클과의 통합

S3의 라이프 사이클과 통합을 통해 오래된 데이터에 대해 Glacier로 자동 이관

3. Party Tool과 AWS Storage Gateway 연동

기존 Backup 인프라와 3rd Party Tool과의 연계 및 AWS Storage Gateway 통합을 통해 제공

5. AMI와 Market Place

5-1 AMI(Amazon Machine Image)

EC2 인스턴스 생성에 필요한 모든 소프트웨어 정보를 담고 있는 템플릿 이미지
AMI를 선택하는 화면에서 본인이 원하는 OS와 Application 종류에 따라 AMI 이미지를 선택하면 OS와 Application 이 EC2 인스턴스 생성 시 그래로 설치됨
동일한 환경을 갖는 인스턴스를 손쉽게 생성 가능
Auto Scaling 등 자동화 할때, EC2 인스턴스를 다른 리전으로 이전해야 할때
상용 솔루션이 설치되어 있는 소프트웨어를 사용하는 경우 AWS Marketplace를 이용하기위해 AMI를 사용한다.

5-2 Amazon Marketplace

AWS에서 실행되는 소프트웨어를 판매 또는 구매할 수 있는 온라인 스토어
OS, Security, Network, Storage, BI, Database, Media 등

6. 실습 : 무한대로 저장 가능한 Amazon S3로 파일 업로드 및 삭제하기

S3로 파일 업로드 및 삭제

실무에서 사용할 경우에는 모든 액세스 차단혹은 ACL을 이용하여 액세스 차단해주는 것이 보안을 위해 좋음

보안상 기본 암호화도 활성화를 하는게 좋지만 기본 생성 후 테스트를 위해 비활성화 해둡니다.
서버측 암호화를 위한 참고자료https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/serv-side-encryption.html

업로드 -> 파일/폴더 추가 -> 업로드

이름 클릭 -> 객체 URL 클릭

업로드한 사진을 보기위해 URL접근 하였으나 access denied 발생

권한 -> 퍼블릭 액세스 차단 -> 편집 -> 체크 모두 해제 -> 변경사항 저장

권한 -> 버킷정책 -> 편집 -> 버킷정책 -> 버킷 ARN 복사후 정책 생성기 클릭

Select Type of Policy - S3 Bucket Policy 선택
Principal - `` 입력
Actions - GetObject 선택

복사한 버킷 ARN을 붙여넣기 한 후에 /*을 추가 -> Add Statement 클릭

Policy JSON Document를 복사후 닫기

복사한 Json을 붙여넣은 후 -> 변경사항 저장

PC파일을 S3로 자동 백업하기

AWS CLI를 이용하여 S3에 액세스할 수 있도록 구성하고 윈도우 예약작업을 활용하여 설정된 일정에 자동으로 백업할 수 있도록 구성할 예정

1. S3에 접속한 후 백업을 위하여 생성한 S3버킷 내 test폴더를 생성한다

2. IAM계정 생성을 위해 서비스->보안->IAM클릭

3. IAM에서 사용자->사용자 추가

4. 사용자 이름 입력후 프로그래밍 방식 액세스 선택-> 다음:권한

5. 기존 권한 정책 직접연결 -> AdministratorAccess-> 다음:태그-> 다음:검토->사용자 만들기 버튼 클릭(태그는 선택사항 바로 다음으로 넘겨도 됩니다.)

6. .csv 다운로드

7. AWS CLI설치1. S3에 접속한 후 백업을 위하여 생성한 S3버킷 내 test폴더를 생성한다

각 OS에 맞게 설치, https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/install-windows.html

8. .csv파일을 열고 커멘트 창을 띄운후 aws configure를 입력한 후 각 키를 대입

region name : 서울이라면 ap-northeast-2
output format : 보통 json이다.

9. "aws s3 sync '백업할경로' 's3://버킷명/폴더명'을 입력"

aws s3 sync d:\AWS s3://woong-s3-buket/test

10. s3로 이동 후 파일이 동기화 됬는지 확인

11. 자동 백업을 위해 메모장을 이용해 .bat파일 만들기

12. 작업 스케줄러 -> 작업 만들기

13. 이름설정, 보안옵션 설정, 권한 설정

14. 트리거-> 새로만들기 선택후 시간 설정

15. 동작 -> 새로만들기 -> 찾아보기 -> .bat파일 선택

16. 작업 스케줄의 모든 설정을 확인 후 확인, 실행

LIST

'Clould > 아마존 웹 서비스' 카테고리의 다른 글

아마존 웹 서비스 (AWS Discovery Book) #7 (0)	2022.08.29
아마존 웹 서비스 (AWS Discovery Book) #5 (1)	2022.08.29
아마존 웹 서비스 (AWS Discovery Book) #4 (0)	2022.08.28
아마존 웹 서비스 (AWS Discovery Book) #2 (0)	2022.08.26
아마존 웹 서비스 (AWS Discovery Book) #1 (0)	2022.07.28

WoongIT Stroy