AWS Storage Gateway Service의 파일 게이트웨이 구성에 대한 개요 및 모범 사례
본 문서는 총 2부로 구성되어 있으며 이 글은 1부입니다.
요약
조직에서는 물리적 데이터 센터 설치 공간을 줄일 수 있는 방법을 모색하고 있습니다. 특히 보조 파일 백업 또는 온디맨드 워크로드로 사용되는 스토리지 어레이의 경우 더욱 그렇습니다. 하지만 프라이빗 데이터 센터와 클라우드를 연결하는 데이터 서비스를 제공하는 데는 고유한 과제가 수반됩니다. 기존 데이터 센터 스토리지 서비스는 로컬에서 스토리지에 액세스하기 위해 대기 시간이 짧은 NAS(Network Attached Storage) 및 SAN(Storage Area Network) 프로토콜을 사용합니다. 클라우드 네이티브 애플리케이션은 일반적으로 Amazon Simple Storage Service(Amazon S3)와 같이 확장 가능하고 내구성이 뛰어난 클라우드 객체 스토리지의 데이터에 대한 API 액세스에 최적화되어 있습니다. 이 백서에서는 사내 애플리케이션에서 생성된 데이터의 클라우드 처리, 하이브리드 클라우드 백업, 배포 및 클라우드 처리와 같은 주요 사용 사례를 해결하기 위해 파일 게이트웨이 구성에서 AWS 스토리지 게이트웨이를 사용하여 하이브리드 클라우드 스토리지 환경을 구축하는 기본 아키텍처와 모범 사례를 간략히 설명합니다.
소개
조직에서는 물리적 데이터 센터 인프라를 줄이는 방법을 모색하고 있습니다. 시작하는 가장 좋은 방법은 장기적인 파일 보존 및 백업 및 복구 작업과 같은 2차 또는 3차 워크로드를 클라우드로 이동하는 것입니다. 또한 조직은 클라우드 아키텍처와 기능의 탄력성을 활용하여 기존 데이터 센터 인프라로는 지원할 수 없는 새로운 온디맨드 방식으로 데이터에 액세스하고 데이터를 사용하고자 합니다.
AWS 스토리지 게이트웨이에는 대기 시간이 짧은 NFS(네트워크 파일 시스템) 및 사내 응용 프로그램에서 Amazon S3 개체에 대한 SMB(서버 메시지 블록) 액세스를 제공하는 파일 게이트웨이를 비롯한 여러 게이트웨이 유형이 있습니다. 이와 동시에 고객은 Amazon S3 API 지원 애플리케이션에서 해당 데이터에 액세스할 수 있습니다. AWS 스토리지 게이트웨이를 파일 게이트웨이로 구성하면 아카이빙, 온디맨드 워크로드 급증, AWS Cloud로의 백업과 같은 사용 사례에서 하이브리드 클라우드 스토리지 아키텍처를 사용할 수 있습니다.
파일 게이트웨이를 사용하여 Amazon S3에 작성된 개별 파일은 독립 개체로 저장됩니다. 이를 통해 내구성이 높고, 비용이 저렴하며, 사실상 무한 확장 가능한 스토리지를 제공합니다. 파일은 소유권 수정 없이 원래 형식으로 Amazon S3에 개체로 저장됩니다. 즉, Amazon EMR, Amazon Athena 또는 Amazon Transcribe과 같은 Amazon S3 버킷과 기본적으로 통합되는 데이터 분석 및 머신 학습 애플리케이션 및 서비스에 데이터를 즉시 사용할 수 있습니다. 또한 라이프사이클 정책, 분석 및 지역 간 복제(CR)와 같은 기본 Amazon S3 기능을 통해 스토리지를 관리할 수 있습니다.
파일 게이트웨이는 개인 데이터 센터와 AWS 간에 효율적으로 통신합니다. 기존 NAS 프로토콜(SMB 및 NFS)은 객체 스토리지 API 호출로 변환됩니다. 따라서 파일 게이트웨이는 대기 시간이 짧은 로컬 액세스와 클라우드 내 내구성을 갖춘 파일 또는 백업 데이터의 계층형 스토리지를 찾는 조직에 이상적인 구성 요소가 됩니다.
파일 게이트웨이 아키텍처
파일 게이트웨이는 하나 이상의 Amazon S3 버킷과 해당 개체를 마운트 가능한 NFS 또는 SMB 파일 공유로 사내 하나 이상의 클라이언트에 표시할 수 있는 간단한 솔루션을 제공합니다.
파일 게이트웨이는 내부 VMware ESXi 또는 Microsoft Hyper-V 환경 또는 AWS의 Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스에 가상 시스템으로 배포됩니다. 파일 게이트웨이는 스토리지 게이트웨이 하드웨어 장치의 데이터 센터 및 원격 사무소 위치에 배포할 수도 있습니다. 배포할 경우 파일 게이트웨이는 사내 NFS(v3.0 또는 v4.1) 또는 SMB(v1 또는 v2) 클라이언트와 특정 AWS 영역에서 호스팅되는 Amazon S3 버킷 간에 원활한 연결을 제공합니다. 파일 게이트웨이는 로컬 읽기/쓰기 캐시를 사용하여 파일 게이트웨이와 동일한 LAN(Local Area Network)에 있는 파일 공유 클라이언트의 데이터에 대한 짧은 지연 시간을 제공합니다.
버킷 공유는 단일 Amazon S3 버킷에 걸쳐 파일 게이트웨이에서 호스팅되는 파일 공유로 구성됩니다. 파일 게이트웨이 가상 시스템 어플라이언스는 현재 버킷 공유를 최대 10개까지 지원합니다.
다음은 그림 1에 표시된 파일 게이트웨이 아키텍처의 구성 요소입니다.
1. 클라이언트, 파일 게이트웨이 구성에서 AWS 스토리지 게이트웨이를 통해 내보낸 NFS 또는 SMB 파일 공유를 사용하여 개체의 파일에 액세스합니다.
2. 파일 게이트웨이에 대한 읽기/쓰기 캐시를 확장할 수 있습니다.
3. 파일 게이트웨이 가상 장치입니다.
4. 파일 게이트웨이를 사용하여 작성된 모든 파일에 대해 영구 개체 스토리지를 제공하는 Amazon S3입니다.
파일 대 객체 매핑
파일 게이트웨이를 배포, 활성화 및 구성한 후에는 NFS v3 또는 v4.1 프로토콜을 지원하는 클라이언트에 하나 이상의 버킷 공유를 표시하거나 로컬 LAN의 SMB v1 또는 v2 프로토콜을 통해 공유에 매핑할 수 있습니다. 게이트웨이의 각 공유(또는 마운트 지점)는 단일 버킷과 쌍으로 구성되며 버킷의 내용은 공유의 파일 및 폴더로 사용할 수 있습니다.
파일 게이트웨이의 공유에 개별 파일을 작성하면 연결된 버킷에 동일한 이름의 개체가 생성됩니다. 새로 생성된 모든 개체는 공유의 구성에 따라 Amazon S3 Standard, Amazon S3 Standard — Increquency Access(S3 Standard IA IA) 또는 Amazon S3 One Zone Zone — IA(S3 One Zone Zone — IA) 스토리지 클래스에 기록됩니다.
새로 생성된 개체의 Amazon S3 키 이름은 AWS 스토리지 게이트웨이의 마운트 지점에 기록된 파일의 전체 경로와 동일합니다.
Amazon S3에 데이터를 저장하는 것과 기존 파일 시스템의 차이점 중 하나는 세부적인 사용 권한과 메타데이터를 구현하고 저장하는 방법입니다. Amazon S3에 직접 저장된 파일에 대한 액세스는 Amazon S3 및 AWS ID 및 액세스 관리(IAM)에 저장된 정책으로 보호됩니다. 스토리지 클래스 및 생성 날짜와 같은 다른 모든 특성은 지정된 개체의 메타데이터에 저장됩니다. NFS 또는 SMB를 통해 파일에 액세스하면 파일 사용 권한, 폴더 사용 권한 및 특성이 파일 시스템에 저장됩니다.
파일 사용 권한 및 속성을 안정적으로 유지하기 위해 파일 게이트웨이는 이 정보를 Amazon S3 개체 메타데이터의 일부로 저장합니다. NFS 또는 SMB를 통해 파일에 대한 사용 권한이 변경된 경우 게이트웨이는 Amazon S3에 저장된 관련 개체의 메타데이터를 수정하여 변경 사항을 반영합니다. 사용자 지정 기본 UNIX 권한은 AWS Management Console에서 공유를 생성하거나 파일 게이트웨이 API를 사용할 때 버킷 내의 모든 기존 S3 개체에 대해 정의됩니다. 이 기능을 사용하면 공유를 생성한 후 사용 권한을 수동으로 할당할 필요 없이 기존 컨텐츠가 있는 버킷에서 NFS 또는 SMB 지원 공유를 생성할 수 있습니다.
다음은 공유 버킷에 저장되고 NFS를 통해 공유 버킷을 마운트하고 있는 Linux 기반 클라이언트에서 나열된 파일의 예입니다. 이 예에서는 “file1.txt” 파일에 수정 날짜와 표준 UNIX 파일 사용 권한이 있음을 보여 줍니다.
다음 예제에서는 Amazon S3의 헤드 오브젝트 출력을 보여 줍니다. Amazon S3에 저장된 개체의 관점에서 동일한 파일을 표시합니다. 이전 예제의 사용 권한 및 타임스탬프는 개체의 메타데이터로 지속적으로 저장됩니다.
[e2-user@host]$ aws s3api head-object --bucket filegateway1 --key file1.txt{"AcceptRanges": "bytes","ContentType": "application/octet-stream", "LastModified": "Wed, 15 Mar 2017 22:49:02 GMT","ContentLength": 36,"VersionId": "93XCzHcBUHBSg2yP.8yKMHzxUumhovEC", "ETag": "\"0a7fb5dbb1ae1f6a13c6b4e4dcf54977-1\"", "ServerSideEncryption": "AES256","Metadata": {"file-group": "500","user-agent-id": "sgw-7619FB1F", "file-owner": "500","aws-sgw": "57c3c3e92a7781f868cb10020b33aa6b2859d58c868190661bcceae87f7b96f1","file-mtime": "1489618141421","file-ctime": "1489618141421", "user-agent": "aws-storage-gateway", "file-permissions": "0664"}}[e2-user@host]$
읽기 / 쓰기 작업 및 로컬 캐시
파일 게이트웨이 배포의 일부로 모든 호스팅된 공유 버킷에 대한 읽기/쓰기 캐시를 제공하기 위해 전용 로컬 스토리지가 할당됩니다. 읽기/쓰기 캐시는 사내 파일(NFS/SMB) 작업의 응답 시간을 크게 단축합니다. 로컬 캐시는 최근에 작성된 컨텐츠와 최근에 읽은 컨텐츠를 모두 저장하고 있으며 캐시 디스크에 사용 가능한 공간이 있는 동안에는 데이터를 사전에 제거하지 않습니다. 그러나 캐시가 가득 차면 AWS 스토리지 게이트웨이는 최근에 사용한(LRU) 알고리즘을 기반으로 데이터를 제거합니다. 최근에 액세스한 데이터는 읽기용으로 사용할 수 있으며 쓰기 작업은 중단되지 않습니다.
읽기 작업 (읽기 캐시)
NFS 클라이언트가 읽기 요청을 수행하면 파일 게이트웨이가 먼저 로컬 캐시에서 요청된 데이터를 확인합니다. 데이터가 캐시에 없는 경우 게이트웨이는 클라이언트를 대신하여 읽기 캐시를 다시 입력하는 동시에 인터넷을 통해 전송되는 데이터를 최소화하기 위해 Range GET 요청을 사용하여 Amazon S3에서 데이터를 검색합니다.
1. NFS/SMB 클라이언트는 지정된 파일의 일부에서 읽기 요청을 수행합니다.
2. 파일 게이트웨이는 먼저 필요한 바이트가 로컬로 캐시되는지 확인합니다.
3. 바이트가 로컬 캐시에 없는 경우 파일 게이트웨이는 연결된 S3 개체에 대해 바이트 범위 GET를 수행합니다.
쓰기 작업 (쓰기 캐시)
파일이 NFS / SMB를 통해 파일 게이트웨이에 쓰여질 때 게이트웨이는 먼저 쓰기를 로컬 캐시에 커밋합니다. 이때 쓰기 성공은 로컬 영역 네트워크의 낮은 대기 시간을 최대한 활용하여 로컬 NFS / SMB 클라이언트에 승인됩니다. 쓰기 캐시가 채워지면 파일은 연결된 Amazon S3 버킷으로 비동기식으로 전송되어 인터넷 전송의 로컬 성능을 향상시킵니다.
기존 파일이 수정되면 파일 게이트웨이는 새로 작성된 바이트 만 관련 Amazon S3 버킷으로 전송합니다. Amazon S3 API 호출을 사용하여 새로 업로드 된 바이트와 함께 이전 버전의 새 객체를 생성합니다. 클라이언트가 파일 게이트웨이 내에서 기존 파일을 수정할 때 전송하는 데 필요한 데이터 양이 줄어 듭니다.
1. 파일 공유 클라이언트는 주어진 파일에 대해 많은 병렬 쓰기를 수행합니다.
2. 파일 게이트웨이 어플라이언스는 쓰기를 동 기적으로 승인하고 로컬로 쓰기를 집계합니다.
3. 파일 게이트웨이 어플라이언스는 S3 다중 파트 업로드를 사용하여 S3에 새 쓰기 (바이트)를 보냅니다.
4. 새로운 객체는 이전 버전의 객체로부터의 새로운 업로드 및 바이트 범위의 조합으로 S3에서 구성됩니다.
올바른 캐시 리소스 선택
호스트 시스템에서 파일 게이트웨이 VM을 구성할 때 로컬 캐시에 디스크를 할당할 수 있습니다. 활성 작업 세트(예: 데이터베이스 백업 파일)를 충분히 포함할 수 있는 캐시 크기를 선택하면 파일 공유 클라이언트에 최적의 성능을 제공합니다. 또한 캐시를 여러 Disk로 분할하면 스토리지에 대한 액세스를 병렬화하여 처리량을 극대화하여 읽기 및 쓰기 속도가 빨라집니다. 사내 게이트웨이에 사용할 수 있는 경우 최대 500MB/s의 쓰기 및 읽기(캐시 히트) 처리량을 제공할 수 있는 SSD 또는 임시 디스크를 사용하는 것이 좋습니다.
근거리 통신망 내의 보안 및 액세스 제어
배포된 게이트웨이에 마운트 지점(공유)을 생성할 때 단일 Amazon S3 버킷을 파일 및 관련 메타데이터의 영구 개체 스토리지로 선택합니다. 기본 UNIX 권한은 마운트 지점 구성의 일부로 정의됩니다.
이러한 사용 권한은 Amazon S3 버킷의 모든 기존 개체에 적용됩니다. 이 프로세스는 마운트 지점에 액세스하는 클라이언트가 기존 콘텐츠에 대한 파일 및 디렉터리 수준 보안을 준수하도록 보장합니다.
또한 개별 호스트 또는 다양한 호스트에 대한 마운트 액세스를 제한하여 전체 마운트 지점 및 관련 Amazon S3 컨텐츠를 LAN에서 보호할 수 있습니다.
NFS 파일 공유의 경우 이 제한은 CIDR(Classless Inter-Domain Routing) 블록 또는 개별 IP 주소를 사용하여 정의됩니다. SMB 파일 공유의 경우 AD(Active Directory) 도메인을 사용하거나 인증된 게스트 액세스를 사용하여 액세스를 제어할 수 있습니다. 선택한 AD 사용자 및 그룹에 대한 액세스를 추가로 제한하여 지정된 사용자(또는 지정된 그룹의 사용자)만 파일 공유를 마이크로소프트 윈도우즈 시스템의 드라이브로 매핑할 수 있습니다.
캐시 및 트래픽 모니터링
워크로 드나 아키텍처가 발전함에 따라 주어진 파일 게이트웨이 배포와 관련된 캐시 및 인터넷 요구 사항은 시간이 지남에 따라 변경 될 수 있습니다. 리소스 사용에 대한 가시성을 제공하기 위해 파일 게이트웨이는 Amazon CloudWatch 지표 형식으로 통계 정보를 제공합니다. 이 메트릭은 캐시 소비, 캐시 적중 / 손실, 데이터 전송 및 읽기 / 쓰기 메트릭을 포함합니다. 자세한 내용은 파일 공유 모니터링을 참조하십시오.
빌드업웍스에서 AWS 무료 컨설팅을 진행합니다.
AWS에 대하여 궁금하신 내용이 있으시거나, 도입을 검토 중이시라면 편하게 신청해주세요.
[ 고지 사항 (Disclaimer) ]
본 컨텐츠는 고객의 편의를 위하여 AWS 서비스 설명을 위해 제작, 제공된 것입니다. 만약 AWS 사이트와 컨텐츠 상에서 차이나 불일치가 있을 경우 AWS 사이트 (AWS.amazon.com)가 우선합니다. 또한 AWS 사이트 상에서 한글 번역문과 영어 원문에 차이나 불일치가 있을 경우(번역의 지체로 인한 경우 등 포함), 영어 원문이 우선합니다.
본 문서는 File Gateway for Hybrid Cloud Storage Architectures(2019년, 영문) 내용에 기반하여 작성 되었습니다.
이 문서는 정보 제공의 목적으로만 제공됩니다. 본 문서의 발행일 당시 AWS의 현재 제품 오퍼링 및 실행방법 등을 설명하며, 예고 없이 변경될 수 있습니다. 고객은 본 문서에 포함된 정보나 AWS 제품 또는 서비스의 사용을 독립적으로 평가할 책임이 있으며, 각 정보 및 제품은 명시적이든 묵시적이든 어떠한 종류의 보증 없이 “있는 그대로” 제공됩니다. 본 문서는 AWS, 그 자회사, 공급업체 또는 라이선스 제공자로부터 어떠한 보증, 표현, 계약 약속, 조건 또는 보장을 구성하지 않습니다. 고객에 대한 AWS의 책임 및 의무는 AWS 계약에 의해 관리되며 본 문서는 AWS와 고객 사이의 어떠한 계약에도 속하지 않으며 계약을 변경하지도 않습니다.
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
