</>Học Dev
Bài học

Tuần 5 - Ngày 4: S3 Advanced & Storage Gateway

Tuần 5 – Ngày 4

Tuần 5 - Ngày 4: S3 Advanced & Storage Gateway

Mục tiêu học tập

  • Hiểu S3 advanced features
  • Nắm vững S3 Access Points và Object Lambda
  • Biết Storage Gateway use cases

1. S3 Access Points

┌─────────────────────────────────────────────────────────┐│S3ACCESSPOINTS││││Problem:Complexbucketpoliciesformulti-tenant││││Solution:││┌─────────────────────────────────────────────────┐│││S3Bucket││││││││┌──────────────┐┌──────────────┐│││││AccessPoint1││AccessPoint2││││││(FinanceTeam)││(Analytics)││││││prefix:/fin/││prefix:/data/││││││VPConly││Public│││││└──────────────┘└──────────────┘│││└─────────────────────────────────────────────────┘││││EachAccessPoint:││-OwnDNSname││-Ownaccesspolicy││-Networkcontrols(VPCorpublic)│└─────────────────────────────────────────────────────────┘

Multi-Region Access Points

┌─────────────────────────────────────────────────────────┐│MULTI-REGIONACCESSPOINTS││││Singleglobalendpoint→Nearestbucket││││┌─────────────────────────────────────────────────┐│││mrap.mrap.s3-global.amazonaws.com│││││││││┌──────────────┼──────────────┐││││▼▼▼││││us-east-1eu-west-1ap-se-1││││bucketbucketbucket││││││││+S3Cross-RegionReplication│││└─────────────────────────────────────────────────┘││││Benefits:││-Automaticroutingtonearestbucket││-Failoversupport││-Replicationtimecontrol│└─────────────────────────────────────────────────────────┘

2. S3 Object Lambda

┌─────────────────────────────────────────────────────────┐│S3OBJECTLAMBDA││││Transformdataasit'sretrieved:││││┌─────────────────────────────────────────────────┐│││Client│││││││││▼GETrequest││││ObjectLambdaAccessPoint│││││││││▼││││LambdaFunction(transform)│││││││││▼││││S3Bucket(originaldata)│││└─────────────────────────────────────────────────┘││││Usecases:││-RedactPII││-Convertformats(JSONtoXML)││-Resizeimageson-the-fly││-Addwatermarks│└─────────────────────────────────────────────────────────┘

3. S3 Batch Operations

For bulk operations on billions of objects:

Supported Operations:
- Copy objects
- Invoke Lambda function
- Replace tags
- Replace ACL
- Restore from Glacier
- Object Lock retention
- Replication (S3 Batch Replication)

Input: S3 Inventory report or CSV manifest

4. Storage Gateway

Types

┌─────────────────────────────────────────────────────────┐│STORAGEGATEWAYTYPES││││1.S3FILEGATEWAY││On-prem──NFS/SMB──►Gateway──►S3││FilesstoredasS3objects││││2.FSxFILEGATEWAY││On-prem──SMB──►Gateway──►FSxforWindows││Windowsfileshares││││3.VOLUMEGATEWAY││Cached:Hotdatalocal,fulldatainS3││Stored:Fulldatalocal,asyncbackuptoS3││Blockstorage(iSCSI)││││4.TAPEGATEWAY││VirtualtapelibrarybackedbyS3/Glacier││Forbackupapplications│└─────────────────────────────────────────────────────────┘

5. Câu hỏi ôn tập

  1. S3 Access Points giải quyết vấn đề gì?

    Xem đáp án

    S3 Access Points giải quyết bucket policy phức tạp khi nhiều teams/applications cần truy cập cùng bucket với different permissions. Thay vì một bucket policy khổng lồ: tạo Access Point cho mỗi use case với policy riêng (ví dụ: AP for analytics team, AP for app team, AP for data science). Mỗi AP có hostname riêng và policy riêng. Cũng hỗ trợ VPC restriction (AP chỉ accessible từ VPC cụ thể).

  2. Multi-Region Access Points hoạt động như thế nào?

    Xem đáp án

    MRAP cung cấp single global endpoint routing requests đến S3 bucket gần nhất (lowest latency). Cần S3 CRR (Cross-Region Replication) giữa các buckets để sync data. Khi request đến MRAP endpoint → AWS route đến bucket Region có lowest latency. Nếu Region fail → failover tự động đến next best Region. Dùng cho: global apps cần low-latency reads, active-active multi-region storage architecture.

  3. S3 Object Lambda dùng để làm gì?

    Xem đáp án

    S3 Object Lambda cho phép thêm transformation code vào S3 GET requests — không cần copy data. Lambda function intercept S3 request và transform response trước khi trả về client. Use cases: (1) Data redaction (mask PII theo user permissions), (2) Format conversion (CSV → JSON, resize images), (3) Add watermarks, (4) Decompress/uncompress on-the-fly. Không cần thay đổi storage — transform theo real-time request.

  4. 4 loại Storage Gateway là gì?

    Xem đáp án

    (1) S3 File Gateway: NFS/SMB file shares backed by S3 — on-premises apps access S3 objects as files, (2) FSx File Gateway: caching local cho FSx for Windows — NFS/SMB access on-premises với caching, (3) Volume Gateway: iSCSI block storage backed by S3 — Stored (local primary + S3 backup) hoặc Cached (S3 primary + local cache), (4) Tape Gateway: virtual tape library (VTL) backed by S3 Glacier — replace physical tapes cho backup software. Phù hợp cho hybrid cloud storage scenarios.

Tài liệu tham khảo chính thức

Ngày tiếp theo: Database Options