devHọc Dev
Bài học

Tuần 9 - Ngày 2: Data Migration Patterns

Tuần 9 – Ngày 2

Mục tiêu học tập

  • Chọn đúng tool data transfer: DataSync vs Transfer Family vs S3 Transfer Acceleration vs Snowball Edge
  • Nắm pattern online vs offline vs hybrid migration theo bandwidth và deadline
  • Nhận diện keyword phân biệt các tool trong đề Professional

1. AWS DataSync

┌─────────────────────────────────────────────────────────┐│AWSDATASYNC││││Sources:││├──NFS││├──SMB││├──HDFS││├──S3-compatiblestorage││└──Othercloud(Google,Azure)││││Destinations:││├──S3(anyclass)││├──EFS││└──FSx(Windows,Lustre,OpenZFS,NetApp)││││Features:││-Upto10Gbps││-Automaticretry││-Scheduling││-Datavalidation││-Bandwidththrottling│└─────────────────────────────────────────────────────────┘

2. AWS Transfer Family

Managedfiletransfer:├──SFTP(SSHFileTransferProtocol)├──FTPS(FTPoverSSL)├──FTP(notencrypted-notrecommended)└──AS2(B2Btransfers)Backendstorage:-S3-EFSAuthentication:-Servicemanaged-AWSDirectoryService-Customidentityprovider(Lambda)

3. S3 Transfer Acceleration

Use case: Upload from distant locations

Without: Client → Internet → S3 (long path)
With: Client → Edge Location → AWS Backbone → S3

Enable per bucket
Additional cost for accelerated transfers
Test with Speed Comparison tool

4. Migration Patterns

ONLINEMIGRATION:┌─────────────────────────────────────────────────────────┐│DataSync/DMS││-Continuoussync││-Minimaldowntime││-Networkdependency│└─────────────────────────────────────────────────────────┘OFFLINEMIGRATION:┌─────────────────────────────────────────────────────────┐│SnowballEdge210TB(currentgenduynhất—Snowcone/││SnowmobileđãEOL2024)││-Physicaldevice││-Largedatasets││-Limitedbandwidth││-Longeroveralltime│└─────────────────────────────────────────────────────────┘HYBRID:┌─────────────────────────────────────────────────────────┐│Initial:SnowballEdge(bulkdata)││Ongoing:DataSync(incremental)│└─────────────────────────────────────────────────────────┘

5. Câu hỏi ôn tập

  1. DataSync khác Storage Gateway ở mục đích sử dụng nào?

    Xem đáp án

    DataSync = công cụ di chuyển/đồng bộ dữ liệu (one-time hoặc scheduled): NFS/SMB/HDFS/object → S3/EFS/FSx, có validation, throttling — dùng cho migration và sync định kỳ. Storage Gateway = hybrid access lâu dài: on-prem app tiếp tục đọc/ghi qua NFS/SMB/iSCSI với cache local, data nằm trên S3 — dùng khi app ở lại on-prem nhưng muốn storage cloud. Keyword "migrate file server to AWS" → DataSync; "on-prem apps continue accessing data with low latency" → Storage Gateway (File Gateway).

  2. Khi nào dùng Transfer Family thay vì DataSync?

    Xem đáp án

    Transfer Family khi đối tác bên ngoài/hệ thống cũ cần đẩy/lấy file qua giao thức chuẩn SFTP/FTPS/AS2 mà bạn không kiểm soát client (bank, B2B partner) — endpoint managed, auth qua service-managed/AD/Lambda custom IdP, backend S3/EFS. DataSync là agent do bạn triển khai để di chuyển dữ liệu giữa hệ thống của chính bạn. Keyword "partners upload via SFTP" → Transfer Family; "migrate 50TB NFS share" → DataSync.

  3. S3 Transfer Acceleration phù hợp khi nào và khi nào không?

    Xem đáp án

    Phù hợp: client phân tán toàn cầu, xa region upload trực tiếp vào S3 (mobile app, thiết bị hiện trường) — traffic vào edge location gần nhất rồi đi AWS backbone; bật per-bucket, chỉ trả phí khi thật sự nhanh hơn. Không phù hợp: transfer trong cùng region, dataset một chỗ lớn (DataSync/Snowball tốt hơn), hoặc cần multipart resume phức tạp. Test bằng Speed Comparison tool trước khi quyết định.

  4. Thiết kế migration 500 TB file server, bandwidth 1 Gbps dùng chung, downtime tối thiểu?

    Xem đáp án

    Hybrid pattern: (1) bulk transfer bằng Snowball Edge (2-3 thiết bị) — 500 TB @ 1 Gbps chiếm ~46 ngày lý thuyết và nghẽn link dùng chung; (2) trong lúc chờ, nguồn vẫn thay đổi → chạy DataSync incremental sync phần delta qua network (throttle bandwidth giờ hành chính); (3) cutover: freeze write, DataSync lần cuối (delta nhỏ), chuyển app sang S3/FSx. Đây là pattern chuẩn "initial bulk offline + ongoing incremental online".

6. Bài tập thực hành

  1. DataSync NFS → S3: dựng NFS server trên EC2 (giả lập on-prem), deploy DataSync agent, tạo task sync sang S3 với bandwidth limit và verify report validation sau khi chạy.

  2. Transfer Family SFTP: tạo SFTP server backend S3, user với SSH key, upload file bằng sftp CLI và xác nhận object xuất hiện trong bucket đúng home directory mapping.

  3. Đo Transfer Acceleration: bật acceleration trên một bucket, dùng Speed Comparison tool (hoặc aws s3 cp --endpoint-url accelerate endpoint) so sánh tốc độ upload từ máy bạn với endpoint thường.

Tài liệu tham khảo chính thức

Ngày tiếp theo: Modernization Patterns