Перенос данных в S3 с помощью AWS Transfer Family

Что такое AWS Transfer Family?

AWS Transfer Family — это полностью управляемая служба AWS, которую можно использовать для передачи файлов в и из хранилища Amazon Simple Storage Service (Amazon S3) или файловых систем Amazon Elastic File System (Amazon EFS) по следующим протоколам:

• Secure Shell (SSH)
• Протокол передачи файлов (SFTP)
• Протокол передачи файлов (SFTP)
• Протокол безопасной передачи файлов (FTPS)
• Протокол передачи файлов (FTP)

Подробнее: AWS Transfer Family

Преимущества AWS Transfer Family?

• Это полностью управляемый, бессерверный сервис File Transfer Workflow, который упрощает настройку, выполнение, автоматизацию и мониторинг обработки файлов с помощью AWS Transfer Family.
• Надежно храня данные в Amazon S3, вы можете использовать собственные сервисы AWS для обработки, аналитики, отчетности, аудита и архивирования.
• Нет никаких предварительных затрат, и вы платите только за использование сервиса.
• Вам не нужно изменять свои приложения или запускать инфраструктуру протокола передачи файлов.

Как это работает?

Архитектура AWS Transfer Family

AWS Transfer Family (SFTP, FTP, FTPS) — пошаговый процесс внедрения

Установите необходимые условия для передачи данных AWS для SFTP

 - S3 bucket
 - EC2 instances (Linux and Windows)

Создайте роль и политику AWS IAM

- Edit the policy to provide the S3 access

Создайте SFTP-сервер

 - Create users
 - Create and assign public keys

Тестирование передачи файлов с SFTP-клиентов

- For Linux
- For Windows

Что такое S3 Bucket?

Amazon Simple Storage Service (Amazon S3) — это служба объектного хранения данных, которая обеспечивает лучшую в отрасли масштабируемость, доступность данных, безопасность и производительность.

Подробнее: Простая служба хранения данных Amazon

Создание ведра S3

- Open AWS Console Click on Services
- In the Storage Section, Choose S3

- Click Create Bucket and Create Your Bucket
- Give Bucket Name (Should be unique Name use 
small alphabets Without Space. hyphens and Periods}
- Choose your Region. (Where user wants to store their data)
 rest settings choose default.

Создать VPC

- Open AWS Console Click on services
- In the Networking & Content Delivery Section, Click on VPC

Создание подсетей

Создание двух экземпляров EC2 (Linux & Windows)

- Open AWS Console Click on services 
- In the Compute section, click on EC2
- Click Launch instance

Правила группы безопасности для экземпляра Linux

Правила группы безопасности для инстанса Windows

Создание роли IAM

- Open AWS Console Click on services 
- In the Security, Identity & Compliance section, click on IAM 

Создайте роли и политики IAM в консоли IAM (выберите сервис AWS в качестве Transfer)

Политика для доступа к ведру S3

Политика для доступа к журналам CloudWatch

Создайте две роли и прикрепите политики к каждой роли (Выберите сервис AWS как Transfer)

Создайте SFTP-сервер, пользователей, публичные ключи и назначьте ключи.

- Open AWS Console Click on services 
- In the Migration & Transfer section, click on AWS Transfer Family

Нажмите на кнопку Создать сервер

Выберите протоколы

Выберите провайдера идентификации

Выберите конечную точку

Выберите домен

Добавить пользователя на сервер

Сгенерировать открытый ключ на машине Linux?

Войдите в систему на машине EC2, подключившись через Putty.

Сгенерируйте ключ с помощью следующей команды

ssh-keygen -P "" -f key 

Передача файлов с помощью WinSCP для Linux

Протестируйте передачу файлов с помощью SFTP-клиента Linux

Подключитесь к серверу

- sftp -i key rm-transfer-family-user@
s-c0ca408efe3d4c3e8.server.transfer.ap-southeast-1.amazonaws.com

- put AWS-Transfer-Family-Linux.txt rm-transfer-family-2022 
AWS-Transfer-Family-Linux.txt 
to/rm-transfer-family-2022/rm-transfer-family-user/AWS-Transfer-Family-Linux.txt 

Успешная передача файла с сервера в ведро

Теперь проделайте то же самое с помощью машины Windows

Сгенерируйте открытый ключ для пользователя Windows

Два открытых ключа добавлены

Теперь передайте файлы с помощью WinSCP для Windows

Соединение установлено с помощью WinSCP для Windows

Проверка передачи файлов с помощью SFTP-клиента для Windows

Успешно протестирована передача файлов с SFTP-клиента и добавлены в ведро