Перенос данных в S3 с помощью AWS Transfer Family


Содержание
  1. Что такое AWS Transfer Family?
  2. Преимущества AWS Transfer Family?
  3. Как это работает?
  4. Архитектура AWS Transfer Family
  5. AWS Transfer Family (SFTP, FTP, FTPS) — пошаговый процесс внедрения
  6. Установите необходимые условия для передачи данных AWS для SFTP
  7. Создайте роль и политику AWS IAM
  8. Создайте SFTP-сервер
  9. Тестирование передачи файлов с SFTP-клиентов
  10. Что такое S3 Bucket?
  11. Создание ведра S3
  12. Создать VPC
  13. Создание подсетей
  14. Создание двух экземпляров EC2 (Linux & Windows)
  15. Правила группы безопасности для экземпляра Linux
  16. Правила группы безопасности для инстанса Windows
  17. Создание роли IAM
  18. Создайте роли и политики IAM в консоли IAM (выберите сервис AWS в качестве Transfer)
  19. Политика для доступа к ведру S3
  20. Политика для доступа к журналам CloudWatch
  21. Создайте две роли и прикрепите политики к каждой роли (Выберите сервис AWS как Transfer)
  22. Создайте SFTP-сервер, пользователей, публичные ключи и назначьте ключи.
  23. Нажмите на кнопку Создать сервер
  24. Выберите протоколы
  25. Выберите провайдера идентификации
  26. Выберите конечную точку
  27. Выберите домен
  28. Добавить пользователя на сервер
  29. Сгенерировать открытый ключ на машине Linux?
  30. Сгенерируйте ключ с помощью следующей команды
  31. Передача файлов с помощью WinSCP для Linux
  32. Протестируйте передачу файлов с помощью SFTP-клиента Linux
  33. Подключитесь к серверу
  34. Успешная передача файла с сервера в ведро
  35. Теперь проделайте то же самое с помощью машины Windows
  36. Сгенерируйте открытый ключ для пользователя Windows
  37. Два открытых ключа добавлены
  38. Теперь передайте файлы с помощью WinSCP для Windows
  39. Соединение установлено с помощью WinSCP для Windows
  40. Проверка передачи файлов с помощью SFTP-клиента для Windows
  41. Успешно протестирована передача файлов с SFTP-клиента и добавлены в ведро

Что такое AWS Transfer Family?

AWS Transfer Family — это полностью управляемая служба AWS, которую можно использовать для передачи файлов в и из хранилища Amazon Simple Storage Service (Amazon S3) или файловых систем Amazon Elastic File System (Amazon EFS) по следующим протоколам:

  • Secure Shell (SSH)
  • Протокол передачи файлов (SFTP)
  • Протокол передачи файлов (SFTP)
  • Протокол безопасной передачи файлов (FTPS)
  • Протокол передачи файлов (FTP)

Подробнее: AWS Transfer Family

Преимущества AWS Transfer Family?

  • Это полностью управляемый, бессерверный сервис File Transfer Workflow, который упрощает настройку, выполнение, автоматизацию и мониторинг обработки файлов с помощью AWS Transfer Family.
  • Надежно храня данные в Amazon S3, вы можете использовать собственные сервисы AWS для обработки, аналитики, отчетности, аудита и архивирования.
  • Нет никаких предварительных затрат, и вы платите только за использование сервиса.
  • Вам не нужно изменять свои приложения или запускать инфраструктуру протокола передачи файлов.

Как это работает?

Архитектура AWS Transfer Family

AWS Transfer Family (SFTP, FTP, FTPS) — пошаговый процесс внедрения

Установите необходимые условия для передачи данных AWS для SFTP

 - S3 bucket
 - EC2 instances (Linux and Windows)
Войдите в полноэкранный режим Выход из полноэкранного режима

Создайте роль и политику AWS IAM

- Edit the policy to provide the S3 access

Войти в полноэкранный режим Выйти из полноэкранного режима

Создайте SFTP-сервер

 - Create users
 - Create and assign public keys
Войти в полноэкранный режим Выйти из полноэкранного режима

Тестирование передачи файлов с SFTP-клиентов

- For Linux
- For Windows
Войти в полноэкранный режим Выйти из полноэкранного режима

Что такое S3 Bucket?

Amazon Simple Storage Service (Amazon S3) — это служба объектного хранения данных, которая обеспечивает лучшую в отрасли масштабируемость, доступность данных, безопасность и производительность.

Подробнее: Простая служба хранения данных Amazon

Создание ведра S3

- Open AWS Console Click on Services
- In the Storage Section, Choose S3
Вход в полноэкранный режим Выход из полноэкранного режима

- Click Create Bucket and Create Your Bucket
- Give Bucket Name (Should be unique Name use 
small alphabets Without Space. hyphens and Periods}
- Choose your Region. (Where user wants to store their data)
 rest settings choose default.
Войти в полноэкранный режим Выйти из полноэкранного режима

Создать VPC

- Open AWS Console Click on services
- In the Networking & Content Delivery Section, Click on VPC
Войти в полноэкранный режим Выход из полноэкранного режима


Создание подсетей

Создание двух экземпляров EC2 (Linux & Windows)

- Open AWS Console Click on services 
- In the Compute section, click on EC2
- Click Launch instance

Войти в полноэкранный режим Выход из полноэкранного режима



Правила группы безопасности для экземпляра Linux

Правила группы безопасности для инстанса Windows

Создание роли IAM

- Open AWS Console Click on services 
- In the Security, Identity & Compliance section, click on IAM 
Войти в полноэкранный режим Выйти из полноэкранного режима

Создайте роли и политики IAM в консоли IAM (выберите сервис AWS в качестве Transfer)

Политика для доступа к ведру S3


Политика для доступа к журналам CloudWatch


Создайте две роли и прикрепите политики к каждой роли (Выберите сервис AWS как Transfer)

Создайте SFTP-сервер, пользователей, публичные ключи и назначьте ключи.

- Open AWS Console Click on services 
- In the Migration & Transfer section, click on AWS Transfer Family
Войдите в полноэкранный режим Выйдите из полноэкранного режима

Нажмите на кнопку Создать сервер

Выберите протоколы

Выберите провайдера идентификации

Выберите конечную точку

Выберите домен

Добавить пользователя на сервер


Сгенерировать открытый ключ на машине Linux?

Войдите в систему на машине EC2, подключившись через Putty.

Сгенерируйте ключ с помощью следующей команды

ssh-keygen -P "" -f key 
Войдите в полноэкранный режим Выйдите из полноэкранного режима

Передача файлов с помощью WinSCP для Linux

Протестируйте передачу файлов с помощью SFTP-клиента Linux

Подключитесь к серверу

- sftp -i key rm-transfer-family-user@
s-c0ca408efe3d4c3e8.server.transfer.ap-southeast-1.amazonaws.com

- put AWS-Transfer-Family-Linux.txt rm-transfer-family-2022 
AWS-Transfer-Family-Linux.txt 
to/rm-transfer-family-2022/rm-transfer-family-user/AWS-Transfer-Family-Linux.txt 
Войти в полноэкранный режим Выйти из полноэкранного режима

Успешная передача файла с сервера в ведро

Теперь проделайте то же самое с помощью машины Windows

Сгенерируйте открытый ключ для пользователя Windows


Два открытых ключа добавлены

Теперь передайте файлы с помощью WinSCP для Windows

Соединение установлено с помощью WinSCP для Windows

Проверка передачи файлов с помощью SFTP-клиента для Windows

Успешно протестирована передача файлов с SFTP-клиента и добавлены в ведро

Оцените статью
devanswers.ru
Добавить комментарий