Начать работу с Amazon S3 довольно просто, но чтобы получить максимальную отдачу от него, необходимо знать некоторые ключевые моменты.
Что такое S3?
Amazon Simple Storage Service (Amazon S3) — это служба объектного хранения данных. Объектное хранилище — это архитектура хранения данных для больших объемов неструктурированных данных. Данные хранятся в виде объектов с соответствующими метаданными и уникальным идентификатором для легкого доступа и поиска. Объектное хранилище легко масштабируется, позволяя хранить неограниченное количество данных. Оно широко используется для хранения неструктурированных данных (музыки, видео, изображений), резервного копирования и архивирования, в качестве хранилища данных для облачных приложений, для создания озер данных и т.д.
Ведра и объекты
Данные в Amazon S3 хранятся в виде объектов в ведрах. Объект — это файл и любые метаданные, описывающие этот файл. Ведро — это контейнер для объектов. Для хранения данных в Amazon S3 вы сначала создаете ведро, указывая имя ведра и регион AWS. Затем вы загружаете свои данные в это ведро в виде объектов в Amazon S3. Каждый объект имеет ключ (или имя ключа), который является уникальным идентификатором объекта в ведре.
Amazon S3 имеет плоскую структуру, а не иерархию, как в файловой системе. Однако для организационной простоты S3 поддерживает концепцию папок как средство группировки объектов. Для этого используется общий префикс имен для объектов (то есть объекты имеют имена, начинающиеся с общей строки). Например, вы можете создать папку с именем «documents» и хранить в ней объект с именем «mydoc.txt». Тогда объект будет храниться с ключевым именем «documents/mydoc.txt», где «documents/» — это префикс.
Классы хранилищ
Каждый объект в Amazon S3 имеет класс хранения, связанный с ним. Класс хранения влияет на доступность данных и их стоимость. Вы должны выбрать подходящий класс хранения, основываясь на ваших схемах доступа к данным. Если вы используете свои озера данных на AWS, понимание классов хранения S3 очень важно для оптимального управления затратами и доступом к объектам S3. Неспособность сделать это может привести к огромным счетам по мере загрузки все большего количества данных в ваше озеро данных.
Класс хранения для часто используемых объектов
Используйте класс S3 Standard, если к объекту обращаются чаще одного раза в месяц и необходим миллисекундный доступ.
Класс хранения для данных с изменяющимися или неизвестными шаблонами доступа
Используйте класс S3 Intelligent-Tiering, если модель доступа изменяется или неизвестна. Этот класс оптимизирует затраты на хранение данных, автоматически перемещая их на наиболее экономичный уровень доступа, без влияния на производительность или операционные накладные расходы.
Классы хранения для объектов с редким доступом
Используйте классы хранения S3 Standard-IA и S3 One Zone-IA для долгоживущих и нечасто посещаемых данных, требующих миллисекундного доступа. Amazon S3 взимает плату за извлечение этих объектов, поэтому они лучше всего подходят для данных с редким доступом.
Классы хранения для архивных объектов
Для архивирования данных, к которым редко обращаются и которые требуют миллисекундного извлечения, используйте S3 Glacier Instant Retrieval. По сравнению с S3 Standard-IA, этот класс обеспечивает экономию затрат на хранение, но более высокую стоимость доступа к данным.
Для архивирования данных, не требующих немедленного доступа, используйте S3 Glacier Flexible Retrieval с извлечением в течение нескольких минут. Чтобы сэкономить еще больше, используйте самый недорогой класс хранения S3 Glacier Deep Archive с извлечением в течение 12 часов.
Регионы
Ваши данные хранятся в одном регионе AWS. Вы указываете регион AWS при создании ведра Amazon S3. Ваши объекты автоматически хранятся на нескольких устройствах, охватывающих как минимум три зоны доступности, каждая из которых разделена милями в пределах региона AWS.
Управление жизненным циклом
Amazon S3 Lifecycle управляет объектами таким образом, чтобы их хранение было экономически эффективным на протяжении всего жизненного цикла. Имеются две доступные опции:
-
Действия при переходе — эти действия определяют, когда объекты переходят в другой класс хранения. Например, переход в более экономичный класс через определенный период времени.
-
Действия по истечению срока действия, эти действия определяют, когда истекает срок действия объектов, и Amazon S3 удаляет объекты с истекшим сроком действия от вашего имени.
Ценообразование
Вы платите только за то, что используете. В S3 вы платите за хранилище, количество запросов, передачу данных и дополнительные функции, которые вы используете.
Вы платите за хранение, и плата взимается в зависимости от размера объекта, продолжительности хранения объекта в течение месяца и класса хранения.
Вы платите за запросы, сделанные к вашим ведрам S3 и объектам. Бесплатными являются только запросы DELETE и CANCEL.
Вы платите за передачу всех данных, кроме: данных, передаваемых в S3 из Интернета, данных, передаваемых в Интернет в течение первых 100 ГБ в месяц, данных, передаваемых из ведра S3 в любой сервис AWS в том же регионе AWS, данных, передаваемых в Amazon CloudFront.
С AWS Free Tier вы можете начать работу с Amazon S3 бесплатно (хранилище 5 ГБ, 20 000 запросов GET; 2 000 запросов PUT, COPY, POST или LIST; и 100 ГБ передачи данных из интернета).
Более подробную информацию о ценах можно найти здесь.