S3 хранилище — облачный сервис для хранения данных, резервного копирования и архивирования

Просто о сложном

Объем информации, которую нельзя потерять, растет с каждым годом. Чем с большим объемом данных нужно работать, тем острее нужда в надежных облачных хранилищах, где файлы находятся в безопасности и всегда доступны. Хранить критически важную для бизнеса информацию на традиционных локальных дисках, съемных носителях и ленточных накопителях небезопасно. Финансовые и репутационные потери в том случае, если локальное хранилище выйдет из строя, могут убить весь бизнес.

Хранение бизнес-данных в облаке давно стало стандартом. Здесь они надежно защищены как от несанкционированного доступа, так и от внезапной утери. В последнее время все больше и больше компаний выбирают облачное объектное хранилище S3.

Главное преимущество S3-хранилища — возможность работы из любой географической точки с файлами любого типа и объема. Принцип работы S3 простой: данные помещаются во множество контейнеров (папок). Содержимое любого контейнера можно просматривать, перемещать или удалять. У каждого контейнера и объекта есть адрес в виде уникального идентификатора. Он используется, как ключ доступа к данным. Эти ключи могут иметь любое строковое значение. При необходимости, можно сделать так, чтобы ключи содержали важную для работы информацию — например, принадлежность объекта к какому-либо проекту.

Также объектам в каждом контейнере можно назначить теги. Каждый объект может иметь несколько тегов разного вида. Это пригодится, если нужно описать его максимально точно. Например, можно создать аудиофайл с тегами имени исполнителя, названий песен, названия альбома и прочей информации. В дальнейшем эти метаданные индексируются, что значительно облегчает и в разы ускоряет поиск нужных объектов по заданным признакам. Кроме того, при работе с ними нет запутанной иерархической файловой системы со сложными и длинными адресами.

Важный момент: работая с S3-хранилищем, вы знаете, где и в каком виде хранятся ваши данные, кто может получать к ним доступ и какие ресурсы использует ваша организация в любой момент времени. Средства идентификации и контроля доступа в сочетании с непрерывным мониторингом данных гарантируют безопасность.

Зачем использовать объектное хранилище

Скорее всего, вашей компании надо работать с большим объемом разных данных. Это могут быть записи системы видеонаблюдения, бэкапы, хостинг, хранение big data и многое другое. Если вы понимаете, что традиционного облачного хранилища для всего этого уже не хватает, и работа с корпоративным облаком становится все медленнее, значит пришло время для объектного хранилища. Оно поможет вам рационально организовать работу с любым количеством информации.

S3-облако от провайдера Serverspace позволяет хранить неограниченное количество файлов на Enterprise-оборудовании с SLA 99,9%. Тройная репликация надежно защищает данные на серверах и обеспечивает им гарантию безопасности от внешних угроз. Еще одно достоинство объектного хранилища Serverspace — полная совместимость с протоколами S3 и Swift.

Вот распространенные примеры использования S3:

• Хранение бэкапов. Как уже было сказано, тройная репликация в Serverspace сводит риск потери данных к минимуму. Вы можете гибко управлять резервными копиями, помещая ценные данные в приватные контейнеры. Кроме того, вы можете хранить разные версии одного файла в разных контейнерах;
• Перенос статического контента в облако. Можно хранить любые видео и графические материалы. Например, фотографии, пресеты, шаблоны, футажи, исходные данные и другое, А можно хранить файлы систем видеонаблюдения, корпоративные архивы, документы и данные сайтов. Таким образом, значительно уменьшается нагрузка на хостинг и сервер компании;
• Создание приложений, использующих данные из облака. Можно начать с небольших объемов и наращивать их по мере необходимости, не жертвуя при этом производительностью или надежностью. То есть, вы можете сосредоточиться только на создании приложений, вообще не задумываясь об эффективном хранении данных и их безопасности;
• Решение проблем со всплесками трафика. Ресурсы здесь мгновенно перераспределяются так, чтобы пиковая нагрузка не сказывалась на работе приложений. Благодаря этому исключаются дополнительные издержки.

Как подключиться к S3 хранилищу

Внутри него нельзя обрабатывать объекты, их туда можно либо загружать, либо скачивать. Кроме того, с ним работают не сами пользователи, а приложения или отдельные системы, которые подключаются по API. Основа API — протокол HTTP. Подключиться можно несколькими способами. Каждая компания сама решает, какой из них удобнее. Вот два наиболее популярных варианта.

S3Browser

S3Browser даст вам подключиться к хранилищу по протоколу S3. Пользоваться им просто — нужно ввести имя аккаунта, выбрать тип подключения «S3 Compatible Storage», указать адрес подключения, ID ключа доступа, значение секретного ключа и активировать в случае необходимости опцию шифрования данных при подключении. После этого можно начинать работать с облаком.

Swift API/Cyberduck

Чтобы настроить подключение по Swift API, после установки и запуска Cyberduck нужно указать, что вы подключаетесь к объектному облаку. Затем нужно задать название сервера, номер порта 443, ключ доступа и пароль. После этого можно приступать к работе.

Отличия S3 от других видов хранилищ

Коротко расскажем об отличиях трех основных видов хранилищ — файлового, блочного и объектного.

Файловое хранилище подходит для хранения любых видов информации — баз данных, email-сообщений, файлов, изображений, документов, видео и так далее.

Данные хранятся в виде единиц информации в папках — это также называется иерархическим хранением, имитирующим способ размещения бумажных каталогов. Когда вы хотите получить доступ к данным, вам нужно знать путь, по которому их найти.

Файл хранится как единое целое в папке. Для запроса файла нужно знать точный путь к каталогу и имя файла.

Достоинства:

• привычный для простого пользователя метод хранения данных, не требует высокой квалификации для настройки и использования.

Ограничения:

• не подходит для хранения большого объема данных;
• ограничения на размер файла и длину имени;
• невозможно управлять одновременными подключениями с тысячи компьютеров;
•  нужно следить за исчерпанием объема ресурсов.

Блочное хранилище в основном используется для хранения структурированных данных — например, больших баз данных или высокопроизводительных файловых систем виртуальных машин.

В блочном хранилище файл разделяется на отдельные блоки фиксированного размера, а затем эти блоки располагаются на одном или разных узлах хранения. Каждый блок данных имеет свой идентификатор. Когда пользователь или приложение запрашивает данные из блочной системы хранения, выполняется повторная сборка блоков и передача данных пользователю или приложению.

Файл хранится как единое целое в папке, делится на несколько блоков. Каждому блоку данных присваивается уникальный идентификатор, который позволяет блочной системе хранения размещать фрагменты данных там, где это наиболее удобно.

Достоинства:

• высокая скорость передачи данных и производительность.

Ограничения:

• высокая стоимость в сравнении с файловым и объектным хранилищами;
• требуется квалификация, чтобы настроить ПО для работы с блочным хранилищем;
• нужно следить за исчерпанием объема ресурсов.

В объектном хранилище S3 каждый файл представлен в качестве объекта с идентификатором и метаданными. Нахождение объекта в плоском адресном пространстве дает возможность легко запрашивать доступ к объекту по его идентификатору, в отличие от файловой системы, где нужно знать точный путь к файлу для его нахождения.

В объектном хранилище в метаданные можно добавить дополнительную, более подробную информацию о файлах данных, хранящихся в объекте. Например, метаданные к видеофайлу могут включать информацию о месте съемке, типе камеры и даже людях, находящихся в каждом кадре. В блочном хранилище метаданные могут содержать только базовые атрибуты файлов.

Файлы хранятся в виде объектов в едином репозитории.
Каждый объект состоит из трех компонентов: данные (содержимое файла), метаданные и глобальный уникальный идентификатор.

Достоинства:

• доступ к данным через HTTP API;
• бесконечная масштабируемость;
• быстрый поиск объектов за счет расширенных метаданных и плоского адресного пространства;
• георепликация (хранение копий объектов на географически распределенных серверах);
• хранение данных любого типа и размера.

Ограничения:

• требуется квалификация для настройки ПО при работе с S3 через API;
• невысокая скорость передачи данных в сравнении с блочным хранилищем.

Выбрать подходящий способ хранения данных непросто, это требует оценки многих факторов — какие данные хранить, в каком объеме, какие операции с ними нужно проводить и кому нужен доступ к этим данным. Нередко разные виды хранилищ используют в комбинации, чтобы получить максимальную эффективность и сократить затраты.

Каким компаниям нужно объектное хранилище

Среди самых частых пользователей объектных хранилищ встречаются компании, занимающиеся проектированием и разработкой, игровые порталы, издательства и информационные агентства, организации, предоставляющие медиаконтент для широкой аудитории, маркетплейсы, социальные сети, образовательные учреждения и многие другие, обладающие большими массивами данных.

Преимущества S3-хранилища

1. Выгода. Никаких вложений денег перенос данных в облачную среду не требует. Ни покупки новых машин, ни обустройства инфраструктуры, ни найма обслуживающего персонала. Оплата осуществляется только за фактически используемый объем хранилища.
2. Высокая автоматизация бизнес-процессов. Управление данными, загрузка, удаление объектов запускаются автоматически: бизнес-аналитика, делопроизводство, бухгалтерия, торговля и пр. Фотографии и видео обработаются самостоятельно.
3. Отличная масштабируемость. Объем хранилища можно легко маштабировать под собственные потребности, меняя его как в большую, так и в меньшую сторону. Оптимизируются расходы – плата идет только за используемый ресурс.

К преимуществам также можно отнести и высокую безопасность S3 хранилища, его соответствие законам о конфиденциальности, использование автоматического архивирования, простая репликация.

Недостатки облачных объектных хранилищ

Среди замечаний, которые называют ИТ-специалисты можно выделить следующие:

• Приложения, которые обращаются к объектному хранилищу, часто требуют доработки, так как, как правило, изначально API объектов максимально простые и не соответствуют стандартным требованиям для управления данными из хранилища.

• Часто появляются проблемы с совместимостью инструментов файловой системы (например, утилитов) с объектными системами хранения. Для того, чтобы они могли взаимодействовать друг с другом, требуется организация нескольких промежуточных уровней.

• Объектное хранилище подходит не для всех типов данных. Наиболее подходящие объекты — это медиаданные и веб-материалы.

Вопросы и ответы

Облачное объектное хранилище S3 — это сервис для хранения любых данных в виде объектов, работа с которым осуществляется через программный интерфейс S3 API.

Объектное хранилище данных предназначено для размещения большого объема данных любого типа. Обычно это неструктурированная информация: музыка, видео, изображения, архивы цифровых документов.

Хранилище S3 (Simple Storage Service) в 2006 году представила компания Amazon. Впоследствии эту концепцию стали использовать другие провайдеры.

Для чего нужно объектное хранилище S3?

Объектное хранилище позволяет организовать централизованное хранение всех необходимых для бизнеса данных и не думать о проблеме отсутствия мощностей. Все данные хранятся в одном месте и в едином формате и доступны мгновенно в любой момент времени.

Вот лишь несколько примеров того, что можно хранить на сервере облачного хранилища:

• Бэкапы для аварийного восстановления — можно также настроить версионирование, чтобы иметь на руках несколько копий за промежуток времени.
• Данные сайтов и приложений — при таком сценарии можно отказаться от сортировки и группировки контента на стороне клиента, получая сразу нужные данные по запросу через API.
• Big Data, результаты исследований — как раз тот случай, когда объем информации может быть очень большим. С такими проблемами сталкиваются ритейл-компании, банки, операторы мобильной связи, специалисты по машинному обучению.
• Мультимедийные файлы — фотографии, аудио, видео могут занимать огромные объемы дискового пространства. Благодаря практически бесконечной масштабируемости объектное хранилище отлично подходит для их размещения.
• Архивные файлы — на S3 часто организуют хранение данных, к которым не требуется постоянный доступ: документации, логов, записей с камер наблюдения, отчетов.

Объектное хранение подходит и небольшим компаниям, и международным корпорациям. Оно может стать основным местом для размещения данных или частью большой инфраструктуры, в которой также используются файловые и блочные хранилища.

В хранилище можно разместить любые типы данных: видео, фото, документы, логи, бэкапы и т.д., а также статические сайты.

Файлы в S3 хранятся как объекты. В них три части: содержимое, метаинформация и идентификатор.

Идентификатор нужен для того, чтобы находить файлы в общем пространстве. В метаинформации содержатся расширенные сведения о файле: имя, тип, размер, адрес. Можно добавить другие пометки, предоставленные владельцем.

Метаописание тоже используют для управления данными. С его помощью фильтруют объекты по типам, анализируют данные, управляют политиками хранения — допустим, настраивают автоматическое удаление временных файлов или автоматическое создание копий критически важных документов.

Для распределения файлов используются бакеты. Каждому бакету присваивается уникальный идентификатор. Внутри хранятся разные объекты. Это помогает организовать управляемое и безопасное хранение данных — например, ограничивать доступ к отдельным файлам внутри защищенного бакета.

Основной протокол взаимодействия с хранилищем — S3 API. Это стандартный интерфейс, который позволяет работать с хранилищем, используя любые инструменты, которые его поддерживают (например, AWS CLI, S3cmd, Cyberduck, WinSCP, AWS Java SDK, GeeseFS и др.).

Хранятся данные в нескольких экземплярах, чтобы исключить риск их утери.

Доступ к данным требует аутентификации пользователя, и владелец хранилища может управлять правами доступа, настраивая политики безопасности; например, определять, есть ли возможность удалять данные у тех или иных сотрудников.

Аренда облачного хранилища объектного типа предлагает много преимуществ для бизнеса. Среди них:

• Экономичность — обслуживанием оборудования занимается провайдер, клиент платит за ресурсы, которые реально использовал для решения бизнес-задач.
• Гибкость — настраиваются любые конфигурации, например интеграция с блочным хранилищем и автоматическая отправка резервной копии БД на S3.
• Безопасность — провайдер предоставляет инструменты идентификации, аутентификации и авторизации пользователей, а также позволяет настроить политики доступа к объектам.
• Надежность — провайдер предоставляет современную аппаратную инфраструктуру, а географическое распределение копий гарантирует бесперебойную доступность информации.

И главный плюс, особенно для крупных организаций — упрощенная масштабируемость. Исчезает необходимость в приобретении дополнительной инфраструктуры, покупке и настройке оборудования. Провайдер предоставит столько места, сколько требуется для хранения информации.

Однако облачное объектное хранилище — это не серебряная пуля. У такого подхода есть ограничения. Для организации работы с S3 через API требуется квалифицированная разработка. К тому же скорость передачи не такая высокая, как у блочного хранилища, цель которого — хранение баз данных или файловых систем ВМ с высокой производительностью. Но эти ограничения сложно назвать критичными. На S3 хранилище достаточно подробная документация для того, чтобы разработать ПО, а невысокая скорость не станет проблемой, если выбрать правильный сценарий применения объектного хранения.

Интеграция S3 с другими сервисами

ML Space

Автоматическая интеграция S3 c ML Space для загрузки и хранения артефактов машинного обучения.

Сервисы резервного копирования

Интеграция S3 с популярными сервисами резервного копирования для хранения и восстановления копий критически важных данных.

CDN

Хранение статического контента в S3 и раздача через CDN-сеть для быстрой загрузки сайтов и приложений.

Лимиты хранилища

Существует только одно ограничение — на объем занятого места. Этот объем определяется выбранным тарифом для каждого бакета.

Никакие иные параметры (количество бакетов, объем трафика, количество запросов и др.) не ограничиваются и не тарифицируются. Вы оплачиваете только ежемесячную фиксированную стоимость каждого бакета согласно выбранному тарифу.

Как работает Amazon S3

Amazon S3 — это служба хранилища объектов, которая хранит данные в виде объектов в корзинах. Объект — это файл и любые метаданные, описывающие файл. Корзина (bucket) — это контейнер для предметов.

Чтобы хранить данные в Amazon S3, вы сначала создаете корзину и указываете имя корзины и регион AWS. Затем вы загружаете свои данные в эту корзину как объекты в Amazon S3. У каждого объекта есть ключ (или имя ключа), который является уникальным идентификатором объекта в корзине.

S3 предоставляет функции, которые вы можете настроить для поддержки вашего конкретного варианта использования. Например, вы можете использовать управление версиями S3, чтобы хранить несколько версий объекта в одной корзине, что позволяет восстанавливать объекты, которые были случайно удалены или перезаписаны.

Корзины и объекты в них являются частными и доступны только в том случае, если вы явно предоставите разрешения на доступ. Для управления доступом можно использовать политики корзины, политики AWS Identity and Access Management (IAM), списки управления доступом (ACL) и точки доступа S3.

Зачем использовать Amazon S3

• Это достаточно быстро, чтобы поддерживать высокопроизводительные приложения.
• Это недорого.Первоначальная настройка не требует никаких затрат.Но позже, когда объем хранилища возрастет, вы сможете заплатить за то, что используете, что очень дешево.
• Это очень безопасно, оно предоставляет инструменты контроля доступа, чтобы полностью обеспечить безопасность ваших ресурсов, хранящихся на s3
• Поскольку хранилище файлов хранится на S3, это делает основное приложение легче и быстрее реагирует на другие запросы.
• Это обеспечивает лучшую масштабируемость с точки зрения хранения, частоты запросов.
• Это безопасно.Весь доступ происходит через HTTPS
• Хорошо интегрируется с другими сервисами Amazon AWS
• Он используется крупными игроками, такими как Dropbox, для хранения своих бэкэндов

Помогла ли вам статья?