Multipath I/O для программного iSCSI

Статья опубликована в журнале «Системный Администратор»

Немного терминологии

Multipath I/O — технология, позволяющая задействовать нескольких контроллеров или шин для доступа к одному устройству хранения данных. Например, один SCSI диск может быть подсоединён к двум SCSI контроллерам. В случае отказа одного из них, операционная система будет продолжать работать по другому.  Это дает возможность повысить производительность и отказоустойчивость среды передачи данных.
В случае с iSCSI, принципиальная схема не меняется т.к. подключенные по сети блочные устройства (iSCSI-Target) для операционной системы не чем не отличаются от локальных устройств хранения данных. Единственное, что вместо SCSI контроллеров и шлейфов, используются компоненты обычного Ethernet — сетевые карты, медные или оптические кабеля. В продуктах VMware и Citrix данную технологию можно встретить под именем Multipathing.

Читать дальше

Бюджетная виртуализация. Оптимизация NFS и iSCSI

Статья опубликована в журнале «Системный Администратор»

Выжимаем максимум из имеющегося оборудования и каналов связи

Введение

Основная часть материалов, посвященная виртуализации, ориентирована в основном на крупные и средние инфраструктуры. О внедрениях виртуализации в масштабах 10-20 ВМ на нескольких серверах сегодня почти никто не говорит. А на самом деле, сред, в которых работает не большее число ВМ, на проложенном в далеком прошлом Ethernet и самосборных сетевые хранилищах, достаточно. И ситуация эта особенно характерна для СНГ, где на развитие ИТ-отдела и на внедрение новых технологий порой выделяют столько средств, что трудно не заплакать.
В этой статье, хочется уделить внимание возможным путям оптимизации сетевой подсистемы, как на аппаратном уровне, так и на программном, для повышения производительности имеющегося оборудования и каналов связи.
В данной статье, под каналами связи везде, где не указанно обратное, подразумевается доступный даже в самых бюджетных организациях Gigabit Ethernet.

Читать дальше

Бюджетная виртуализация. NFS vs iSCSI, что выбрать?

Статья опубликована в журнале «Системный Администратор»

Тестируем и выбираем тип хранилища для небольших виртуальных сред.

Введение

При построении виртуальной инфраструктуры бюджетного уровня, порой, даже у профессионалов возникает вопрос, какой тип хранилища и протокол доступа к нему использовать. Различные источники говорят по разному и часто сбивают с толку. Попробуем разобраться, как оно есть на самом деле.

Читать дальше

CloudStack 4. Архитектура, особенности и недостатки

Статья опубликована в журнале «Системный Администратор»

В статье приведен обзор CloudStack — платформы для создания облачной инфраструктуры. Обзор написан после двух месяцев использования CloudStack в тестовой среде и возможно будет полезен тем кто смотрит в этом направлении.

Путь от виртуализации к облаку

К сожалению, многие не видят принципиального отличия виртуализированного дата-центра от облака и зачастую не понимают, где заканчивается одно и начинается другое.
По сути, современные платформы виртуализации – это связка физических серверов, гипервизора, дополнительных компонентов и удобных средств развертки, настройки и управления программно-аппаратной виртуальной инфраструктурой. Под средствами управления и настройки я понимаю программное обеспечение типа VMware vSphere Client и VMware vCenter Server для централизованного управления ESX/ESXi, Citrix XenCenter для XenServer и т.д.
Нужно понимать, что существующие сегодня платформы виртуализации типа VMware vSphere, Citrix XenServer, RHEV (RedHat Enterprise Virtualization) и т. д. а так же различные системы хранения данных являются базовыми блоками для облачной инфраструктуры. А инструментарий администрирования входящий в состав перечисленных выше продуктов ориентирован более на инженеров и обслуживающий персонал нежели на пользователей или возможных клиентов. Кроме того, практически все поставщики продуктов серверной виртуализации ставят ставку на один тип гипервизора (чаще всего свой собственный) и не позволяют используя одни и те же средства управления, применить несколько гипервизоров в одной среде.
Платформы для построения облака, такие как CloudStack, OpenNebula, Eucaliptus и набирающей ход OpenStack предоставляют нам дополнительный уровень иерархии позволяя абстрагироваться не только от физического оборудования, но и от различных гипервизоров совместно используемых в единой инфраструктуре. Облачные платформы не отменяют и не заменяют полностью, привычные средства управления, а вводят новые понятия и предоставляют более гибкие возможности, делая работу с огромными инфраструктурами проще и логичнее не только для администраторов, но и для простых пользователей которые являются неотъемлемой частью концепции облаков.

Читать дальше

Эффективность дедупликации хранилища на примере StarWind iSCSI SAN

Статья опубликована в журнале «Системный Администратор»

Современные платформы виртуализации, обладают различными механизмами эффективной экономии доступных вычислительных ресурсов. В этой статье, попробуем на практике дедупликацию данных и сэкономим, еще немного места на системе хранения.

Во времена стремительного развития технологий виртуализации достаточно широко рассматриваются вопросы эффективности использования ресурсов выделяемых под нужды виртуальных серверов и рабочих станций. Одним из важных направлений на сегодняшний день является оптимизация использования дискового пространства на системах хранения занимаемого виртуальными машинами (далее ВМ). Сегодня уже существуют хорошо зарекомендовавшие форматы «тонких дисков» (Thin provisioning) которые увеличиваются в объеме по мере заполнения данными. При виртуализации рабочих станций применяется технология «золотого образа» позволяющая использовать один единственный виртуальный диск как основу для множества ВМ, сохраняя для каждой лишь отличия от «золотого» образа. Но особой популярностью в последнее время пользуется технология дедупликации данных. Сама по себе технология не молода[1], но на сцену виртуализации вышла не так давно, хорошо зарекомендовав себя в системах резервного копирования. Дедупликация работает на уровне блоков данных абсолютно не взирая на типы файлов и их содержимое. Поток данных, разделяется на блоки определенного размера, после чего выполняется их сравнение с уже записанными блоками. Сравнение блоков выполняется специальными алгоритмами исключающими коллизии стандартных-хеш функций, способных привести в последствии к разрушению данных. Фактически, на диск записываются только уникальные блоки данных, а там где они повторяются просто создаются на них ссылки.

Читать дальше

VirtualBOX и iSCSI

С недавних пор использую VirtualBox в качестве десктопной платформы виртуализации. И если кому то как и мне понадобится подключить iSCSI-Target в качестве диска ВМ то, делается это очень просто с помощью консольной утилиты VboxManage.

Синтаксис:

VBoxManage storageattach <имя_ВМ> —storagectl <имя_контроллера_дисков> —port 0 —device 0 —type hdd —medium iscsi —server <имя_или_ip_iscsi_сервера> —target <iqn_iscsi_target’a> —tport 3260

Читать дальше

CloudStack 4. Создание и запуск виртуальных машин

После того как выполнена установка и базовая настройка облака под управлением CloudStack самое время посмотреть на него в работе запустив парочку другую виртуальных машин(далее ВМ) и понаблюдать за их работой.

CloudStack, это высокоуровневая система управления гетерогенной виртуальной инфраструктурой, которая разработана для удобного управления средами с большим количеством различных гипервизоров, предоставляя удобные механизмы управления.  Архитектура CloudSack, изначально сделана многоуровневой и масштабируемой по этому даже для запуска всего одной ВМ необходимо иметь сконфигурированную Зону(Zone), Стойку(Pod), Кластер(Cluster), хотя бы один Хост(Host) в кластере а так же по одному Первичному(Primary) и Вторичному(Secondary) хранилищу.

Перед тем как будет создан и запущен первый instace(ВМ в терминологии CloudStack), стоит отметить, что если все было сделано как в предыдущей статье, то в вашем облаке уже работает несколько ВМ. Эти ВМ-призраки которые не отображаются в разделе Instance являются служебными и увидеть их можно в разделе Infrastructure пункт System VMs. Скорей всего, будут доступны две ВМ тип(Type) у которых будет Console Proxy VM и Secondary Storage VM. Эти служебные ВМ разворачиваются CloudStack’ом из служебного шаблона SystemVM Template(доступен в разделе Templates) по мере необходимости для выполнения тех или иных служебных и фоновых задач. Например ВМ Secondary Storage VM обслуживает все операции связанные с Вторичным хранилищем(Secondary storage) и непосредственно участвует при загрузки новых шаблонов и ISO-образов в CloudStack. Что либо делать с системными ВМ не рекомендуется. CloudStack сам принимает решение когда какая то из ВМ не нужна или наоборот необходимо несколько. Убедитесь, что Secondary Storage VM работает(в сотоянии Running) т. к. без нее загрузка шаблонов и ISO-образов будет не возможной!

Читать дальше

Прокачиваем сетевой стек для iSCSI

 Статья была написана 29 мая 2011 г. Перенесена из старого блога.

Все начинается с того, что сетевая подсистема большинства дистрибутивов в том числе и OpenFiler’a используемого в качестве iSCSI-Target’a оптимизирована для большого спектра применений. В нашем же случае, для взаимодействия хостов(Proxmox или XenServer) с общим сетевым хранилищем по протоколу iSCSI нужны быстрые сетевые каналы с минимальным временем отклика.

Используя 1G Ethernet мы по большему счету(в сравнении с FC) не получаем широких каналов и уж тем более приемлемого, критичного для ВМ времени отклика. В таком случае, упираясь в производительность сетевого оборудования остается только попробовать оптимизировать работу сетевых протоколов, для получения максимального эффекта от того что имеем:)

Читать дальше

OpenFiler часть 3. Подключение iSCSI-таргета на KVM-хосте

Статья была написана 10 апреля 2011 г. Перенесена из старого блога.

После того как iSCSI SAN в роли которого выступает OpenFiler 2.3 настроен и наш iSCSI-target готов к клиентским подключениям самое время поговорить о iSCSI-initiator’ах.

Подключение iSCSI-target’a в ручную, через консоль

Сегодня, практически не найти дистрибутива в котором по умолчанию отсутствует пакет open-iscsi(или iscsi если у вас CentOS) включающий в себя все необходимое для работы с iscsi.

Читать дальше

OpenFiler часть 2. iSCSI сторадж для KVM-хоста

Статья была написана 8 апреля 2011 г. Перенесена из старого блога.

Одной из возможностей дистрибутива OpenFiler является поддержка iSCSI позволяющего экспортировать(предостовлять доступ по сети)блочные устройства используемые в качестве общего сетевого хранилища в виртуальной инфраструктуре предприятия.

ISCSI-Targets(iSCSI-цели) — это экспортируемые в сеть(по протоколу iSCSI) блочные устройства(диски или разделы диска, LVM-тома и т.д). Будучи смонтированными на клиентской машине,( в нашем случае это KVM-хост под управлением Libvirt) с помощью специальной клиентской части(iSCSI-initiator) эти устройства “видятся” как локальные диски, работа с которыми проходит в обычном режиме, абсолютно прозрачно для приложений. Фактически же обращение к этим псевдо-локальным дискам/iSCSI-целям происходит по сети по специально адаптированному SCSI протоколу инкапсулированному в обычные TCP-пакеты. Протокол iSCSI получил дополнительный талчек в развитии благодаря все более и более популярным технологиям виртуализации в которых он широко используется.

Читать дальше