Статья опубликована в журнале «Системный администратор»
Материал написан еще в декабре 13 года, но в связи с редакционными правилами, опубликована только сейчас. К сожалению или к счастью, но те баги, что описаны в этой статье, уже закрыты вышедшими обновлениями.
Введение
Так вышло, что мое отношение к платформе виртуализации от VMware до этого момента было совсем косвенным. Я регулярно знакомился с возможностями новых версий и следил за развитием технологий используемых VMware. Но в рабочей деятельности, повсеместно применялись продукты Citrix. В частности, для виртуализации серверов использовался XenServer. В случае, если было нужно совсем условно бесплатное решение то, применялся Proxmox VE или настроенный в ручную KVM под управлением CloudStack. Но, момент встречи лицом к лицу с VMware vSphere все же настал. Возникла необходимость произвести развертывание и подготовку к конечной эксплуатации платформ VMware vSphere 5.5 Enterprise, Horison View 5.2 и ряда сопутствующих продуктов — Operation Manager, vCloud Networking and Security. Собственно, в результате довольно тесного знакомства с ними, возникло желание написать статью, посвященную vSphere 5.5. Своего рода обзор новшеств, успешных решений, багов и недоработок. И все это, со стороны опытного админа XenServer.
Что такое VMware vSphere 5.5
vSphere это набор продуктов от VMware предназначенный для виртуализации дата-центра. В основе vSphere лежит гипервизор первого типа ESXi и сервер управления vCenter. Первый тип означает, что он работает на голом железе. Его основная задача — распределение ресурсов между ВМ и их изоляция друг от друга. VMware vCenter служит средством централизованного управления гипервизорами и другими служебными сервисами. С его помощью производится конфигурирование и повседневное управление хостами ESXi, кластерами, виртуальными машинами, пулами ресурсов, сетевой подсистемой и прочим. Кроме этих двух фундаментальных компонентов, в состав vSphere входит еще множество дополнительных программных решений, привносящих тот или иной функционал. Например, для выполнения резервного копирования предназначен VMware Data Protection, а для мониторинга состояния виртуальной инфраструктуры служит VMware Operation Manager. По мимо средств управления с графическим интерфейсом, так же можно использовать Windows PoerShell. Для этого разработан набор команд под названием PowerCli.
Новые возможности
VMware vSphere 5.5 характерна множественными изменениями и новыми возможностями о которых можно было бы написать целую статью. В данном разделе коснусь только тех, что показались мне наиболее интересными. Кроме некоторых улучшений в работе гипервизора, а так же традиционного увеличения количества поддерживаемой памяти, процессоров, NUMA-узлов, теперь полноценно поддерживаются FC-адаптеры, с пропускной способностью в 16 Гбит/с (ранее до 8 Гбит/с). Подобные положительные изменения затронули и бесплатную версию ESXi. Здесь наконец то сняты ограничения на объем оперативной памяти. Ранее использовалось только 32 Гб. К основным улучшениям виртуальных машин можно отнести обновление виртуального железа до версии 10. Пожалуй, самым примечательным в этом обновлении стал новый виртуальный SATA-контроллер позволяющий подключить к одной ВМ до 120 дисковых устройств. Правда, найти практическое применение такому новшеству, кажется не просто.
Расширена поддержка vGPU. Теперь допустимо использование графических адаптеров от AMD. Ранее возможно было применение только карт от NVIDIA. Полный список поддерживаемых моделей.
Как и в предыдущей версии платформы возможны три техники графического ускорения трехмерной графики:
Soft 3D — рендеринг 3D-картинки вообще без использования адаптера на основе программных алгоритмов с использованием дополнительной памяти сервера. Тут хочется отметить, что ожидать производительности от такого рендеренга не стоит. Даже при выделении максимально допустимых 512 Мб оперативной памяти на его нужды, интерфейс Windows Aero тормозит и дергается. Объем памяти выделяемый на обработку 3D настраивается только в параметрах пула виртуальных машин в менеджере VMware Horison View Administrator (Рис №1). Если же продукты виртуализации рабочих станций не используются то средствами vSphere web-client возможно только включение поддержки 3d и выбор, аппаратного или программно рендеренга.
vDGA — монопольное выделение графического адаптера (GPU) конкретной виртуальной машине. В таком режиме, не поддерживаются динамические сервисы(vMotion, HA, DRS) для этой ВМ.
vSGA — использование несколькими виртуальными машинами одного, общего графического адаптера.
Рис №1. Параметры выделения памяти для программного 3D рендеренга.
Касательно версии vSphere 5.5 примечательно, что 3D ускорение поддерживаются не только в Windows 7/8, но и в популярных дистрибутивах Linux таких как Fedora 17, Ubuntu 12, RedHat 7 а так же в более новых версиях этих ОС. Указаны очень старые версии, может написать Fedora 17+. Очень старые? RedHat 7 и Ubuntu 12 – текущие версии да и Fedora 17 не особо старая. Тут указанны минимальные планки и сказано о поддержке более новых. При этом возможно применение миграции ВМ (VMware vMotion) между хостами с графическими адаптерами разных вендоров. В случае если возникнут какие-либо проблемы совместимости или же на целевом хосте, вовсе не окажется графического адаптера, будет задействовано программное 3D-ускорение.
Приятные изменения для пользователей vCenter Server Appliance. В предыдущей версии, при использовании встроенной базы данных было возможно управлять 5-ю хостами ESXi и 50-ю ВМ. В этом обновлении, модуль для управления виртуальной инфраструктурой был существенно переработан и теперь в качестве БД используется vPostgres с поддержкой до 500 хостов ESXi и 5000 виртуальных машин. Данное обновление говорит о большей готовности и надежности модуля, что допускает его применение в крупных инфраструктурах.
Совместная работа HA и DRS. Наконец, технологии HA и DRS знают о существовании друг друга и теперь механизм HA отрабатывая в случае сбоя одного из хостов, размещает перезапускаемые ВМ с учетом правил DRS. Ранее HA действовал по своему, совершенно не обращая внимания на правила размещения ВМ и лишь спустя некоторое время, когда все восстанавливалось, DRS выполнял балансировку. Не уходя далеко от темы, хочется сказать об еще одном интересном механизме расширенного управления электропитанием — vSphere Host Power Management (HPM) Данная технология, в зависимости от нагрузки переключает процессоры в одно из множественных состояний, вплоть до полного сна ЦПУ, в котором отключается буферы ввода/вывода, а так же кеш, что в результате значительно экономит электроэнергию. Технологии DRS и HPM, могут работать совместно так и по отдельности.
vSphere Big Data Extensions(BDE) — расширения для Big Data (Apache Hadoop). Современные тенденции сподвигнули и VMware в область “больших данных”. С помощью этого продукта, становится возможно в несколько кликов разворачивать высокопроизводительный Hadoop-кластер на виртуальных машинах vSphere и управлять его жизненным циклом. BDE доступно в виде плагина для веб-клиента, с помощью которого можно создавать новые кластеры, добавлять или удалять узлы, управлять размерами ВМ, и конфигурировать для них хранилища. Кластеры серверов Hadoop, могут быть защищены средствами технологий vSphere HA или Fault Tolerance. Так же возможно автоматическое наращивание ресурсов. Расширение BDE доступно только в редакциях VMware vSphere Enterprise Edition и VMware vSphere Enterprise Plus Edition.
Приятные изменения Virtual Machine File System(VMFS). Теперь VMware vSphere 5.5 поддерживает vmdk-диски объемом до 62 Тб! Такого же размера могут быть и RDM-диски в режиме виртуальной совместимости. Ранее, максимальный размер дисков, обоих типов составлял 2 Тб. Такое же ограничение действует и сейчас для технологий FT и vSAN(до 2 Тб).
Обновления поддержки MSCS. Наконец, сняты некоторые ограничения при создании кластеров от Microsoft. Теперь поддерживаются:
- ОС MicrosoftWindows 2012
- Политика путей Round-robin
- Протоколы iSCSI и Fibre Channel over Ethernet(FCoE)
Ранее, поддержка кластеров MSCS была ограничена только протоколом Fibre Channel.
Улучшения механизма vSphere Replication. Появилась новая функция Storage DRS Interoperability. Позволяет балансировать ВМ по хранилищам средствами Storage vMotion, при этом не прерывая процесс репликации. Кроме этого появилась возможность осуществлять реплику виртуальных машин между кластерами не с общими хранилищами (non-shared storage). Поддерживается технология vSAN. Машины на таких хранилищах могут быть реплицированы. Так же улучшили интеграцию с веб-клиентом, что позволяет наблюдать состояние репликации в различных представлениях vCenter.
vSAN (Виртуальная SAN) – это технология позволяющая построить единый пул хранения из множества локальных дисков ESXi-хостов с функциями отказоустойчивости и кэширования. Достигается это путем полного дублирования и репликации данных между узлами кластера. На таком хранилище, безо всяких ограничений поддерживаются снапшоты, связанные клоны, vSphere Replication, а так же работают механизмы HA, DRS, vMoution. Для каждой из ВМ размещаемой на таком хранилище доступны расширенные настройки как; емкость, уровень отказоустойчивости (степень дублирования данных), уровень производительности (количество SSD-кеша).
На смену технологии Swap to SSD пришла vSphere Flash Read Cache (vFRC). Данный механизм позволяет объединить локальные SSD-устройства ESXi-хостов в единый пул для целей кэширования данных хоста или ВМ. Объем ресурсов такого пула указывается для каждой ВМ в отдельности в разделе настроек виртуального диска.
Улучшения Link Aggregation Control Protocol (LACP). Первоначальная поддержка LACP в распределенном коммутаторе VMware была реализована еще в 5.1. В 5.5 она значительно расширена. Теперь доступны 22 алгоритма балансировки и возможно создание до 64 групп агрегации (Link Aggregation Group (LAG)) на одном распределенном виртуальном коммутаторе.
К наиболее незначительным новшествам, на мой взгляд можно отнести поддержку ESXi-хостами горячего добавления SSD-дисков. Ранее, на горячую можно было подключить только SATA и SAS. Так же добавлена поддержка Reliable Memory Technology, которая позволяет полностью исключить из эксплуатации сбойные ячейки памяти, ошибки в которых не способна исправить технология ECC. Незначительным данное нововведение является еще и по тому, что работает это, фактически только на серверах Dell.
К сожалению, позитивные ожидания по поводу механизма Fault Tolerance(FT) были напрасны. Ограничения для ВМ остались те же: Только один vCPU Отсутствие снапшетов. располагаться на общем хранилище как минимум 2 выделенных сетевых адаптера(1 Гб) помимо сети виртуальных машин (один для FT logging, второй для vMotion). Подробнее про все сохранившиеся ограничения можно ознакомиться тут
К сожалению, описания и технические особенности некоторых технологий требуют более детального рассмотрения, что не позволительно в рамках журнальной статьи. По этому, в особо интересных моментах указаны ссылки, по которым можно получить значительно больше информации.
В приведенном выше списке обновлений и новых возможностей нечего не сказано о таких важных компонентах как служба единой аутентификации — vCenter Single Sign-On server (SSO) а так же о vSphere Web Client’e. Этим двум основным сервисам посвящен следующий раздел, в котором поговорим о них более детально.
На встречу тенденциям
Все движется в сторону облачных вычислений и веб-сервисов и VMware не стала тут исключением. В последних версиях vSphere можно наблюдать достаточно уверенные шаги в сторону унификации и приведению некоторых компонентов к сервис-ориентированной архитектуре.
vCenter Single Sign-On server (SSO)
SSO — один из основных служебных сервисов vSphere. Пришел на смену механизма linked mode. В этом обновлении, заявлено, что SSO переработан практически с нуля и избавлен от множественных проблем предыдущей версии. Этот сервис выполняет своего рода посреднические функции, между сторонними службами каталогов (поддерживаются Active Directory, OpenLDAP и локальные учетные записи сервера) и пользователями или приложениями пытающимися получить доступ к инфраструктуре vSphere. SSO позволяет единожды авторизовавшись получить доступ ко всем поддерживаемым сервисам виртуальной инфраструктуры. Помимо выполнения аутентификации в сторонних службах каталогов, имеется собственная база учетных записей. Реализовано это в виде внутреннего домена (vsphere.local). В этом домене можно создавать пользователей и назначать им роли, как и в случае с учетными записями из сторонних служб каталогов. Администратор vCenter по умолчанию, является членом внутреннего домена vsphere.local. Только он может настраивать авторизацию в сторонних доменах. Теперь когда возможна авторизация в множестве доменов, при подключении к vCenter с помощью любого из клиентов, необходимо всегда указывать доменпользователь или пользователь@домен. Такая же ситуация и при использовании учетных записей из встроенного домена.
В новой версии SSO появилась улучшенная и новая поддержка следующих компонентов:
vCenter Orchestrator vSphere Replication vSphere AppHA vCloud Director vCloud Networking and Security (vCNS)
БАГ! Как уже сказано ранее, кроме сторонних служб каталогов и внутренней базы учетных записей, для авторизации так же могут быть использованы локальные пользователи и группы сервера на котором установлен SSO. Проблема в том, что доменные учетные записи помещенные в локальную группу не распознаются SSO. То есть при входе с помощью доменной учетной записи вложенной в локальную группу, вы не получите права назначенные родительской локальной группе. Консоль будет пуста. Решение. Добавляйте и назначайте роли доменным группам и пользователям в отдельности.
БАГ! В случае, если vCenter Single Sign-On работает на Windows Server 2012 и контроллер домена, так же под управлением этой ОС. Доменная авторизация при подключении к vCenter с помощью любого клиента, работать не будет. Хотя сопоставление доменных групп и назначение им прав проблем не вызовет, при авторизации, в доступе будет отказано. Решение. Необходимо войти на сервер с установленной ролью vCenter Single Sign-On как администратор. Остановить службу VMware Identity Management Service Заменить %WINDIR%System32idm.dll на одноименную библиотеку (находится в zip-архиве) скачанную тут в разделе Attachments. Запустить выше остановленную службу. Доменная авторизация будет работать.
vSphere Web Client
Пожалуй, наиболее существенным изменением еще c версии 5.1 для администратора стал окончательный и без поворотный переход со старого доброго «толстого» vSphere Client на работу через браузер – vSphere Web Client, который на тот момент стал полнофункциональным (Рис. №2). Возможности «толстого» клиента заморожены на версии 5.1 и более развиваться не будут. Более того, vSphere Client и vSphere PowerCLI, в связи с изменениями в библиотеке шифрования используемой vCenter при установке соединения по умолчанию не работают на Windows XP2003. Данное ограничение можно [обойти](http://www .kb.vmware.com/kb/2049143) путем правки vpxd.cfg на vCenter сервере. Все новые возможности версии 5.5 реализованы только в vSphere Web Client. Например, изменить конфигурацию ВМ с версией виртуального оборудования выше восьмой, из «толстого» клиента уже не удастся. Как впрочем и ряд других вещей, доступных только в каком-то одном из средств управления. В дальнейшем, похоже предполагается использование vSphere Client для прямого подключения к ESXi-хостам, а так же для управления бесплатной версией гипервизора. Подключиться к хосту на прямую с помощью vSphere Web Client, пока не возможно.
Рис №2. Интерфейс vSphere Web Client
Из существенных плюсов данного перехода нельзя не отметить поддержку vSphere Web Client’a на Mac OS X и браузеров Firefox и Chrome. Кроме этого появилась возможность перемещать объекты мышью (Drag and Drop) и новые фильтры для вывода объектов инфраструктуры.
Были сделаны значительные улучшения в области отклика интерфейса, а также появилась возможность управления большим числом объектов. Но по комфортности работы vSphere Web Client еще значительно уступает «толстому». Даже при выделенных 12 Гб памяти и 4-процессорах для vCenter-сервера, периодически наблюдаются зависания требующие выхода (log out), а иногда и перезагрузки всего vCenter. Посмотреть или изменить конфигурацию HA или DRS не всегда получается, так как при переходе к этим настройкам интерфейс попросту зависает. Радует, что все эти параметры пока еще можно благополучно изменять в старом vSphere Client. Но лично меня, более расстраивает, не технические проблемы нового клиента, а то, что для управления инфраструктурой, нужно периодически переключаться из одного интерфейса в другой. Например Operation Manager и Data Protection успешно интегрированы в vSphere Web Client и доступны из него. А вот для использования Update Managera и vSheild Managera приходится по прежнему использовать «толстый» клиент.
БАГ! После развертывания vCenter Server 5.5 в режиме простой установки (все роли вместе) на Windows Server 2012 Standart c использованием внешней БД MS SQL-Server 2012, vSphere Web Client работает исправно до первой перезагрузки сервера с vCenter. В дальнейшем ни какие выполненные изменения в браузере не отображаются. Например, добавление нового кластера или хоста, происходит успешно, но в соответствующих списках они так и не появляется. При этом в старом vSphere Client’e все работает и добавляется исправно. Данная проблема проявилась во всех версиях Windows и БД используемых для vCenter.
Решение. В результате обращения в тех поддержку VMware, оказалась, что проблема известная. Решается установкой автоматического, отложенного запуска — Automatic(Delayed Start) для службы VMware vCenter Inventory Service и перезагрузкой vCenter Server.
Ложка дегтя
По мимо небольших проблем, в том числе и описанных выше, хочется отметить некоторые моменты, которые в принципе не влияют на работу продукта, но немного портят о нем впечатление.
Есть такой продукт, vShield Manager входящий в семейство продуктов VMware vCloud Networking and Security представленный в виде готовой виртуальной машины(Virtual appliance). Он является сервером управления инфраструктурой безопасности ЦОД. Конкретно, с его помощью осуществляется управление такими компонентами как:
— vShield Edge – продукт для защиты периметра дата-центра (DHCP, VPN, NAT, балансировка нагрузки), — Data Security — компонент, позволяющий обнаруживать конфиденциальные данные в документах, внутри ВМ, — App – реализует функции межсетевого экрана. Контролирует трафик виртуальных машин на базе настраиваемых политик, — VXLAN (Virtual eXtensible LAN). Стандарт позволяющий организовать логические сети L2 поверх сетей L3. На практике, это делает возможным построение одноуровневой сети без каких либо географических ограничений.
Функционал достаточно богатый и возможно я придираюсь. Но его реализация на мой взгляд мягко говоря не самая лучшая. Во первых, Virtual Appliance, а точнее его настройка совершенно не похожа на таковой процесс в других продуктах от VMware. Начиная от не стандартных учетных данных, заканчивая необходимостью выполнять специфические команды в консоли для настройки сети. В конечном итоге получаем, веб-интерфейс у которого из сходств с остальными продуктами VMware, лишь логотип (Рис №3). И никакой интеграции с vSphere Web Client. Но, что расстроило больше всего, так это реализация межсетевого экрана для виртуальных машин. Выполнено это следующим образом. На каждом хосте, помимо созданного вами виртуального коммутатора создается еще один стандартный vSwitch в который включается специальная служебная ВМ. Весь трафик из созданного виртуального свитча через специальный виртуальный интерфейс направляется в новый свитч и в результате проходит через служебную ВМ. В итоге на каждом хосте дополнительно разворачивается по одной служебной ВМ, что на мой взгляд кажется слишком сложным решением. Например, у Citrix в платформе XenServer фильтрация трафика виртуальных машин осуществляется на уровне виртуального коммутатора с помощью простых правил для конкретного виртуального интерфейса, ВМ или всего кластера.
Рис. №3. Интерфейс vShield Manager
Выводы
На различных интернет ресурсах, форумах, бытует мнение что уменьшение сроков выпуска новых релизов не идет VMware на пользу. Подобные высказывания оправданны. Они возникают из-за большего чем в прошлых выпусках количества проблем и откровенных багов. Со своей стороны, как человек осуществлявший на протяжении последних месяцев внедрение этой платформы, хочу сказать, что все закончилось успешно. Даже при том, что разворачивалась самая первая публичная сборка. Сейчас же, доступны обновленные версии продуктов с внесенными исправлениями и доработками. Поэтому, переходить на новый релиз уже не так боязно. Именно в этом внедрении как нельзя кстати пришлась поддержка VMDK дисков и RDM-устройств более 2 Тб, а так же расширенные возможности для построения кластеров Microsoft. Остается только приучить себя использовать vSphere Web Client и дождаться его тесной интеграции со всеми продуктами VMware.
Помогла ли вам статья?
