Ceph Object Gateway (radosgw): Object Lifecycle Management

Опубликовано автор Александр Руденко — Нет комментариев ↓

Ceph Luminous очень богатый на фичи релиз и я планирую кратенько написать о всех наиболее интересных на мой взгляд новшествах по части RGW и S3 API работоспособность которых я проверил.

Object Lifecycle Management — это S3 API позволяющий задать политику:

— удаления объектов и/или их версий после заданной даты,
— удаления объектов и/или их версий после истечения указанного времени,
— перемещения объектов с одного класса хранения на другой.

В Ceph пока не реализованы разные классы хранения(storage classes) и перемещение соответственно тоже. Так же нельзя использовать тэги объектов в политиках. Но зато первые два пункта поддерживаются и это уже хорошо) Читать дальше

dmesg time to real time

Опубликовано автор Александр Руденко — Нет комментариев ↓

Наверное все видели как выглядят логи в кольцевом буфере ядра. Каждое событие в этом логе имеет timestamp в секундах. Timestump каждого события говорит нам на какой секунде работы системы произошло событие. На самом деле там кроме секунд указываются еще и наносекунды(после точки).

Типичный для меня случай. kdump обработал kernel panic, сдампил содержимое кольцевого буфера(по сути самые актуальные логи перед паникой) и отправил куда то лог и вот он у меня перед глазами. Теперь мне нужно понять в какое время происходили те или иные события а в логе тупа секунды с момента загрузки ядра и это не очень удобно. Читать дальше

Ceph: Настройка scrub и снижение его влияния на производительность

Опубликовано автор Александр Руденко — Нет комментариев ↓

Обычно не пишу о том, что и так известно почти всем или если это хорошо освещено. Но недавно в одном популярном русскоязычном telegram-чате посвященном Ceph обсуждалась проблема scrubbing’а и я понял, что все таки знаю кое что, что еще не известно всем) Решил написать заметку посвященную данной теме.
Читать дальше

Ceph-mgr: dashboard, zabbix, RESTful, status, balance

Опубликовано автор Александр Руденко — Нет комментариев ↓

ceph-mgr (Manager daemon) — сервис который стал обязательным с версии Luminous. Кроме того, что он обязательный вместе с ним поставляется несколько модулей которые можно включит и использовать если то, что они дают вам нужно.
В этой заметке я пробегусь по списку используемых мной модулей, покажу как их настроить и отмечу некоторые не очевидные моменты из-за которых я решил об этом написать. Читать дальше

Чтобы письма не попадали в спам. Настройка почтовой инфраструктуры.

Опубликовано автор Александр Руденко — Нет комментариев ↓

Я совсем не специалист по почтовым серверам и их настройке, но внезапно встала задача по организации такового для отправки почты от имени нескольких совершенно разных доменов.
Речь шла исключительно об отправке(без приема) и задача казалась мне совершенно простой. Как наивен я был…
Собственно данная заметка о том как в 2k18-ом нужно заморочиться, что бы письма отправляемые вашим почтовым сервером не отбрасывались на этапе доставки или не попадали в спам являясь при этом совершенно нормальными.

Тут не будет технических подробностей по настройке postfix, только описание организационных моментов и порядка настройки DNS. По большей части это заметка себе на память. Читать дальше

Про эффективность swap в Linux

Опубликовано автор Александр Руденко — Нет комментариев ↓

Попалась на глазе интересная статья(перевод) про полезность swap в Linux и потенциальных проблемах его отключения: В защиту swap’а [в Linux]: распространенные заблуждения

Эта заметка чисто для себя, с целью фиксации основной мысли автора:

Есть анонимная память(Anonymous Memory) которую можно вытеснить на диск при низкой активности ее использования и высвободить тем самым место для файлового кеша(Page cache). Да, создаётся нагрузка на диск при сбросе в swap но при этом поднятый в память кеш, при активном его использовании может сильно снизить нагрузку на диск и повысить производительность системы в целом.

Читать дальше

S3 Performance Test Tool

Опубликовано автор Александр Руденко — Нет комментариев ↓

Неплохая утилита для тестирования производительности AWS S3 или S3 совместимого объектного хранилища типа Ceph.
Так же ее можно использовать для нагрузочных тестов имитируя различную нагрузку.

Код проекта: https://github.com/jenshadlich/S3-Performance-Test
Утилита написана на Java и если вам как и мне не хочется возиться с Java то есть готовый Docker image: https://hub.docker.com/r/javamaster/s3pt/ Только есть одна мелочь — образ не пригоден к использованию так как не один из примеров не работает(на дату статьи перепроверил и таки да, не работает ничего 🙁 )

Поэтому я любезно пересобрал утилиту и образ в котором в отличии от оригинала все работает 🙂 https://hub.docker.com/r/fatruden/s3pt/ Читать дальше

Ceph Object Gateway (radosgw): performance monitoring (Zabbix)

Опубликовано автор Александр Руденко — 5 комментариев ↓

Про доступные метрики производительности RadosGW(RGW) я писал отдельную заметку.
В этот раз я опишу как мы у себя собираем эти метрики в Zabbix.

Скрипт сбора метрик, user_parameters.conf и собственно шаблон для Zabbix — https://github.com/FATruden/rgw-monitoring Читать дальше

Ceph Object Gateway (radosgw): performance monitoring

Опубликовано автор Александр Руденко — Нет комментариев ↓

RadosGW или RGW он же Ceph Object Gateway позволяет работать с хранилищем RADOS(он же Ceph) через REST API совместимый с S3 и Swift. RGW является прослойкой между пользователем использующим REST и хранилищем RADOS взаимодействие с которым осуществляется по алгоритму CRUSH.
У всех компонентов Ceph есть метрики позволяющие мониторить производительность и понимать, что происходит в кластере. У RGW тоже есть такие метрики и они нам сильно помогают понимать состояние системы в целом и находить проседающие места. Читать дальше

dmesg: page allocation failure

Опубликовано автор Александр Руденко — Нет комментариев ↓

Эта ошибка может возникать в системах любой конфигурации. Решение можно быстро нагуглить но само по себе оно не столько интересно нежели, то дополнительное понимание о памяти в Linux которое можно получить разобравшись в проблеме. Читать дальше