Первая статья на хабре :)
Никогда не писал ничего на хабр и вот довелось: https://habr.com/company/croccloudteam/blog/422905/
Ceph: memory optimization
В этой заметке я расскажу о нескольких параметрах ядра которые очень критичны для нормальной работы Ceph OSD и RGW.
Ceph Object Gateway (radosgw): Object Lifecycle Management
Ceph Luminous очень богатый на фичи релиз и я планирую кратенько написать о всех наиболее интересных на мой взгляд новшествах по части RGW и S3 API работоспособность которых я проверил.
Object Lifecycle Management — это S3 API позволяющий задать политику:
— удаления объектов и/или их версий после заданной даты,
— удаления объектов и/или их версий после истечения указанного времени,
— перемещения объектов с одного класса хранения на другой.
В Ceph пока не реализованы разные классы хранения(storage classes) и перемещение соответственно тоже. Так же нельзя использовать тэги объектов в политиках. Но зато первые два пункта поддерживаются и это уже хорошо)
dmesg time to real time
Наверное все видели как выглядят логи в кольцевом буфере ядра. Каждое событие в этом логе имеет timestamp в секундах. Timestump каждого события говорит нам на какой секунде работы системы произошло событие. На самом деле там кроме секунд указываются еще и наносекунды(после точки).
Типичный для меня случай. kdump обработал kernel panic, сдампил содержимое кольцевого буфера(по сути самые актуальные логи перед паникой) и отправил куда то лог и вот он у меня перед глазами. Теперь мне нужно понять в какое время происходили те или иные события а в логе тупа секунды с момента загрузки ядра и это не очень удобно.
Ceph: Настройка scrub и снижение его влияния на производительность
Обычно не пишу о том, что и так известно почти всем или если это хорошо освещено. Но недавно в одном популярном русскоязычном telegram-чате посвященном Ceph обсуждалась проблема scrubbing’а и я понял, что все таки знаю кое что, что еще не известно всем) Решил написать заметку посвященную данной теме.
Ceph-mgr: dashboard, zabbix, RESTful, status, balance
ceph-mgr (Manager daemon) — сервис который стал обязательным с версии Luminous. Кроме того, что он обязательный вместе с ним поставляется несколько модулей которые можно включит и использовать если то, что они дают вам нужно.
В этой заметке я пробегусь по списку используемых мной модулей, покажу как их настроить и отмечу некоторые не очевидные моменты из-за которых я решил об этом написать.
Чтобы письма не попадали в спам. Настройка почтовой инфраструктуры.
Я совсем не специалист по почтовым серверам и их настройке, но внезапно встала задача по организации такового для отправки почты от имени нескольких совершенно разных доменов.
Речь шла исключительно об отправке(без приема) и задача казалась мне совершенно простой. Как наивен я был…
Собственно данная заметка о том как в 2k18-ом нужно заморочиться, что бы письма отправляемые вашим почтовым сервером не отбрасывались на этапе доставки или не попадали в спам являясь при этом совершенно нормальными.
Тут не будет технических подробностей по настройке postfix, только описание организационных моментов и порядка настройки DNS. По большей части это заметка себе на память.
Про эффективность swap в Linux
Попалась на глазе интересная статья(перевод) про полезность swap в Linux и потенциальных проблемах его отключения: В защиту swap’а [в Linux]: распространенные заблуждения
Эта заметка чисто для себя, с целью фиксации основной мысли автора:
Есть анонимная память(Anonymous Memory) которую можно вытеснить на диск при низкой активности ее использования и высвободить тем самым место для файлового кеша(Page cache). Да, создаётся нагрузка на диск при сбросе в swap но при этом поднятый в память кеш, при активном его использовании может сильно снизить нагрузку на диск и повысить производительность системы в целом.
S3 Performance Test Tool
Неплохая утилита для тестирования производительности AWS S3 или S3 совместимого объектного хранилища типа Ceph.
Так же ее можно использовать для нагрузочных тестов имитируя различную нагрузку.
Код проекта: https://github.com/jenshadlich/S3-Performance-Test
Утилита написана на Java и если вам как и мне не хочется возиться с Java то есть готовый Docker image: https://hub.docker.com/r/javamaster/s3pt/ Только есть одна мелочь — образ не пригоден к использованию так как не один из примеров не работает(на дату статьи перепроверил и таки да, не работает ничего 🙁 )
Поэтому я любезно пересобрал утилиту и образ в котором в отличии от оригинала все работает 🙂 https://hub.docker.com/r/fatruden/s3pt/
Ceph Object Gateway (radosgw): performance monitoring (Zabbix)
Про доступные метрики производительности RadosGW(RGW) я писал отдельную заметку.
В этот раз я опишу как мы у себя собираем эти метрики в Zabbix.
Скрипт сбора метрик, user_parameters.conf и собственно шаблон для Zabbix — https://github.com/FATruden/rgw-monitoring