Некоторые сложности.
Posted: 01 Apr 2026, 15:40
В целом начало 26 года отметилось беспрецедентными даунтаймами. И это, конечно непорядок.
В целом были проблемы с дисковым местом (его пожирают бэкапы, но очень медленно).
При этом в конце марта на эти грабли удалось аж дважды наступить.
Само место итп проблемой не является, проблема в том, что в какой-то момент сломались все
механизмы health-check какие только были. Ну т.е. я перестал получать инфу, что "мад упал".
В целом это поток нарастающих в последние годы проблем, частично и с самим интернетом.
Что-то я в этом смысле предприму, но не мгновенно. Почему-то, к примеру, почта моя перестала "приходить".
Текущая ситуация:
Среднестабильная. Я освободил 5гб места - этого хватит довольно надолго надеюсь.
При последней проблеме пострадали пара персонажей - откатил к последнему бэкапу что был.
Однако попутно вскрылась совершенно непонятная проблема с io, ощущение такое, что все операции записи-чтения
"на перфокартах", зачастую скорости менее 1мб/сек.
Пилил пол дня поддержку, они(вероятно) перенесли машину в другой кластер, стало чуть получше, но стабильности нету.
Утверждают, что у них всё нормально, предлагают тарифы с гигабайтами памяти, в целом "всё как всегда".
Это напрямую нас никак в целом не трогает, т.к. сам мад потребляет io только на старте, в прошлом был случай, когда основной
загрузочный диск еще реального железа вышел из строя и мад с полгода в таком состоянии работал (данные писались на другой).
Но в целом это сильно усложняет сервис (консоль очень медленно работает), да и вообще не было такого раньше и быть не должно.
В ближайших планах у меня всё-таки починить мониторинг - это важнее (точнее надо какой-то новый сделать),
но если что упало и не встает, то пишите всюду. Почту я как-то починю в ближайшие день-два.
В целом были проблемы с дисковым местом (его пожирают бэкапы, но очень медленно).
При этом в конце марта на эти грабли удалось аж дважды наступить.
Само место итп проблемой не является, проблема в том, что в какой-то момент сломались все
механизмы health-check какие только были. Ну т.е. я перестал получать инфу, что "мад упал".
В целом это поток нарастающих в последние годы проблем, частично и с самим интернетом.
Что-то я в этом смысле предприму, но не мгновенно. Почему-то, к примеру, почта моя перестала "приходить".
Текущая ситуация:
Среднестабильная. Я освободил 5гб места - этого хватит довольно надолго надеюсь.
При последней проблеме пострадали пара персонажей - откатил к последнему бэкапу что был.
Однако попутно вскрылась совершенно непонятная проблема с io, ощущение такое, что все операции записи-чтения
"на перфокартах", зачастую скорости менее 1мб/сек.
Пилил пол дня поддержку, они(вероятно) перенесли машину в другой кластер, стало чуть получше, но стабильности нету.
Утверждают, что у них всё нормально, предлагают тарифы с гигабайтами памяти, в целом "всё как всегда".
Это напрямую нас никак в целом не трогает, т.к. сам мад потребляет io только на старте, в прошлом был случай, когда основной
загрузочный диск еще реального железа вышел из строя и мад с полгода в таком состоянии работал (данные писались на другой).
Но в целом это сильно усложняет сервис (консоль очень медленно работает), да и вообще не было такого раньше и быть не должно.
В ближайших планах у меня всё-таки починить мониторинг - это важнее (точнее надо какой-то новый сделать),
но если что упало и не встает, то пишите всюду. Почту я как-то починю в ближайшие день-два.