Ilya Valiev (ilyavaliev) wrote,
Ilya Valiev
ilyavaliev

9/11 с точки зрения сисадмина. Очень рекомендую к прочтению.

Оригинал angryals в 9/11 с точки зрения сисадмина



10 лет назад я работал обычным системным администратором в небольшом, ныне почившем в бозе, ISP (для тех кто не в курсе - ISP это Internet Service Provider), чье название у многих может вызвать приступы гнева или даже агрессии :) Но тогда он еще более-менее неплохо держался - хотя бы потому что конкуренции особо небыло. Мыши плакали, кололись - но все равно, платили денежки. Да, были времена - подключение стоило 200 долларов, средняя стоимость траффика для абонента - 120 долларов за гигабайт, никаких безлимитных тарифов… И ничего - люди подключались, платили, пользовались… Но про устройство "домашнего" интернет-провайдера образца начала 2000х я расскажу как нибудь в другой раз. Сегодняшняя история про 11 сентября 2001 года.

11 сентября 2001 года было для меня очень непростым днем - точнее оно являлось продолжением очень непростого вечера 8 сентября того же года: в тот вечер был я на концерте группы "Чайф" в клубе "Точка" (тогда он еще на звенигородке находился, где теперь бытовой техникой торгуют). То ли спиртное было некачественным, то ли уральский рок-н-ролл полным говном оказался (что вероятнее) - в общем организм такой пытки не выдержал, и два последующих дня лежал я дома такой зеленый-зеленый, раз в полчаса навещая фаянсового друга: печень очень жаждала поделиться впечатлениями от концерта. И пролежал бы я так не только воскресенье с понедельником, но и вторник-среду, но пришлось кое-как оклематься и выползти на работу во вторник: напарнику в тот день нужно было отправиться на профилактику в больницу, а без присмотра оставлять все наше хозяйство было нельзя.

Нужно ли описывать ощущения человека после отравления, которому пришлось выползти на работу? Голова квадратная, глазки мутные, слабость дикая, сушняки адские, ручки трясутся, ноги не держат - полулежу я значит в кресле, рядом огромная кружка крепкого сладкого чая да пачка "Эссенциале". Сотрудники конторы в курсе, что админ сегодня никакой - и потому ни менеджеры, ни техподдержка с глупыми вопросами не пристают, красота, всегда бы так. Первую половину рабочего дня я честно проспал и после обеда более-менее начал приходить в себя. Даже нашел силы в аську вылезти, да на irc юзверей поужасать - в общем лафа.

У нас в берлоге, ну то есть NOC'e (network operations center) на самом видном месте особнячком стояли три монитора, на которых постоянно висели netsaint (ныне nagios - система мониторинга живучести сетевого оборудования), графики MRTG (загрузка каналов), и trafshow с центрального роутера (сниффер этакий, показывает активные сетевые соединения): поднял глаза и видишь, что у тебя с сетью творится, где чего отвалилось и насколько активно пользователи откуда что-либо качают.

В общем сижу себе в легком коматозе, чаек попиваю, по интернетам лазаю… И где-то около пяти вечера, замечаю, что что-то у меня интернет подтормаживать стал, причем неплохо так - и в этот момент в почту падает с десяток сообщений от netsaint'а, что с сетевыми линками все плохо, пинг значит адский - перегрузка. Поднимаю я свой мутный взгляд на три волшебных монитора - а там что netsaint материться alert'ами, что на MRTG кривые за крайние 10 минут превратились в прямые - уперлись в "потолок" 50 мегабит (это сейчас у домашних провайдеров линки и на 10 гигабит и по нескольку штук, а тогда один 10 мегабитный линк на всех нормой был), что на trafshow - счетчики запросов к "лента.ру" и "рбк" зашкаливают…

Похмельная мысль №1: dos-атака от нас, клиенты очередного червя поймали (в тот год много всякой сетевой дряни появилось - LoveSan многие пользователи MS Windows помнят, антивирусники по 5 раз в день обновления выпускали, мелкософт так вообще не успевал заплатки писать) - и как результат, теперь у нас в сети ботнет. Похмельный разум понимает, что сейчас такое обилие вирусного траффика от нас напряжет аплинка - и нас нафиг отрубят до разбирательств, абоненты ж порвут за отсутствие интернета Ломлюсь на securityfocus в надежде найти что за новый зверь такой и какие порты резать… А там тишина - никаких новых зараз не описано.

Похмельная мысль №2: зарубить нафиг доступ к узлам на которые запросы валятся. Вот только маршрутизатор офигев от такой нагрузки уже нихрена не хочет пускать по SSH. Начинаю отрубать линки физически - тупо выдергиваю патч-корды из коммутаторов. Но блин, нагрузка не падает: отрубаешь один загруженный линк, так тут же растет траффик на другом…
Маршрутизатор уже реально раскаляется - до него не достучаться вообще никак, остается только одно - вырубать его нафиг, и после холодного рестарта быстро ломиться на него и крутить firewall...

Понимаю, что сейчас начнется нереальный ад - сеть по сути уже минут 20 как в максимальной перегрузке, но хоть как-то работает, а если сейчас все отрубить даже на пару минут - абоненты порвут техподдержку на британский флаг… Но что поделать, reset - наше все, роутер уходит в перезагрузку, жизнь в сети на ближайшие 5 минут замирает.
Поднимаю трубку - ну нет сил оторвать задницу и доползти до техподдержки, набираю саппортов - а там никто не берет трубку. Ни один из сотрудников к телефону не подходит вообще. И что совсем странно - интернета нет уже минуты 3, а все входящие линии свободны. В обычный-то день нагрузка неплохая - и новые подключения, и заявки на ремонт, а сейчас полная задница, а ни одного звонка!…

Вылезаю из берлоги, ломлюсь к техподдержке - а там никого! И телефоны молчат… И менеджеров на местах тоже никого нет, и кассиров… Начинаю подозревать неладное - вдруг в офисе "маски-шоу", всех повязали (а вход в серверную у нас хорошо замаскирован был, кто не знает - тот бы и в жизни не подумал что там за декоративной панелью дверь в серверную)…

Все сотрудники конторы были обнаружены на reception около телевизора. Матерю их на чем свет стоит: "мудаки, вы чего, охренели? у нас полная жопа, сеть лежит, п..ц приехали - дуйте в аптеку за вазелином, сейчас абоненты порвут нафиг"
А сотрудникам пофигу - все в телевизор пялятся, там как раз WTC дымит вовсю…
Еще раз крою всех матом - "типа ну вы не офигели, ребята? Неужели "День независимости" никто не смотрел - так в сети ж лежит, или кому надо на VHS могу полную версию дать - еще раз говорю, у нас сеть лежит нафиг"
В этот момент крупняком дают повтор причаливания борта в южную башню… Тут до меня начинает доходить, что такого кино я еще не видел…. Потом соображаю, что на экране титры "Прямой эфир" и "Теракт в США"…. И это совсем не художественное кино…

Заползаю обратно в свою берлогу - врубаю выключенные ранее линки. Маршрутизатор раскален, lenta.ru лежит наглухо, РБК быстро подсуетились - убрали нафиг всю динамику и графику, заменив весть контент на чистый hmtl...


Subscribe
Buy for 100 tokens
«Привыкай к маске на лице навсегда», — сообщают мне грустно чиновник подмосковной мэрии и врач в поликлинике. Коронавирус останется в популяции навсегда. Масочный режим не отменят... «никогда». По крайней мере, «еще 4 года будет». Ни этой зимой не отменят, ни весной, когда опять будет обострение…
  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments