пятница, 22 июня 2012 г.

Облачные вычисления

Облачные вычисления

Сейчас очень много говорят о вычислениях в “облаках”. Попробую высказать свою точку зрения на это. Если где-то ошибусь - буду рад, если меня поправят.

Во-первых, облачные вычисления - это не какая-то новая идея, и даже не новая технология. Пользуюсь облачными сервисами уже больше 10 лет - это и электронная почта, онлайн-переводчик, сервисы создания и редактирования документов, онлайн-мониторинга и многое другое. Даже блог нашей компании создан и размещается в облаке.Что касается технологий, то и тут нет ничего нового. Провайдеры предоставляющие облачные услуги используют известные уже давно технологии виртуализации: XEN, KVM, VirtualBox, VmWare.

Все это позволяет скептикам заявлять, что облака - это всего лишь очередной маркетинговый ход для продажи того же самого, но только в профиль, а энтузиастам заявлять о появлении в мире чего-то сверх нового.

Попробуем разобраться.

Немного истории.
В самом начале развития информационных технологий доминировали майнфреймы (высокопроизводительные сервера). Еще до эпохи Интернета, чтобы воспользоваться вычислительными ресурсами майнфрейма, надо было заранее договориться о времени и физически присутствовать там, где находилось оборудование. Заранее - так как хоть это и мощный компьютер, но и он ограничен в вычислительных ресурсах. Но в тоже время с высокопроизводительным сервером могли работать одновременно несколько человек.


Плюсы майнфреймов были мощные вычислительные ресурсы, возможность одновременно обрабатывать несколько вычислительных задач, консолидация управления и технической поддержки.
Минусы - необходимость заранее договариваться о времени использования вычислительных ресурсов, физическое присутствие в том же месте, возможность использования только того программного обеспечения, которое разрешалось и могло использоваться на майнфрейме.

Со временем и развитием ИТ эта жесткая модель уступила место сперва персональным компьютерам, когда каждый человек мог позволить себе иметь дома свой небольшой вычислительный ресурс и иметь к нему доступ в любое удобное время.

Затем, с развитием вычислительных сетей появилась клиент-серверная архитектура, когда ИТ-приложения, требующие непрерывной работы и больших вычислительных ресурсов располагались на более мощных по сравнению с персональными компьютерами серверах, а люди со своих ПК подключались по каналам связи через различные интерфейсы к этим приложениям. При этом основные вычисления производились серверами, а человек через свой ПК только вводил данные и получал уже готовые результаты вычислений.

Вы спросите, какое это имеет отношение к облакам? Дело в том, что на мой взгляд, вычислительные облака - это то к чему привела сегодня эволюция ИТ-технологий и облачные технологии  содержат в себе компоненты предыдущих моделей, из которых они эволюционировали.

Облака - это возможность использования майнфреймов при помощи клиент-серверной архитектуры с большей эффективностью и удобством.

Этой возможности послужили три фактора. Перечислю их по мере значимости.

Первый и, по моему, основной - пропускная способность каналов связи за последние годы значительно возросла, стала стабильнее и дешевле. Это позволило выносить из частных сетей в публичные большие объемы информации с небольшими затратами, но еще важнее - иметь стабильный и скоростной доступ в любое время для работы с этой информацией.
Второй фактор - появились технологии виртуализации позволяющие просто и эффективно ограничивать ресурсы потребляемые пользователями, расширять и уменьшать их при необходимости. Причем этот фактор также повысил безопасность и SLA.
И в третий - сами вычислительные ресурсы бысто растут при уменьшении стоимости на них и, например, сегодня обычный персональный компьютер по мощности можно сравнить с сервером 2-3 летней давности. Это позволило снизить стоимость владения и, соответственно, использования ресурсов супер-компьютеров для пользователей.

И в заключении, мне хочется спрогнозировать пару важных  событий, которые произойдут, когда популярность облачных технологий достигнет своего пика - это переход на новую версию протокола IPv6 и освобождение большинства ИТ-специалистов от привязки к рабочему месту.


C уважением,
Андрей

понедельник, 4 июля 2011 г.

SRV-записи для Jabber-сервера

Настройки ДНС для Jabber-сервера:

_xmpp-server._tcp.your_domain.ru. 3600 SRV 20 0 5269 jabber.your_domain.ru.
_xmpp-client._tcp.your_domain.ru. 3600 SRV 20 0 5222 jabber.your_domain.ru.
_jabber._tcp.your_domain.ru. 3600 SRV 20 1 5269 jabber.your_domain.ru.

Данные SRV записи нужны для связи вашего jabber-сервера с другими, например gtalk.

среда, 16 июня 2010 г.

HP ANM - Automated Network Management

HP ANM

Новый программный продукт от компании HP - Automated Network Management (HP ANM) представляет из себя интеграцию новой версии NNM - NNMi 9 с Network Automation (NA), а также с нескольких SPI:

- iSPI Performance for Quality Assurance 9
- iSPI Performance for Metrics 9
- iSPI Performance for Traffic 9
- iSPI NET

В связке это предоставляет единую среду для мониторинга ошибок в сети и управления доступностью, анализа производительности и управления конфигурацией, а также диагностические возможности. Это обеспечивается за счет единого интерфейса.

NNMi9 обеспечивает автоматический непрерывный поиск и обнаружение физических и виртуальных устройств, построение карты сети с дальнейшей возможностью экспорта карты в формат Visio, генерацию сообщений и прием трапов на основе правил, а также их корреляцию.

В NA также присутствует возможность автоматического обнаружение физических и виртуальных сетевых устройств, помимо этого реализована возможность импорта устройств из NNMi9. NA автоматизирует изменения на тысячах устройств, а также передачу информации об изменениях в NNMi9, например SNMP community string. Автоматизирует операции с сетевыми устройствами, хранит конфигурацию устройств в базе и генерирует сообщения об изменениях в конфигурации на основе правил и политик.

Перечисленные iSPI собирают статистическую информацию с сетевых устройств и сохраняют ее в базе данных, интегрируются с NNMi9. Это предоставляет единый интерфейс для просмотра и анализа статистики.

среда, 16 декабря 2009 г.

Jabber

Сети мгновенной передачи сообщений как средство связи в бизнесе.

Помимо традиционных средств связи, таких как телефон, факс, электронная почта рассмотрим еще одно - посредством сетей мгновенной передачи сообщений.

В последнее время набирает популярность открытый протокол XMPP (также известный как Jabber), в настоящее время используемый в таких сервисах как Я.Онлайн, Google Talk, LiveJournal.

Помимо открытости протокола, Jabber имеет еще одно преимущество - при помощи шлюзов клиенты Jabber могут работать также с такими популярными сетями, как ICQ, MSN и др.

Jabber по своей функции является чем-то средним между телефоном и электронной почтой. Когда проблема не столь срочна для звонка по телефону, но и ждать пару часов на ответ по электронной почте нет смысла.

Взято отсюда:
http://forum.itrm.ru/index.php?t=msg&th=178&start=0&rid=21

суббота, 23 мая 2009 г.

Резервное копирование (Backup)

В данной статье описывается система резервного копирования на основе программы с открытым исходным кодом - Bacula.

Общее описание системы и ее компонентов

Общая схема системы бекапирования представлена на рис. 1.

В систему входят: директор (Director), хранилище (Storage Daemon), клиент (File Daemon), каталог (Catalog) и консоль (Console).

Директор - это программа, которая курирует все операции резервного копирования и восстановления. Администратор использует директор для планирования бекапов и восстановления.

Консоль — это программа, которая позволяет администратору или пользователю подключаться к директору.

Клиент — это программа, которая устанавливается на компьютере, которому требуется резервное копирование. Отвечает за сбор информации о бекапируемых файлах и передачи их атрибутов директору, а также отвечает за передачу данных в хранилище.

Хранилище представляет собой программу, которая обеспечивает хранение и восстановление данных, другими словами эта программа позволяет читать и записывать данные на физических носителях.

Каталог представляет собой программу для связывания файловых индексов с базой данных физических носителей для всех забекапленых файлов. Каталог позволяет администратору быстро найти и восстановить любой файл.

В качестве каталога может использоваться одна из трех баз данных MySQL, PostgreSQL и SQLite. В наше примере использована БД PostgreSQL.

Файлы конфигурации системы, запускаемые процессы.


Директор - самый важный компонент. Он ведает всеми клиентами, сторожами, пулами (Pool), планирует (Schedule) и инициирует начало работ (Job), создает список файлов и каталогов для бекапирования (FileSet). Через директора осуществляется взаимодействие с каталогом.

Основной конфигурационный файл — bacula-dir.conf.


Основной конфиг делится на несколько секций:

Секция Director - описание директора.

Здесь задается имя директора, порт, который он будет слушать, задается пароль, для авторизации консолей. WorkingDirectory назначает директорию для хранения бутстрапов (Bootstrap) работ.


Секция Storage — секция подключения сторожей.

В секции описаны сторожи, где bacula может сохранять бекапы. Задаются имя сторожа, IP адрес или DNS-имя сервера со storage-демоном (SD), порт, пароль от демона, устройство (Device) который предоставляет для записи SD, тип устройства (File или Лента).


Секция Pool — описание пулов.

В этой секции проводится описание пулов. Пулы служат для управления томами (Volume). В этой секции описывается тип пула (Backup, Scratch, Migration), задается формат имени тома - LabelFormat, Volume Retention - время, в течении которого, том гарантировано не будет использован другими работами (данные не будут перезаписаны), после этого времени том освобождается для новых работ.


Секция JobDefs - шаблоны работ.

В этой секции задаются значения по умолчанию, с которыми будет стартовать та или иная работа. Это существенно сокращает в дальнейшем описание опций самой работы. Здесь заданы имя шаблона, тип работы.


Секция Job — описание работ.

В этой секции описывается: какого клиента бекапить и где сохранять бекапы, назначается расписание запуска ful- и incremental-бекапа, а также назначается fileset — список бекапируемых и не бекапируемых файлов. Для unix серверов стандартный fileset - /usr/local/bacula/etc/filelist/unix.conf, а для windows - /usr/local/bacula/etc/filelist/windows.conf. Так как работы в основном стандартные, то описание работы можно строить на основе шаблонов JobDefs.


Секция Messages — система отчетов.

Bacula ведет журнал всех выполняемых работ. Отчеты отсылаются по трем направлениям: консоль оператора, файл логов и электронная почта. Соответственно, в этой секции описывается какие сообщения отсылать на консоль оператора — console, какую информацию записывать в журнальный файл - append, на какой почтовый ящик отсылать email отчеты mail = bacula-report@exmple.com. Команды отправки писем определяются директивами mailcommand и operatorcommand.


Секция Catalog.

Здесь даются параметры подключения к БД.


Секция Client — клиенты bacula.

В этой секции определяются параметры подключения к файловому демону (FD) клиента bacula. Задается IP адрес или DNS имя клиента, порт и пароль. Можно также поменять БД, в которой сохранять данные по файлам и работам этого клиента. Директивами File Retention и Job Retention задаются сроки хранения данных о файлах и работах клиента, соответственно. Bacula хранит информацию о всех работах, файлах и томах 15 дней.

Управление директором осуществляется с помощью консоли - bconsole. Существует также ряд GUI-консолей: bgnome-console, bwxconsole, а также BAT - Bacula Administration Tool.


пятница, 8 мая 2009 г.

Network Automation (Автоматизируем работу в сети)

Network Automation

Недавно познакомился с ПО для управления конфигурациями сетевых устройств - HP Network Automation, в сокращении NA. Попробую в кратце описать его назначение и возможности.

NA предназначен для управления конфигурациями сетевых устройств. Основные возможности это:

• Управление по протоколам: snmp, telnet, ssh, tftp, scp, rlogin
• Создание инвентаризационной информации и активных карт сети
• Отслеживание всех изменений и хранение истории изменений конфигурации
• Одновременное конфигурирование сотен и тысяч устройств

Задачи, решаемые при помощи NA:

- Автоматизация большого объема задач и изменений используя шаблоны, а также автоматизация обновлений ПО при помощи анализа образа и рекомендаций по обновлению;
- Определение кто и когда может произвести изменения;
- Возможна автоматическая интеграция с системой диспетчерской службы для получения подтверждений и автоматическая сортировка и группировка событий и сбор дополнительных данных;
- Проверка сложных изменений для исключения ошибок.

пятница, 13 марта 2009 г.

Network Node Manager (ИТ мониторинг)

Настройка NNM для оповещения посредством электронной почты.

В NNM нет встроенных средств для работы с электронной почтой, но есть возможность запуска программы либо скрипта при возникновении определенного события.

Отсылать письма из операционной системы Windows можно несколькими способами, например при помощи скрипта, написанного на Perl, который инсталлируется вместе с дистрибутивом NNM.
Рассмотрю способ оповещения по email при помощи утилиты blat, которую можно скачать с сайта www.blat.nеt. Сценарий отправки сообщения при помощи данной утилиты выглядет следующим образом:

D:\>type mail.bat

blat - -to admin@itrm.ru -s "Node down" -server mail.itrm.ru -f helpdesk@itrm.ru -body " Node webforce.itrm.ru down

- ключ –to указывает, что будет в поле From в сообщении; -f – указывает, кому доставить сообщение; -server – адрес почтового relay.

Настройка NNM состоит из 3 пунктов.

1. Заходим в папку D:\Program Files\HP OpenView\conf\trustedCmds.conf и создаем простой файл:

Directory of D:\Program Files\HP OpenView\conf\trustedCmds.conf

11.03.2009 13:08 17 mail

В котором прописываем строку:

D:\Program Files\HP OpenView\conf\trustedCmds.conf>type mail
mail=D:\\mail.bat

и сохраняем.


2. Настраиваем событие, при возникновении которого мы бы хотели получить сообщение по email. Автоматическое действие можно настроить двумя путями: через редактирование файла trapd.conf, либо через контрольную панель NNM.
В контрольной панели надо пройти по пути: Options -> Event Configuration, выбираем событие и Edit -> Events -> Modify -> Actions. В поле Command for Automatic Action прописываем:

OVHIDESHELL mail

где mail – это запись в файле D:\Program Files\HP OpenView\conf\trustedCmds.conf\mail.
После этого все сохраняем.

В файле trapd.conf появится запись:

EVENT Event_3 .1.3.6.1.4.1.11.2.17.1.0.50790415 "Problem Diagnosis Alarms" Normal
FORMAT Received event $E. $# args: $*
EXEC OVHIDESHELL mail
SDESC
Add text to describe what this event means.
EDESC

И теперь при возникновении события Event_3 .1.3.6.1.4.1.11.2.17.1.0.50790415 на почтовый ящик helpdesk@itrm.ru будет приходить сообщение.

C уважением, компания ITRM

http://itrm.ru

вторник, 24 февраля 2009 г.

IT Monitoring

Функция мониторинга в системах управления ИТ-ресурсами.

Методы управления, рассматриваемые теорией управления техническими системами и другими объектами, базируются на трех фундаментальных принципах: принцип разомкнутого управления, принцип компенсации или точнее принцип упреждающего воздействия (кстати, на мой взгляд самый интеллектуальный и эффективный), принцип обратной связи.

Наиболее часто используемый - это принцип обратной связи. Его смысл заключается в том, что мы отслеживаем состояние всех выходных параметров системы и передаем их по каналу обратной связи на вход системы, где далее на основе этих данных мы корректируем входящее воздействие.

Управление присуще только системным объектам. Общим в процессах является его антиэнтропийный характер, направленность на упорядочение системы.
Процесс управления можно разделить на несколько этапов:


Сбор и обработка информации.
Анализ, систематизация, синтез.
Постановка на этой основе целей. Выбор метода управления, прогноз.
Внедрение выбранного метода управления.
Оценка эффективности выбранного метода управления (обратная связь).
Конечной целью теории управления является универсализация, а значит согласованность, оптимизация и наибольшая эффективность функционирования систем.

Система управления ИТ-ресурсами состоит из следующих блоков-подсистем:

Подсистема сервисного обслуживания
Подсистема управления конфигурациями
Подсистема управления хранением данных
Подсистема мониторинга
Подсистема информационной безопасности
Мониторинг нам нужен именно для отслеживания состояния как можно большего числа параметров на выходе из системы.

Делаем вывод: Мониторинг в входит в состав системы управления ИТ-инфраструктурой и ИТ-сервисами. И его место - это обратная связь.

вторник, 16 декабря 2008 г.

Мониторинг и управление. HP Operations

HP OpenView Operations for UNIX, если быть точными.

Кто первый придумал сервис-ориентированную модель мониторинга не знаю, но впервые я с этой концепцией познакомился при работе с HP Openview.

Установка самого юниксового Operations - это отдельный разговор. Рассмотрю в данной статье установку агента Operations на сервер с WinXP.
OVOU установленный на HP-UX содержит следующие папки:

# pwd
/var/opt/OV/share/databases/OpC/mgd_node/vendor/ms/x86/winnt
# ls
A.08.10.160 AgentPlatform req.dat require.dat

A.08.10.160 - это и есть агент Operations для MS Windows. Я вошел в папку x86/winnt, так как мне нужен был агент под патформу x86, а версия MSW у меня XP.

Конечно, агенты можно установить из консоли самого Operations, но в данной статье я рассмотрю вариант установки пошагово вручную.
Закачиваем всю папку с агентом A.08.10.160 на WinXP, заходим в эту папку с помощью консоли DOS и выполняем команду:

C:\openview\OVO\x86\winnt\A.08.10.160\RPC_BBC>cscript opc_inst.vbs -srv ovosrv

где ovosrv - это название сервера Operations в ДНС.

После того как инсталлируется агент запускаем:

ovcert -certreq

Эта команда пошлет запрос на сертификат серверу OVO.

Заодно можно проверить работу агента командой:

C:\Program Files\HP\HP BTO Software\bin>
ovcovcd OV Control CORE (3140) Running
coda OV Performance Core COREXT (2156) Running
opcacta OVO Action Agent AGENT,EA (3748) Running
ovbbccb OV Communication Broker CORE (480) Running
opcmsgi OVO Message Interceptor AGENT,EA (2836) Running
opcmsga OVO Message Agent AGENT,EA (3760) Running
ovconfd OV Config and Deploy COREXT (2728) Running

Далее на сервере Оperations выполняем:

# opccsa -list_pending_cr
Hostname Request ID Mapped Host ------------------------------------------------------------------------------------------------
winxp-host b59gf272-26eb-7534-1d88-c096f5189be5 winxp-host

# opccsa -grant b59gf272-26eb-7534-1d88-c096f5189be5

И проверяем на сервере работу агента:

# /opt/OV/bin/OpC/call_sqlplus.sh cert_state
OVO Report ----------
Report Date: 11-2008
Report Time: 17:16:20
Report Definition:
User: opc_adm Report Name: Certificate State Report Rpt. Script: /etc/opt/OV/share/conf/OpC/mgmt_sv/reports/C/cert_state.sql
Node Certificate Inst
------------------------------------ ------------------------------------ ----
winxp-host 259467ca-9a5e-7529-174f-f66389ab5f1f YES

И еще можно так проверить:

# opcragt -status winxp-host
Node winxp-host:
OVO Managed Node status :
-------------------------
OV Control ovcd (3140) is running
OV Performance Core coda (2156) is running
OV Communication Broker ovbbccb (480) is running
OV Config and Deploy ovconfd (2728) is running
Subagent EA:Action Agent opcacta (3748) is running
Message Interceptor opcmsgi (2836) is running
Message Agent opcmsga (3760) is running
Done.

И еще вот так:

/opt/OV/bin/OpC/install/opcdeploy -node winxp-host -cmd "dir"
C . : 4CBD-F33F

C:\Documents and Settings\All Users\Application Data\HP\HP BTO Software\installation\incoming\files

C уважением, exist
Компания ITRM