Главная » Блоги Экспертов И ИТ-Компаний » Зачем телекому большие данные

Зачем телекому большие данные

Круг задач, которые решаются с помощью технологий больших данных, становится все шире: это и маркетинговые исследования, и прогнозирование финансовых рынков, и даже обнаружение мошенничества.

Телекоммуникационные компании используют большие данные, чтобы снизить эксплуатационные издержки и повысить качество услуг связи. Сделать управление сетевыми сервисами и их развитие более эффективным им помогают гибкая и быстрая обработка «сырых» данных (row data) с узлов сети.

Откуда берутся большие данные в сети операторов?

«Сырые» данные поступают с сетевых элементов или из действующих систем управления сервисами (OSS, Operation Support System). Они отличаются глубокой степенью детализации сетевых событий: характер события на узле порождения услуги, обслуживание сигнальных пактов на каждом отдельном сетевом элементе и т.п. При обработке данные дополняются информацией из систем BSS (Business Support System, системы поддержки бизнеса), например данными об абонентах и предоставляемых услугах из биллинговых систем. Чем больше данных, тем точнее оперативный срез состояния сети: используемая и доступная емкость, качество сетевых сервисов, другие параметры.

В системах OSS существует много инструментов сетевого управления, позволяющих определить и отобразить статическую топологию сети. Но корректно оценивать сервисы в режиме реального времени такими средствами сложно. Тут требуется анализ всех доступных данных, а они не всегда имеют фиксированную структуру. К тому же информационная модель услуг постоянно меняется: появляются новые требования со стороны бизнеса, расширяются функциональные возможности услуг и взаимосвязь между сервисами.

Что можно сделать с этими данными?

Для качественного управления информационной моделью услуг важны два момента. Первый – оперативно и точно определять необходимый набор метрик из исходных данных в разных источниках для создания более точной информационной модели сервиса. Делать это без затрат на поиск нужных параметров и повторную загрузку можно благодаря тому, что исходные данные хранятся в «сыром» виде.

Второй – на основе полученных данных быстро формировать основу для предсказательной аналитики. С ее помощью операторы могут определять характер используемых ресурсов, прогнозировать возможные проблемы, быстрее разрабатывать новые услуги с использованием имеющихся, но пока не используемых метрик и параметров.

Поскольку фиксированная структура влечет за собой дорогие операции подготовки и трансформации данных, получил популярность подход к их хранению в так называемом общем или гибком формате.

В Vertica – платформе для анализа больших данных, разработанной компанией Micro Focus, – подобная технология называется flexible tables, или гибкие таблицы. Исходные данные загружаются в БД в «сыром» виде, без изменений. Все необходимые преобразования задаются прямо в процессе обработки данных: определяя так называемые карты отображений (map) либо используя кастомизированные функции трансформации (transformation UDx). Первый вариант подходит для хранения и обработки форматов CSV, JSON и XML. Второй позволяет работать с любым другим форматом, например, обрабатывать данные в формате ASN.1 BER.

В результате аналитик имеет полный доступ ко всей исходной информации в рамках одной экосистемы – делается это с помощью обычного языка структурированных запросов SQL, который хорошо знаком специалистам.

Подход к организации «гибких данных» не был бы эффективен, если бы не кластерная инфраструктура с массово-параллельной обработкой данных (MPP). Гибкие таблицы в Vertica организованы как обычные таблицы. Методы распределения данных между узлами кластера применимы к этим типам таблиц точно так же, как к фиксированным. Трансформация данных в них происходит параллельно на задействованных узлах кластера. Это увеличивает производительность обработки за счет горизонтального масштабирования. Аналитик мгновенно получает информацию из гибких таблиц и на их основе может гораздо быстрее принять решение и пересмотреть действующие аналитические модели.

Где протестировать платформу?

В Петербурге стенд Vertica развернут в демоцентре КОМПЛИТ. Здесь можно оперативно организовать любой пилотный и стендовый проект, на складе всегда в наличии оборудование нужной конфигурации. Есть подготовленные для технических испытаний площадки и собственный центр обработки данных.

На базе платформы Vertica специалисты компании реализовали проекты по созданию систем оценки качества связи. В них они решали задачи обработки информации о событиях в сети оператора, полученной из различных источников, ее «очистки» и нормализации. Проводили инженерный анализ коммерческих услуг, а также исследование корреляции событий по временным окнам.

В демоцентре вы можете протестировать платформу, учитывая задачи своего бизнеса.


Данный материал является частной записью члена сообщества Club.CNews.
Редакция CNews не несет ответственности за его содержание.
11 месяцев назад
Комментарии
Другие публикации
RU, Санкт-Петербург
---



Забыл пароль?
Авторизоваться через
Зарегистрируйся сейчас!
Присоединяйся к нашему обществу для того чтобы познакомиться с новыми людьми, создать собственный блог, публиковать анонсы событий и объявления, а также участвовать в обсуждении публикаций CNews. Мы создали единое пространство для общения специалистов рынка информационных технологий и всех, кто интересуется современными технологиями. Регистрация =>