Платформа даних GlobalLogic

Прискорити перехід від накопичення даних до створення дієвих ідей за допомогою Inhouse Data Platform Accelerator від GlobalLogic

URL copied!

огляд

Попри те, що вилучення цінності з даних в масштабах підприємства є необхідністю сьогодення, багато компаній продовжують боротися з проблемами архітектури великих даних, технологічних стеків та можливостей хостингу, необхідних для нарощування обсягів даних. GlobalLogic Data Platform дозволяє компаніям впроваджувати повнофункціональну, комплексну платформу даних у межах цільового або нового хмарного облікового запису за лічені дні, а не місяці. Використовуючи хмарні технології PaaS, наша платформа даних допомагає компаніям збирати дані по всьому підприємству, трансформувати та збагачувати їх, а також надавати аналітикам для отримання цінної інформації та інсайтів.

Починаючи з версії 2.0, GlobalLogic Data Platform тепер доступна з модульними прискорювачами.

Підтримувані платформи

Галузі промисловості

Галузевий агностик

Технології / Добре працює з

Azure: DataBricks, Data Lake Storage, Blob Storage, Data Factory, Spark, Hive AWS: S3, Glue, Managed Airflow, Lambda, Athena

Платформа даних GlobalLogic тепер складається з менших акселераторів, які добре інтегруються між собою для забезпечення більшого набору функціональних можливостей або можуть також використовуватися окремо. З версією 2.0 користувачі мають можливість використовувати повну версію Платформи даних GlobalLogic або вибрати з каталогу акселераторів у рамках Платформи даних.

Conceptual Architecture

Він був розроблений таким чином, щоб забезпечити модульність, гнучкість і розширюваність

Модульність: Використовуйте повну Платформу даних або обирайте окремі прискорювачі у складі Платформи даних відповідно до ваших потреб.
Гнучкість: Реалізація на основі конфігурації, що дозволяє конфігурувати та використовувати її для різних технологічних варіантів. Кілька прикладів, наведених нижче:
- Роз’єм для підключення до RDBMS – надає користувачам гнучкість у конфігуруванні, підключенні та отриманні даних з різних баз даних RDBMS.
- Spark Execution Engine – користувачі матимуть гнучкість у налаштуванні та запуску перетворень на основі іскри або на основі Glue, або на основі EMR в залежності від потреб.
Розширюваність: використовуючи популярні мови, такі як python, функціональність може бути розширена або додана нова функціональність відповідно до вимог. На даний момент Globallogic Data Platform містить наступні акселератори

As of now, Globallogic Data Platform contains the following accelerators

Data Platform

Потреби бізнесу

Усунути силоси даних, які створюють перешкоди в отриманні інформації та цінності

Забезпечити узгодженість інфраструктури, технологій, трубопроводів і процесів, що використовуються для роботи над проектами з обробки даних

Забезпечити прозорість наявних даних / адаптерів / трубопроводів для усунення невідповідностей і дублювання

Керувати нудним, нетривіальним і тривалим процесом забезпечення, конфігурації, інтеграції, налаштування безпеки, контролю доступу

Впровадити рольовий контроль доступу до даних, обробки даних, конфігурацій платформи та API-інтерфейсів

Прискорення обробки даних та узгодження з бізнес-вимогами

Розширити можливості команди з науки про дані для створення та експериментів з моделями AI/ML

Створіть платформу даних нового покоління і майбутню стратегію з обмеженим досвідом

Ціннісна пропозиція

Забезпечення узгодженості та повторного використання інфраструктури, технологій, трубопроводів і процесів

Забезпечення прозорості наявних даних / адаптерів / трубопроводів для усунення невідповідностей і дублювання

Модульність, гнучкість і розширюваність, що дозволяє здійснювати налаштування під час виконання, забезпечуючи легку адаптацію рішень

Забезпечення контролю доступу на основі ролей до даних, обробки даних, конфігурацій платформи та API

Початок роботи команди фахівців з науки про дані для створення моделей AI/ML

Економія часу, зусиль і витрат завдяки узгодженості, стандартизації і повторному використанню компонентів/конвеєрів даних.

Можливості

Основні можливості платформи

Інтеграція та трансформація даних
- Готова інтеграція та трансформація даних на основі бібліотеки компонентів PySpark
- Можливість інтеграції з рішеннями для звітності та аналітичними інструментами
Якість та валідація даних
- Фреймворк на основі PySpark з готовою бібліотекою компонентів для загальних правил валідації
- Запуск завдань валідації окремо і збереження звіту про валідацію для всіх сутностей і правил
Оркестрування даних
- Прискорювач оркестрування конвеєрів на основі шаблонів на базі Apache Airflow / Azure Data Factory
- Прискорює, спрощує та уніфікує процес розробки DAG
Поглинання даних
- Підтримує структуроване пакетне виштовхування з блокового сховища
- Підтримка файлів даних у форматах CSV, JSON, Avro, Parquet і ORC
- Підтримує структуровану пакетну вибірку з RDBMS / RDS і сховища даних Snowflake
Сховище Polyglot Storage
- Стандартні зони інтеграції даних (raw, staging, refined)
- Добре масштабовані гарячі та холодні / архівні зони
- Підтримує зберігання Blob, RDBMS і сховища даних

Можливості порталу

Розгортання
- Автоматизована інсталяція
- Повністю автоматизоване виділення ресурсів для виконання Data Pipeline
- Повністю автоматизоване виділення ресурсів для включення Споживання
Площина управління
- Управління джерелами даних та реєстрація схем
- Управління проектами
- Реєстрація користувачів
Площина даних
- Профілювання джерела даних і генерація загальної статистики за відповідними стовпцями.
- Ідентифікація сутностей і стовпців з конфіденційними даними на основі імен стовпців і шаблонів значень стовпців за допомогою настроюваних шаблонів регексів.
- Маскування або шифрування конфіденційних значень стовпців за допомогою попередньо визначених алгоритмів маскування.
Безпека
- Гнучкий контроль доступу на основі ролей на базі Azure AD або AWS IAM
- Контроль прав власності та доступу
- Інтеграція з AWS KMS або Azure Keyvault
Моніторинг
- Моніторинг та управління завданнями
- Високорівневе відстеження та моніторинг завдань
- Самостійний аналіз і усунення несправностей
Кінцеві точки входу / доступу
- API і кінцеві точки JDBC/ODBC для забезпечення поглинання і використання даних зовнішніми аналітичними рішеннями

Давайте співпрацювати

Додаткові матеріали

Blogs

Мережеві основи

Основні поняття мереж Мережі забезпечують зв'язок між комп'ютерами, пристроями та користувачами навіть на великих відстанях. Вони є основою для спільної роботи, комунікації та обміну ресурсами. Мережа — це система, у якій два або більше комп'ютерів та інших пристроїв з'єднані між собою для обміну даними та ресурсами. Вони можуть бути локальними (LAN), розширеними (WAN), бездротовими (Wi-Fi) … Continue reading Платформа даних GlobalLogic →

Більше

Blogs

Основи операційних систем

Windows, Linux, macOS: порівняння та особливості У світі комп'ютерів три операційні системи відіграють ключову роль: Windows, Linux та macOS. Кожна з цих систем має свої унікальні особливості та призначення, що робить їх популярними серед різних категорій користувачів. У цій статті ми розглянемо ці три операційні системи, їхні переваги та особливості. Windows Windows — найпопулярніша операційна … Continue reading Платформа даних GlobalLogic →

Більше

Blogs

Основи інформатики та програмування

Вступ до інформатики та IT-сфери Інформатика та технології інформаційної обробки є дверима в швидкоплинну та захоплюючу сферу — сферу інформаційних технологій (IT). У світі, де відсутність доступу до інформації може виявитися прогресивною перешкодою, розуміння основ інформатики та IT-сфери стає критичним для кожної людини. Що таке інформатика та IT-сфера? Інформатика — це наука про обробку та … Continue reading Платформа даних GlobalLogic →

Більше

URL copied!