Платформа даних GlobalLogic

Прискорити перехід від накопичення даних до створення дієвих ідей за допомогою Inhouse Data Platform Accelerator від GlobalLogic

огляд

Попри те, що вилучення цінності з даних в масштабах підприємства є необхідністю сьогодення, багато компаній продовжують боротися з проблемами архітектури великих даних, технологічних стеків та можливостей хостингу, необхідних для нарощування обсягів даних. GlobalLogic Data Platform дозволяє компаніям впроваджувати повнофункціональну, комплексну платформу даних у межах цільового або нового хмарного облікового запису за лічені дні, а не місяці. Використовуючи хмарні технології PaaS, наша платформа даних допомагає компаніям збирати дані по всьому підприємству, трансформувати та збагачувати їх, а також надавати аналітикам для отримання цінної інформації та інсайтів.

Починаючи з версії 2.0, GlobalLogic Data Platform тепер доступна з модульними прискорювачами.

Підтримувані платформи

icon-azure icon-aws

Галузі промисловості

Галузевий агностик

Технології / Добре працює з

Azure: DataBricks, Data Lake Storage, Blob Storage, Data Factory, Spark, Hive AWS: S3, Glue, Managed Airflow, Lambda, Athena

Платформа даних GlobalLogic тепер складається з менших акселераторів, які добре інтегруються між собою для забезпечення більшого набору функціональних можливостей або можуть також використовуватися окремо. З версією 2.0 користувачі мають можливість використовувати повну версію Платформи даних GlobalLogic або вибрати з каталогу акселераторів у рамках Платформи даних.

Conceptual Architecture

Він був розроблений таким чином, щоб забезпечити модульність, гнучкість і розширюваність

  • Модульність: Використовуйте повну Платформу даних або обирайте окремі прискорювачі у складі Платформи даних відповідно до ваших потреб.
  • Гнучкість: Реалізація на основі конфігурації, що дозволяє конфігурувати та використовувати її для різних технологічних варіантів. Кілька прикладів, наведених нижче:
    • Роз’єм для підключення до RDBMS – надає користувачам гнучкість у конфігуруванні, підключенні та отриманні даних з різних баз даних RDBMS.
    • Spark Execution Engine – користувачі матимуть гнучкість у налаштуванні та запуску перетворень на основі іскри або на основі Glue, або на основі EMR в залежності від потреб.
  • Розширюваність: використовуючи популярні мови, такі як python, функціональність може бути розширена або додана нова функціональність відповідно до вимог. На даний момент Globallogic Data Platform містить наступні акселератори

As of now, Globallogic Data Platform contains the following accelerators

Data Platform

Потреби бізнесу

GL_Icon_Chevron

Усунути силоси даних, які створюють перешкоди в отриманні інформації та цінності

GL_Icon_Chevron

Забезпечити узгодженість інфраструктури, технологій, трубопроводів і процесів, що використовуються для роботи над проектами з обробки даних

GL_Icon_Chevron

Забезпечити прозорість наявних даних / адаптерів / трубопроводів для усунення невідповідностей і дублювання

GL_Icon_Chevron

Керувати нудним, нетривіальним і тривалим процесом забезпечення, конфігурації, інтеграції, налаштування безпеки, контролю доступу

GL_Icon_Chevron

Впровадити рольовий контроль доступу до даних, обробки даних, конфігурацій платформи та API-інтерфейсів

GL_Icon_Chevron

Прискорення обробки даних та узгодження з бізнес-вимогами

GL_Icon_Chevron

Розширити можливості команди з науки про дані для створення та експериментів з моделями AI/ML

GL_Icon_Chevron

Створіть платформу даних нового покоління і майбутню стратегію з обмеженим досвідом

Ціннісна пропозиція

GL_Icon_Chevron

Забезпечення узгодженості та повторного використання інфраструктури, технологій, трубопроводів і процесів

GL_Icon_Chevron

Забезпечення прозорості наявних даних / адаптерів / трубопроводів для усунення невідповідностей і дублювання

GL_Icon_Chevron

Модульність, гнучкість і розширюваність, що дозволяє здійснювати налаштування під час виконання, забезпечуючи легку адаптацію рішень

GL_Icon_Chevron

Забезпечення контролю доступу на основі ролей до даних, обробки даних, конфігурацій платформи та API

GL_Icon_Chevron

Початок роботи команди фахівців з науки про дані для створення моделей AI/ML

GL_Icon_Chevron

Економія часу, зусиль і витрат завдяки узгодженості, стандартизації і повторному використанню компонентів/конвеєрів даних.

Можливості

Основні можливості платформи

  • Інтеграція та трансформація даних
    • Готова інтеграція та трансформація даних на основі бібліотеки компонентів PySpark
    • Можливість інтеграції з рішеннями для звітності та аналітичними інструментами
  • Якість та валідація даних
    • Фреймворк на основі PySpark з готовою бібліотекою компонентів для загальних правил валідації
    • Запуск завдань валідації окремо і збереження звіту про валідацію для всіх сутностей і правил
  • Оркестрування даних
    • Прискорювач оркестрування конвеєрів на основі шаблонів на базі Apache Airflow / Azure Data Factory
    • Прискорює, спрощує та уніфікує процес розробки DAG
  • Поглинання даних
    • Підтримує структуроване пакетне виштовхування з блокового сховища
    • Підтримка файлів даних у форматах CSV, JSON, Avro, Parquet і ORC
    • Підтримує структуровану пакетну вибірку з RDBMS / RDS і сховища даних Snowflake
  • Сховище Polyglot Storage
    • Стандартні зони інтеграції даних (raw, staging, refined)
    • Добре масштабовані гарячі та холодні / архівні зони
    • Підтримує зберігання Blob, RDBMS і сховища даних

Можливості порталу

  • Розгортання
    • Автоматизована інсталяція
    • Повністю автоматизоване виділення ресурсів для виконання Data Pipeline
    • Повністю автоматизоване виділення ресурсів для включення Споживання
  • Площина управління
    • Управління джерелами даних та реєстрація схем
    • Управління проектами
    • Реєстрація користувачів
  • Площина даних
    • Профілювання джерела даних і генерація загальної статистики за відповідними стовпцями.
    • Ідентифікація сутностей і стовпців з конфіденційними даними на основі імен стовпців і шаблонів значень стовпців за допомогою настроюваних шаблонів регексів.
    • Маскування або шифрування конфіденційних значень стовпців за допомогою попередньо визначених алгоритмів маскування.
  • Безпека
    • Гнучкий контроль доступу на основі ролей на базі Azure AD або AWS IAM
    • Контроль прав власності та доступу
    • Інтеграція з AWS KMS або Azure Keyvault
  • Моніторинг
    • Моніторинг та управління завданнями
    • Високорівневе відстеження та моніторинг завдань
    • Самостійний аналіз і усунення несправностей
  • Кінцеві точки входу / доступу
    • API і кінцеві точки JDBC/ODBC для забезпечення поглинання і використання даних зовнішніми аналітичними рішеннями

Давайте співпрацювати

Додаткові матеріали

Blogs

Як покращити ресурсний стан через оточення

Катерина Васильєва, Senior HRBP, GlobalLogic Ресурсний стан як поняття, яке використовується в психології, медицині, спорті та інших галузях, описує психофізіологічний стан людини, який характеризується рівнем її енергії, витривалості, здатності до праці та концентрації уваги. Відповідно, ресурсний стан впливає на різні аспекти життя людини, і визначається різними чинниками, як то рівень фізичного здоров'я, ступінь стресу або … Continue reading Платформа даних GlobalLogic →

Більше

  • URL copied!