Перейти до вмісту
EngineerДані
Меню
Дизайн
Українська

Engineer / Дані / Категорії

Пайплайни даних (ETL/ELT)

  1. Один інфраструктурний план для 14 підрозділів

    Спроєктувала комплексну інфраструктурну систему для науково‑дослідного інституту, що охопила 14 підрозділів, з гнучкими модулями, уніфікованими пайплайнами даних та структурованими стратегіями підтримки для довгострокового впровадження.

    Отриманий план інфраструктури виявився і технічно обґрунтованим, і стратегічно узгодженим із дослідницькими цілями інституту.

  2. 30 днів даних про електроенергію за 180 мс

    Розробила варіанти погодинної агрегації споживання електроенергії на Python, SQL і Bash + Jq; під час вимірювання Python обробив один 30‑денний набір даних JSONL за 180 мс.

    Реалізація на Python виявилася найшвидшим і найкраще масштабованим рішенням і обробила: - дані за 1 день лише за 34 мс - набір даних за 30 днів — за 180 мс Це…

  3. Прискорила пайплайн географічних даних у 50 разів

    Зафіксувала прискорення географічного пайплайна у 50 разів у роботі засновниці для Utiligize завдяки змінам SQL і моделей даних у PostgreSQL, MS SQL та Google Cloud BigQuery.

    Засновниця фіксує прискорення геопайплайна у 50 разів для Utiligize завдяки роботі з SQL і моделями даних у PostgreSQL, MS SQL та BigQuery.

  4. Пришвидшила GIS‑карти в 10 разів на PostgreSQL

    Підвищила продуктивність застосунку географічних карт у 10 разів завдяки стратегічному переходу бази даних з MSSQL на PostgreSQL, включно з фінальним перенесенням даних (cutover), оптимізувавши обробку та безпеку даних.

    Продуктивність просторових запитів зросла в 10 разів: середній час відповіді скоротився з 2,5 секунди до менш ніж 250 мілісекунд.

  5. Усунула 1 000 проблем у географічних даних

    Усунула 1 000 проблем у географічних даних та часових рядах, використовуючи GDAL, ArcGIS, PostGIS, Mapbox, QGIS, SQL (PL/pgSQL, Transact‑SQL), Bash, забезпечивши високоякісну обробку великих даних.

    Завдяки цій роботі усунено понад 1 000 критичних проблем, що суттєво підвищило точність даних і швидкість обробки.

  6. Спроєктувала й підтримувала 6 пайплайнів ETL/ELT

    Спроєктувала, реалізувала та адмініструвала 6 пайплайнів ETL/ELT, використовуючи Google BigQuery, MSSQL, PostgreSQL, shell‑скрипти, PL/pgSQL та Transact‑SQL, інтегрувавши дані для ефективної обробки через Python API.

    Ці автоматизовані пайплайни суттєво скоротили обсяг ручної роботи й час обробки — з понад 3 годин ручної роботи до менш ніж 20 хвилин на весь цикл, а…

  7. Автоматизувала розгортання GIS SaaS через CI/CD

    Автоматизувала розгортання GIS SaaS‑застосунку, обробку даних та систему звітності за допомогою GitHub Actions CI/CD, Python, Bash та SQL.

    Розгортання, обробка даних і звітність стали автоматизованими й надійними, ручна рутина більше не лягала на команду, а цикл релізів скоротився.

  8. Автоматизувала розгортання 20 GIS‑пайплайнів

    Автоматизувала розгортання 20 пайплайнів GIS‑даних та ETL‑процесів даних застосунку, оптимізувавши автоматизацію інфраструктури та звітність.

    Усі двадцять пайплайнів і їхній ETL працювали автоматично й передбачувано, а автоматизація інфраструктури та звітність загалом стали впорядкованішими.

  9. Заощадила 4 000 годин з CI/CD на GitHub і GitLab

    Оптимізувала процеси аналізу даних та розробки програмного забезпечення, заощадивши 4 000 годин завдяки впровадженню практик CI/CD на базі GitHub, GitLab, Bash та Python.

    Упорядковані процеси заощадили близько 4 000 годин, пришвидшили і аналіз даних, і розробку програмного забезпечення, а ще, що не менш корисно, зробили…

  10. Автоматизувала обробку даних на Python і PL/pgSQL

    Автоматизувала завдання обробки даних за допомогою shell‑скриптів, PL/pgSQL, Python та Transact‑SQL, підвищивши продуктивність і ефективність.

    Зросли і продуктивність, і ефективність, ручну роботу зняли з людських плечей, а обробка даних стала стабільною й надійною і перестала бути джерелом дрібних…

  11. Розробила 600 пайплайнів ETL/ELT на PL/pgSQL

    Розробила 600 пайплайнів ETL/ELT на основі PL/pgSQL для оптимізації складних робочих процесів обробки даних у кількох середовищах розробки та продакшну PostgreSQL.

    Розроблено зафіксовані 600 пайплайнів ETL/ELT на PL/pgSQL для PostgreSQL, з інкрементальним завантаженням і журналюванням.

  12. Картографічний продукт від початку до кінця

    Спроєктувала, розробила й підтримувала інфраструктуру, обробку даних і картографічний застосунок протягом 2 років, охопивши розробку та операційне обслуговування.

    Запис описує тривалу роботу над інфраструктурою, даними та застосунком. Він визначає тривалість і обсяг, а не вимірювання доступності, статистику часу…

  13. Згенерувала 495 сторінок з експорту SQLite

    Згенерувала 495 сторінок досягнень трьома мовами з експорту SQLite лише для читання, де адреса сторінки задається як дані, тож виправлення речення більше не змінювало адресу сторінки й не ламало посилання.

    Чотириста дев'яносто п'ять сторінок генеруються з одного джерела, виправлення формулювання нічого не коштує, а всі адреси, які сайт будь-коли публікував, і…

Контакти

Ще визначаєтесь, що саме вам потрібно?

Розкажіть, що йде не так або що ви намагаєтесь побудувати. Ми скажемо, що для цього потрібно, скільки це приблизно коштуватиме і чи ми ті люди, які вам потрібні.

Від 1 400 DKK за годину, без ПДВ — і дешевша година на довшому замовленні.

welcome@engineer.company +45 50 10 61 84 Копенгаген, Данія