本文へ移動
Engineerデータ
メニュー
デザイン
日本語

Engineer / データ / カテゴリー

データエンジニアリング

  1. 14部門を支える共通インフラ計画

    研究機関の14部門に関わるインフラ全体の枠組みを設計。柔軟なモジュール、統一されたデータパイプライン、長期的な定着を支える体系的なサポート方針を備えた。

    研究機関の14部門に共通する包括的なインフラの枠組みを設計。モジュール構成、統一されたデータパイプライン、支援方針を備えた。

  2. 30日分の電力データを180 msで処理

    Python、SQL、Bash + Jqで時間別の電力消費量を集計する複数の実装を構築。Pythonの測定では、30日分のJSONLデータセット1つを180 msで処理した。

    Python、SQL、Bash + Jqで電力消費量の集計を実装・測定し、Pythonで30日分のJSONLデータセットを180 msで処理した。

  3. 地理情報パイプラインを50倍に高速化

    創業者のUtiligizeでの業務で、PostgreSQL、MS SQL、Google Cloud BigQueryのSQLとデータモデルを変更し、地理データパイプラインの50倍の改善を記録した。

    創業者はUtiligizeで、PostgreSQL、MS SQL、BigQueryにまたがるSQLとデータモデルの作業により、地理データパイプラインの50倍の改善を記録している。

  4. PostgreSQLでGIS地図を10倍に高速化

    データの切り替えを含め、データベースをMSSQLからPostgreSQLへ計画的に移行。処理とデータセキュリティを最適化し、地図アプリケーションの性能を10倍に向上させた。

    MSSQLからPostgreSQLへの移行でGIS地図アプリケーションを10倍に高速化し、空間クエリを2.5秒から250 ms未満へ短縮した。

  5. 地理情報データの問題1,000件を解決

    GDAL、ArcGIS、PostGIS、Mapbox、QGIS、SQL(PL/pgSQL、Transact‑SQL)、Bashを用いて地理情報・時系列データの問題1,000件を解決し、大規模データ処理の品質を確保した。

    GDAL、PostGIS、ArcGIS、Mapbox、QGIS、SQLで地理情報・時系列大規模データの問題1,000件以上を解決し、クエリを35%高速化した。

  6. ETL/ELTパイプライン6本を設計・運用

    Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLを用いて6本のETL/ELTパイプラインを設計・実装・管理し、Python APIで効率的に処理できるようデータを統合した。

    BigQuery、MSSQL、PostgreSQLのETL/ELTパイプライン6本を設計・運用し、毎日同期することで3時間の手作業を20分未満に短縮した。

  7. マニュアル付きPower BIプロジェクト8件を提供

    Microsoft Power BIをNodeJS APIとPython FastAPIに連携させ、データ分析と可視化のための8件のPower BIプロジェクトを、詳しいマニュアルとともに納品した。

    Node.js API・Python FastAPIによるPower BI分析8プロジェクトを完全なマニュアルとともに提供し、レポート作成効率を60%向上させた。

  8. PostgreSQL・MS SQL・BigQueryのデータウェアハウス100個を運用

    主にGIS・時系列データを扱うPostgreSQL、MS SQL、Google BigQueryのデータウェアハウス100個を設計・構築・管理し、性能と拡張性を最適化した。

    GIS・時系列データ用のPostgreSQL、MS SQL、BigQueryデータウェアハウス100個を設計・運用し、クエリ時間を40–60%削減した。

  9. PostgreSQLを10倍に高速化

    インデックス、パーティション、クエリを計画的に最適化してPostgreSQLを10倍に高速化し、ユーザー、テナント、地理空間、電力時系列データの処理効率を改善した。

    ユーザー、テナント、地理空間、時系列データ向けにPostgreSQLをインデックス・パーティション・クエリ調整で10倍に高速化し、資源使用を40%削減した。

  10. GitHub ActionsでGIS SaaSのデプロイを自動化

    GitHub Actions CI/CD、Python、Bash、SQLで、GIS SaaSアプリケーションのデプロイ、データ処理、レポート作成を自動化した。

    GitHub Actions CI/CD、Python、Bash、SQLでGIS SaaSのデプロイ、データ処理、報告を自動化し、短く確実なリリースを実現した。

  11. GISデータパイプライン20本の提供を自動化

    20本のGISデータパイプラインとアプリケーションデータのETL処理の提供を自動化し、インフラ自動化とレポート作成を効率化した。

    GISデータパイプライン20本とアプリデータのETL処理を自動化し、インフラ自動化を効率化して、信頼できる最新データを届けた。

  12. 予測と投資戦略を最適化

    データに基づくGISソリューションを通じて、11社の電力系統運用事業者の予測と投資戦略を最適化し、業務効率を向上させた。

    データに基づくGISで11社の電力系統運用事業者の予測・投資戦略を改善し、信頼できる的を絞った計画を支えた。

  13. 30件以上のGIS開発を構築からサポートまで主導

    PostgreSQL、Bash、Python、JavaScript、GDAL、ArcGIS、PostGIS、Mapboxの専門知識を活用し、30件を超えるGISプロジェクトの開発・デプロイ・サポートを主導した。

    PostgreSQL、Python、GDAL、ArcGIS、PostGIS、Mapboxで、30件以上のGISプロジェクトの開発・デプロイ・サポートを一貫して主導した。

  14. GitHub・GitLab CI/CDで4,000時間を削減

    GitHub、GitLab、Bash、PythonによるCI/CDを導入し、データ分析とソフトウェア開発の工程を効率化して4,000時間を削減した。

    GitHub、GitLab、Bash、PythonのCI/CDを導入し、データ分析・開発の速度と一貫性を高めて約4,000時間を削減した。

  15. データ分析レポートシステムを開発

    PythonでPDFレポートを作成するデータ分析レポートシステムを開発し、ソフトウェアの四半期売上を400%増加させた。

    明確でタイムリーなPDFレポートを作るPythonデータ分析システムを構築し、四半期ソフトウェア売上を400%増加させた。

  16. PythonとPL/pgSQLでデータ処理を自動化

    Shellスクリプト、PL/pgSQL、Python、Transact‑SQLでデータ処理を自動化し、生産性と効率を向上させた。

    Shell、PL/pgSQL、Python、Transact-SQLでデータ処理を自動化し、生産性を高めて小さな反復ミスを解消した。

  17. PL/pgSQL ETL/ELTパイプライン600本を構築

    複数のPostgreSQL開発・本番環境にまたがる複雑なデータ処理を効率化するため、PL/pgSQLによるETL/ELTパイプライン600本を構築した。

    PostgreSQLの開発環境と本番環境に、記録上600のPL/pgSQL ETL/ELTパイプラインを構築。増分読み込みとログ記録を含む。

  18. 地図製品を最初から運用まで支える

    2年間にわたり、インフラ、データ処理、地図アプリケーションを設計・開発・支援し、ソフトウェアの提供と運用保守の両方を担当した。

    2年間にわたりインフラ、データ処理、地図アプリケーションを設計・構築・支援し、開発成果の提供と運用保守を担った。

  19. 成長するデータモデルの時系列順キー

    B‑treeインデックスの断片化を抑え、クエリを高速化するため、PostgreSQL 18の時系列順UUID v7をエンティティキーとして採用した。

    PostgreSQL 18で時系列順のUUID v7キーを採用し、B-treeの断片化を減らして、エンティティのテーブルへの挿入と範囲クエリを改善することを狙った。

  20. 34のPostgresスキーマに348テーブルをモデル化

    専門家、企業、船舶、求人、レビューなどの海事領域を、34個のPostgreSQLスキーマ内の348個の正規化テーブルにモデル化し、SMALLINTの参照値とUUID v7キーを用いた。

    海事領域を34個のPostgreSQLスキーマと348個の正規化テーブルにモデル化し、SMALLINT参照、UUID v7、統一命名を採用した。

  21. PostgreSQL内に独自の分析機能を構築

    自動的に古いパーティションを削除するイベントテーブルと47個のPostgreSQL関数による独自の製品分析を構築し、定期変更するソルトで仮名化し、利用者の同意に基づいて動作させた。

    古いパーティションを自動削除するテーブルと47関数で、PostgreSQL内の独自製品分析を構築。仮名化と同意に基づく実行を適用した。

お問い合わせ

必要なことを整理している段階ですか?

うまくいっていないことや、つくりたいものをお聞かせください。何が必要か、おおよそいくらかかるか、私たちが適任かどうかをお伝えします。

時間単価は1,400 DKKから(VAT別)で、ご依頼期間が長いほど下がります。

welcome@engineer.company +45 50 10 61 84 デンマーク、コペンハーゲン