本文へ移動
Engineerデータ
メニュー
デザイン
日本語

Engineer / データ / カテゴリー

性能改善

  1. 30日分の電力データを180 msで処理

    Python、SQL、Bash + Jqで時間別の電力消費量を集計する複数の実装を構築。Pythonの測定では、30日分のJSONLデータセット1つを180 msで処理した。

    Python、SQL、Bash + Jqで電力消費量の集計を実装・測定し、Pythonで30日分のJSONLデータセットを180 msで処理した。

  2. 地理情報パイプラインを50倍に高速化

    創業者のUtiligizeでの業務で、PostgreSQL、MS SQL、Google Cloud BigQueryのSQLとデータモデルを変更し、地理データパイプラインの50倍の改善を記録した。

    創業者はUtiligizeで、PostgreSQL、MS SQL、BigQueryにまたがるSQLとデータモデルの作業により、地理データパイプラインの50倍の改善を記録している。

  3. PostgreSQLでGIS地図を10倍に高速化

    データの切り替えを含め、データベースをMSSQLからPostgreSQLへ計画的に移行。処理とデータセキュリティを最適化し、地図アプリケーションの性能を10倍に向上させた。

    MSSQLからPostgreSQLへの移行でGIS地図アプリケーションを10倍に高速化し、空間クエリを2.5秒から250 ms未満へ短縮した。

  4. 地理情報データの問題1,000件を解決

    GDAL、ArcGIS、PostGIS、Mapbox、QGIS、SQL(PL/pgSQL、Transact‑SQL)、Bashを用いて地理情報・時系列データの問題1,000件を解決し、大規模データ処理の品質を確保した。

    GDAL、PostGIS、ArcGIS、Mapbox、QGIS、SQLで地理情報・時系列大規模データの問題1,000件以上を解決し、クエリを35%高速化した。

  5. PostgreSQL・MS SQL・BigQueryのデータウェアハウス100個を運用

    主にGIS・時系列データを扱うPostgreSQL、MS SQL、Google BigQueryのデータウェアハウス100個を設計・構築・管理し、性能と拡張性を最適化した。

    GIS・時系列データ用のPostgreSQL、MS SQL、BigQueryデータウェアハウス100個を設計・運用し、クエリ時間を40–60%削減した。

  6. UbuntuでPostgreSQL・MS SQLサーバー10台を運用

    Ubuntu Linux VPS上にPostgreSQL・MS SQLサーバー10台を設計・デプロイ・保守し、性能と信頼性を維持した。

    Ubuntu Linux VPSでPostgreSQL・MS SQLサーバー10台を設計・保守し、稼働率99.9%と、調整によるクエリの30%高速化を達成した。

  7. PostgreSQLを10倍に高速化

    インデックス、パーティション、クエリを計画的に最適化してPostgreSQLを10倍に高速化し、ユーザー、テナント、地理空間、電力時系列データの処理効率を改善した。

    ユーザー、テナント、地理空間、時系列データ向けにPostgreSQLをインデックス・パーティション・クエリ調整で10倍に高速化し、資源使用を40%削減した。

  8. PL/pgSQL ETL/ELTパイプライン600本を構築

    複数のPostgreSQL開発・本番環境にまたがる複雑なデータ処理を効率化するため、PL/pgSQLによるETL/ELTパイプライン600本を構築した。

    PostgreSQLの開発環境と本番環境に、記録上600のPL/pgSQL ETL/ELTパイプラインを構築。増分読み込みとログ記録を含む。

  9. PostgresからAPIへのJSONパススルーを設計

    PostgreSQL関数が完成したJSONを返し、Go APIがそのまま転送するJSONパススルー構成を設計。中間のアンマーシャリングをなくし、フロントエンドをスキーマ変更から切り離した。

    PostgreSQL関数が返す完成したJSONをGo APIがそのまま転送する仕組みを設計し、フロントエンドをスキーマから切り離した。

  10. 成長するデータモデルの時系列順キー

    B‑treeインデックスの断片化を抑え、クエリを高速化するため、PostgreSQL 18の時系列順UUID v7をエンティティキーとして採用した。

    PostgreSQL 18で時系列順のUUID v7キーを採用し、B-treeの断片化を減らして、エンティティのテーブルへの挿入と範囲クエリを改善することを狙った。

  11. 34のPostgresスキーマに348テーブルをモデル化

    専門家、企業、船舶、求人、レビューなどの海事領域を、34個のPostgreSQLスキーマ内の348個の正規化テーブルにモデル化し、SMALLINTの参照値とUUID v7キーを用いた。

    海事領域を34個のPostgreSQLスキーマと348個の正規化テーブルにモデル化し、SMALLINT参照、UUID v7、統一命名を採用した。

  12. 遅い処理をRiverジョブキューへ移行

    時間のかかる処理をリクエスト経路からRiverジョブキューへ移し、15個のワーカーモジュール、8件の定期タスク、20件のpg_cronジョブにより、背後の作業が続く間も応答を返せるようにした。

    遅い処理をRiverキューへ移し、15ワーカーモジュール、8定期タスク、20件のpg_cron保守ジョブでリクエスト経路を軽くした。

  13. PostgreSQL内に独自の分析機能を構築

    自動的に古いパーティションを削除するイベントテーブルと47個のPostgreSQL関数による独自の製品分析を構築し、定期変更するソルトで仮名化し、利用者の同意に基づいて動作させた。

    古いパーティションを自動削除するテーブルと47関数で、PostgreSQL内の独自製品分析を構築。仮名化と同意に基づく実行を適用した。

  14. ロイヤルティ残高、リーグ、バッジを構築

    31テーブルの台帳と67個の関数に、リーグ、バッジ、特典交換ショップを備えるロイヤルティ・評判システムを構築し、残高の行ロックで二重使用の発生余地を塞いだ。

    31テーブルの台帳と67関数にリーグ、バッジ、ショップを備えるロイヤルティ・評判システムを構築し、残高を行ロックで保護した。

お問い合わせ

必要なことを整理している段階ですか?

うまくいっていないことや、つくりたいものをお聞かせください。何が必要か、おおよそいくらかかるか、私たちが適任かどうかをお伝えします。

時間単価は1,400 DKKから(VAT別)で、ご依頼期間が長いほど下がります。

welcome@engineer.company +45 50 10 61 84 デンマーク、コペンハーゲン