SQL
30日分の電力データを180 msで処理
Python、SQL、Bash + Jqで時間別の電力消費量を集計する複数の実装を構築。Pythonの測定では、30日分のJSONLデータセット1つを180 msで処理した。
Python、SQL、Bash + Jqで電力消費量の集計を実装・測定し、Pythonで30日分のJSONLデータセットを180 msで処理した。
地理情報パイプラインを50倍に高速化
創業者のUtiligizeでの業務で、PostgreSQL、MS SQL、Google Cloud BigQueryのSQLとデータモデルを変更し、地理データパイプラインの50倍の改善を記録した。
創業者はUtiligizeで、PostgreSQL、MS SQL、BigQueryにまたがるSQLとデータモデルの作業により、地理データパイプラインの50倍の改善を記録している。
PostgreでGIS地図を10倍に高速化
データの切り替えを含め、データベースをMSSQLからPostgreSQLへ計画的に移行。処理とデータセキュリティを最適化し、地図アプリケーションの性能を10倍に向上させた。
MSSQLからPostgreSQLへの移行でGIS地図アプリケーションを10倍に高速化し、空間クエリを2.5秒から250 ms未満へ短縮した。
地理情報データの問題1,000件を解決
GDAL、ArcGIS、PostGIS、Mapbox、QGIS、SQL(PL/pgSQL、Transact‑SQL)、Bashを用いて地理情報・時系列データの問題1,000件を解決し、大規模データ処理の品質を確保した。
GDAL、PostGIS、ArcGIS、Mapbox、QGIS、SQLで地理情報・時系列大規模データの問題1,000件以上を解決し、クエリを35%高速化した。
ETL/ELTパイプライン6本を設計・運用
Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLを用いて6本のETL/ELTパイプラインを設計・実装・管理し、Python APIで効率的に処理できるようデータを統合した。
BigQuery、MSSQL、PostgreSQLのETL/ELTパイプライン6本を設計・運用し、毎日同期することで3時間の手作業を20分未満に短縮した。
電力・GISデータレポート500件を公開
詳細な調査と問題解決に基づき、地理情報・時系列の大規模データを正確に読み解く、電力・GISデータ分析レポート500件を公開した。
電力・GISのデータ分析レポート500件を公開し、負荷分散、効率改善、異常検知に使う部門共通の参照資料とした。
Postgre・MS SQL・BigQueryのデータウェアハウス100個を運用
主にGIS・時系列データを扱うPostgreSQL、MS SQL、Google BigQueryのデータウェアハウス100個を設計・構築・管理し、性能と拡張性を最適化した。
GIS・時系列データ用のPostgreSQL、MS SQL、BigQueryデータウェアハウス100個を設計・運用し、クエリ時間を40–60%削減した。
Postgreを10倍に高速化
インデックス、パーティション、クエリを計画的に最適化してPostgreSQLを10倍に高速化し、ユーザー、テナント、地理空間、電力時系列データの処理効率を改善した。
ユーザー、テナント、地理空間、時系列データ向けにPostgreSQLをインデックス・パーティション・クエリ調整で10倍に高速化し、資源使用を40%削減した。
GitHub ActionsでGIS SaaSのデプロイを自動化
GitHub Actions CI/CD、Python、Bash、SQLで、GIS SaaSアプリケーションのデプロイ、データ処理、レポート作成を自動化した。
GitHub Actions CI/CD、Python、Bash、SQLでGIS SaaSのデプロイ、データ処理、報告を自動化し、短く確実なリリースを実現した。
30件以上のGIS開発を構築からサポートまで主導
PostgreSQL、Bash、Python、JavaScript、GDAL、ArcGIS、PostGIS、Mapboxの専門知識を活用し、30件を超えるGISプロジェクトの開発・デプロイ・サポートを主導した。
PostgreSQL、Python、GDAL、ArcGIS、PostGIS、Mapboxで、30件以上のGISプロジェクトの開発・デプロイ・サポートを一貫して主導した。
PythonとPL/pgSQLでデータ処理を自動化
Shellスクリプト、PL/pgSQL、Python、Transact‑SQLでデータ処理を自動化し、生産性と効率を向上させた。
Shell、PL/pgSQL、Python、Transact-SQLでデータ処理を自動化し、生産性を高めて小さな反復ミスを解消した。
PL/pgSQL ETL/ELTパイプライン600本を構築
複数のPostgreSQL開発・本番環境にまたがる複雑なデータ処理を効率化するため、PL/pgSQLによるETL/ELTパイプライン600本を構築した。
PostgreSQLの開発環境と本番環境に、記録上600のPL/pgSQL ETL/ELTパイプラインを構築。増分読み込みとログ記録を含む。
PostgresからAPIへのJSONパススルーを設計
PostgreSQL関数が完成したJSONを返し、Go APIがそのまま転送するJSONパススルー構成を設計。中間のアンマーシャリングをなくし、フロントエンドをスキーマ変更から切り離した。
PostgreSQL関数が返す完成したJSONをGo APIがそのまま転送する仕組みを設計し、フロントエンドをスキーマから切り離した。
Postgre関数中心のデータ層を設計
34スキーマにまたがる1,275個のストアド関数を持つ、PostgreSQL関数中心のデータ層を設計。すべての読み書きをテーブル直接操作ではなく、データベースで実行権限を付与できる関数経由にした。
34スキーマ・1,275個のストアド関数を持つPostgreSQL関数中心のデータ層を設計し、データベース自体でアクセス境界を適用した。
34のPostgresスキーマに348テーブルをモデル化
専門家、企業、船舶、求人、レビューなどの海事領域を、34個のPostgreSQLスキーマ内の348個の正規化テーブルにモデル化し、SMALLINTの参照値とUUID v7キーを用いた。
海事領域を34個のPostgreSQLスキーマと348個の正規化テーブルにモデル化し、SMALLINT参照、UUID v7、統一命名を採用した。
Postgre内に独自の分析機能を構築
自動的に古いパーティションを削除するイベントテーブルと47個のPostgreSQL関数による独自の製品分析を構築し、定期変更するソルトで仮名化し、利用者の同意に基づいて動作させた。
古いパーティションを自動削除するテーブルと47関数で、PostgreSQL内の独自製品分析を構築。仮名化と同意に基づく実行を適用した。
ロイヤルティ残高、リーグ、バッジを構築
31テーブルの台帳と67個の関数に、リーグ、バッジ、特典交換ショップを備えるロイヤルティ・評判システムを構築し、残高の行ロックで二重使用の発生余地を塞いだ。
31テーブルの台帳と67関数にリーグ、バッジ、ショップを備えるロイヤルティ・評判システムを構築し、残高を行ロックで保護した。
SQLiteエクスポートから495ページを生成
読み取り専用のSQLiteエクスポートから3言語495件の実績ページを生成し、ページのアドレスをデータとして定義することで、文章を直してもURLが変わらずリンクが切れないようにした。
495ページを1つの正本から生成し、文の訂正にアドレスの代償がなくなり、過去に公開したURLも応答し続ける。表示上の判断は、サービスをテーマ別にまとめる1点だけをexporterが持ち、他はDBに従う。見出しの訳がなければ、訳文の上に英語を出さず、エクスポートを失敗させる。
データベース駆動の履歴書生成器を構築
19段階の冪等な処理で組み立てる23テーブルのSQLiteデータを単一の情報源として、6形式を出力する、データベース駆動の履歴書・推薦状・実績集・応募書類生成器をPythonの41モジュール、10,580行で構築した。
1つのDBから6形式・3言語・5テーマが生まれ、文は一度訂正すれば済む。代償は、この仕組みだけが文書を作る手段になり、急いで開いて編集するファイルがなくなること、言語を追加するときは構築前に全体へ配線する必要があることだった。