本文へ移動
Engineerデータ
メニュー
デザイン
日本語

Engineer / データ / カテゴリー

自動化・CI/CD

  1. 30日分の電力データを180 msで処理

    Python、SQL、Bash + Jqで時間別の電力消費量を集計する複数の実装を構築。Pythonの測定では、30日分のJSONLデータセット1つを180 msで処理した。

    Python、SQL、Bash + Jqで電力消費量の集計を実装・測定し、Pythonで30日分のJSONLデータセットを180 msで処理した。

  2. 地理情報データの問題1,000件を解決

    GDAL、ArcGIS、PostGIS、Mapbox、QGIS、SQL(PL/pgSQL、Transact‑SQL)、Bashを用いて地理情報・時系列データの問題1,000件を解決し、大規模データ処理の品質を確保した。

    GDAL、PostGIS、ArcGIS、Mapbox、QGIS、SQLで地理情報・時系列大規模データの問題1,000件以上を解決し、クエリを35%高速化した。

  3. ETL/ELTパイプライン6本を設計・運用

    Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLを用いて6本のETL/ELTパイプラインを設計・実装・管理し、Python APIで効率的に処理できるようデータを統合した。

    BigQuery、MSSQL、PostgreSQLのETL/ELTパイプライン6本を設計・運用し、毎日同期することで3時間の手作業を20分未満に短縮した。

  4. 社内初のオブザーバビリティダッシュボードを構築

    社内初のオブザーバビリティダッシュボードを開発・公開し、オフィスの大型テレビでシステム性能とデータをリアルタイムに把握できるようにした。

    社内初のオブザーバビリティダッシュボードでシステムをリアルタイムに可視化し、障害の検知と解決を40%迅速化した。

  5. UbuntuでPostgreSQL・MS SQLサーバー10台を運用

    Ubuntu Linux VPS上にPostgreSQL・MS SQLサーバー10台を設計・デプロイ・保守し、性能と信頼性を維持した。

    Ubuntu Linux VPSでPostgreSQL・MS SQLサーバー10台を設計・保守し、稼働率99.9%と、調整によるクエリの30%高速化を達成した。

  6. Linuxサーバーを守る1,000件のRBACルールを作成

    開発者、アプリケーションインスタンス、PostgreSQL、MS SQL、その他のLinuxサーバーに1,000件のRBACルールを実装して不正アクセスを防ぎ、データセキュリティを強化。Ansibleによる自動化として記録した。

    開発者、アプリケーション、データベース、Linuxへのアクセスに、記録上1,000のRBACルールを実装。Ansible設定を文書化した。

  7. GitHub ActionsでGIS SaaSのデプロイを自動化

    GitHub Actions CI/CD、Python、Bash、SQLで、GIS SaaSアプリケーションのデプロイ、データ処理、レポート作成を自動化した。

    GitHub Actions CI/CD、Python、Bash、SQLでGIS SaaSのデプロイ、データ処理、報告を自動化し、短く確実なリリースを実現した。

  8. GISデータパイプライン20本の提供を自動化

    20本のGISデータパイプラインとアプリケーションデータのETL処理の提供を自動化し、インフラ自動化とレポート作成を効率化した。

    GISデータパイプライン20本とアプリデータのETL処理を自動化し、インフラ自動化を効率化して、信頼できる最新データを届けた。

  9. Barmanで重要データのバックアップ100件を自動化

    Barman、Google Cloud、Bash、Pythonで重要データのバックアップ100件を自動化し、データベース間のデータ整合性を確保した。

    Barman、Google Cloud、Bash、Pythonで重要なデータベースバックアップ100件を自動化し、データを復旧できることを実際に検証した。

  10. GitHub・GitLab CI/CDで4,000時間を削減

    GitHub、GitLab、Bash、PythonによるCI/CDを導入し、データ分析とソフトウェア開発の工程を効率化して4,000時間を削減した。

    GitHub、GitLab、Bash、PythonのCI/CDを導入し、データ分析・開発の速度と一貫性を高めて約4,000時間を削減した。

  11. データ分析レポートシステムを開発

    PythonでPDFレポートを作成するデータ分析レポートシステムを開発し、ソフトウェアの四半期売上を400%増加させた。

    明確でタイムリーなPDFレポートを作るPythonデータ分析システムを構築し、四半期ソフトウェア売上を400%増加させた。

  12. PythonとPL/pgSQLでデータ処理を自動化

    Shellスクリプト、PL/pgSQL、Python、Transact‑SQLでデータ処理を自動化し、生産性と効率を向上させた。

    Shell、PL/pgSQL、Python、Transact-SQLでデータ処理を自動化し、生産性を高めて小さな反復ミスを解消した。

  13. PL/pgSQL ETL/ELTパイプライン600本を構築

    複数のPostgreSQL開発・本番環境にまたがる複雑なデータ処理を効率化するため、PL/pgSQLによるETL/ELTパイプライン600本を構築した。

    PostgreSQLの開発環境と本番環境に、記録上600のPL/pgSQL ETL/ELTパイプラインを構築。増分読み込みとログ記録を含む。

  14. 時間管理・レポートシステムを設計

    大きな変更を加えずに何年も本番利用された、時間管理・レポートシステムを設計した。

    時間管理とレポート作成を行うシステムを設計した。そのシステムは、本番環境で大幅な変更を加えることなく、何年にもわたって利用され続けた。

  15. 遅い処理をRiverジョブキューへ移行

    時間のかかる処理をリクエスト経路からRiverジョブキューへ移し、15個のワーカーモジュール、8件の定期タスク、20件のpg_cronジョブにより、背後の作業が続く間も応答を返せるようにした。

    遅い処理をRiverキューへ移し、15ワーカーモジュール、8定期タスク、20件のpg_cron保守ジョブでリクエスト経路を軽くした。

  16. 認証情報漏出後に対象範囲の規則を記述

    構成変更によって別会社の資産一覧、ファイアウォール許可、文章が混入したことを受け、リポジトリの対象範囲を定める規則を記述し、隔離した残存物も除外せず秘密情報検査の対象に残した。

    範囲の境界は判断基準付きの規則となり、残存物は埋もれず見え、漏れた具体的な形態はコミットを失敗させるようになった。一般的な教訓も記した。危険な成果物は実行するものより、誰も二度と読まない、実行しないものにある。

  17. 963メタデータブロックを1グラフに統合

    会社の説明を1,671回繰り返していた匿名の構造化データ963ブロックを、安定したオリジン識別子から生成する16型の連結グラフ1つへ置き換えた。

    963の匿名反復が安定IDの1グラフとなり、ページの量も増えず減った。発端の測定、1,671回同じ会社を書きながら結合できなかったという事実は、覚えておく価値があった。

  18. データベース駆動の履歴書生成器を構築

    19段階の冪等な処理で組み立てる23テーブルのSQLiteデータを単一の情報源として、6形式を出力する、データベース駆動の履歴書・推薦状・実績集・応募書類生成器をPythonの41モジュール、10,580行で構築した。

    1つのDBから6形式・3言語・5テーマが生まれ、文は一度訂正すれば済む。代償は、この仕組みだけが文書を作る手段になり、急いで開いて編集するファイルがなくなること、言語を追加するときは構築前に全体へ配線する必要があることだった。

  19. 検査自体のテストを作成

    正常入力しか与えない検査は、何も読まずに正常と報告するようになり得ると確認し、検査自体のテストを作成。誤字を埋めて綴り検査の検出を確かめ、テスト内の固定値ではなくデータベースからID範囲を取得した。

    全検査器に不正入力で失敗する証明が付き、範囲は正本を読むようになった。少なくとも2か所で不明な期間、緑の検査に意味がなかったことを露呈し、過去に何が通り抜けたかを後から知る方法はなかった。

  20. 言語間の数値照合を構築

    英語原文にある数値の欠落と、対象言語に合わない表記で失敗する言語間コンテンツ検査を構築し、指標が抜けたデンマーク語説明2件と英語式引用符を使うウクライナ語16箇所を検出した。

    18の実際の不備を解消し、今後もコミット前に原文比較することで種類ごと閉じた。ただし意味は判断できない。数字が残り句読点がその言語のものでも、主張の向きを逆にした訳は正常に通る。

  21. 公開するすべての部品のライセンスを把握

    毎回のビルドで644個のRust crateのライセンス互換性を監査し、1つのcrateのライセンスを書き換えた場合と、再生成せずコアの固定リビジョンを変えた場合に検査が働くことを実証した。

    毎回配布条件を検査し、無言だったからでなく、失敗させたことで機能を確認した。以前はbundle、license、READMEが、未検証の644 crateについて主張していた。検査は宣言メタデータだけを読み、それが誤り・不完全なら証明できず、法的助言でもないという厳密な限界も明記した。

  22. 追跡せずに13アドレスを測定

    Cookie、トラッカー、第三者サービスを使わず、Webサーバーのアクセスログのみから13アドレスを測定。書き込み時に接続元ネットワークをマスクし、21の日別集計と20の月別分析軸からなる永続アーカイブへまとめた。

    13アドレスを計測し、Cookie、追跡、第三者要求を送らないため同意対象もタグの実行先もない。ユニーク利用者、検索語、閲覧経路、滞在、クリック、地域、端末は答えられないと明記する。粗い数を精密に読ませるほうが無数値より悪いため、限界は小さな注記でなく数値のそばに表示した。

お問い合わせ

必要なことを整理している段階ですか?

うまくいっていないことや、つくりたいものをお聞かせください。何が必要か、おおよそいくらかかるか、私たちが適任かどうかをお伝えします。

時間単価は1,400 DKKから(VAT別)で、ご依頼期間が長いほど下がります。

welcome@engineer.company +45 50 10 61 84 デンマーク、コペンハーゲン