自動化・CI/CD
22 件の実績
この実績に関連する提供サービス: データガバナンス・品質管理, データパイプライン開発(ETL/ELT), DevOps・CI/CD自動化, データ分析・BIダッシュボード, データベース管理(DBA), バックエンド・API開発, セキュリティ・アクセス管理 および サイト信頼性・監視.

写真: jarmoluk / Pixabay 
写真: MaximilianHemon / Pixabay
比較できる課題を探す
ご自身の状況に近い事例をご覧ください。振り返りでは、技術名だけでは分からない、結果を導いた判断を説明しています。 14部門を支える共通インフラ計画 — 14 共通インフラ計画の対象となった研究部門
-
30日分の電力データを180 msで処理
Python、SQL、Bash + Jqで時間別の電力消費量を集計する複数の実装を構築。Pythonの測定では、30日分のJSONLデータセット1つを180 msで処理した。
-
地理情報データの問題1,000件を解決
GDAL、ArcGIS、PostGIS、Mapbox、QGIS、SQL(PL/pgSQL、Transact‑SQL)、Bashを用いて地理情報・時系列データの問題1,000件を解決し、大規模データ処理の品質を確保した。
-
ETL/ELTパイプライン6本を設計・運用
Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLを用いて6本のETL/ELTパイプラインを設計・実装・管理し、Python APIで効率的に処理できるようデータを統合した。
-
社内初のオブザーバビリティダッシュボードを構築
社内初のオブザーバビリティダッシュボードを開発・公開し、オフィスの大型テレビでシステム性能とデータをリアルタイムに把握できるようにした。
-
UbuntuでPostgreSQL・MS SQLサーバー10台を運用
Ubuntu Linux VPS上にPostgreSQL・MS SQLサーバー10台を設計・デプロイ・保守し、性能と信頼性を維持した。
-
Linuxサーバーを守る1,000件のRBACルールを作成
開発者、アプリケーションインスタンス、PostgreSQL、MS SQL、その他のLinuxサーバーに1,000件のRBACルールを実装して不正アクセスを防ぎ、データセキュリティを強化。Ansibleによる自動化として記録した。
-
GitHub ActionsでGIS SaaSのデプロイを自動化
GitHub Actions CI/CD、Python、Bash、SQLで、GIS SaaSアプリケーションのデプロイ、データ処理、レポート作成を自動化した。
-
GISデータパイプライン20本の提供を自動化
20本のGISデータパイプラインとアプリケーションデータのETL処理の提供を自動化し、インフラ自動化とレポート作成を効率化した。
-
Barmanで重要データのバックアップ100件を自動化
Barman、Google Cloud、Bash、Pythonで重要データのバックアップ100件を自動化し、データベース間のデータ整合性を確保した。
-
GitHub・GitLab CI/CDで4,000時間を削減
GitHub、GitLab、Bash、PythonによるCI/CDを導入し、データ分析とソフトウェア開発の工程を効率化して4,000時間を削減した。
-
データ分析レポートシステムを開発
PythonでPDFレポートを作成するデータ分析レポートシステムを開発し、ソフトウェアの四半期売上を400%増加させた。
-
PythonとPL/pgSQLでデータ処理を自動化
Shellスクリプト、PL/pgSQL、Python、Transact‑SQLでデータ処理を自動化し、生産性と効率を向上させた。
-
PL/pgSQL ETL/ELTパイプライン600本を構築
複数のPostgreSQL開発・本番環境にまたがる複雑なデータ処理を効率化するため、PL/pgSQLによるETL/ELTパイプライン600本を構築した。
-
時間管理・レポートシステムを設計
大きな変更を加えずに何年も本番利用された、時間管理・レポートシステムを設計した。
-
遅い処理をRiverジョブキューへ移行
時間のかかる処理をリクエスト経路からRiverジョブキューへ移し、15個のワーカーモジュール、8件の定期タスク、20件のpg_cronジョブにより、背後の作業が続く間も応答を返せるようにした。
-
認証情報漏出後に対象範囲の規則を記述
構成変更によって別会社の資産一覧、ファイアウォール許可、文章が混入したことを受け、リポジトリの対象範囲を定める規則を記述し、隔離した残存物も除外せず秘密情報検査の対象に残した。
-
963メタデータブロックを1グラフに統合
会社の説明を1,671回繰り返していた匿名の構造化データ963ブロックを、安定したオリジン識別子から生成する16型の連結グラフ1つへ置き換えた。
-
データベース駆動の履歴書生成器を構築
19段階の冪等な処理で組み立てる23テーブルのSQLiteデータを単一の情報源として、6形式を出力する、データベース駆動の履歴書・推薦状・実績集・応募書類生成器をPythonの41モジュール、10,580行で構築した。
-
検査自体のテストを作成
正常入力しか与えない検査は、何も読まずに正常と報告するようになり得ると確認し、検査自体のテストを作成。誤字を埋めて綴り検査の検出を確かめ、テスト内の固定値ではなくデータベースからID範囲を取得した。
-
言語間の数値照合を構築
英語原文にある数値の欠落と、対象言語に合わない表記で失敗する言語間コンテンツ検査を構築し、指標が抜けたデンマーク語説明2件と英語式引用符を使うウクライナ語16箇所を検出した。
-
公開するすべての部品のライセンスを把握
毎回のビルドで644個のRust crateのライセンス互換性を監査し、1つのcrateのライセンスを書き換えた場合と、再生成せずコアの固定リビジョンを変えた場合に検査が働くことを実証した。
-
追跡せずに13アドレスを測定
Cookie、トラッカー、第三者サービスを使わず、Webサーバーのアクセスログのみから13アドレスを測定。書き込み時に接続元ネットワークをマスクし、21の日別集計と20の月別分析軸からなる永続アーカイブへまとめた。
この技術が必要な開発をご検討ですか? お問い合わせ.

