よくある課題
データが散らばっていて
活用ができない
データソースが一元管理されていなかったり
テーブルが扱いづらい状態になっていて
AIを用いたプロダクト開発や
データドリブンな意思決定に活用ができない。
セキュリティ対策に
漏れがないか不安
システムのセキュリティや
アクセス制御が正しく設計されているか不安。
改善しようにも、データガバナンスを
意識した基盤に整え直すために
どこから着手すべきか分からない。
運用負荷が高い
テーブルの定義がわからず、今ある基盤を
有効活用できていない。マニュアルを
一から作るコストもなく、今後どのように
運用管理していくべきかも分からない。
マルチクラウドなデータ基盤構築にも対応可能
AWSとGoogle Cloud、両方に強みを持ったエンジニア集団
AWSとGoogle Cloudの両方に強みを持ったエンジニアが
お客様に最適なデータ基盤の構築を支援します。
AWS上やGoogle Cloud上でデータ基盤を構築したいお客様や、マルチクラウド構成をご希望のお客様まで広く対応可能です。
アーキテクチャ例
AWS
S3
Lambda
Batch
RDS
Google Cloud
Pub/Sub
kubernetes
Dataflow
BigQuery
Data Studio
AWS × Google Cloud
Glue Crawler
Glue Data Catalog
RDS
Glue ETL Job
S3
Cloud Storage
Cloud Composer
BigQuery
BigQuery
アーキテクチャー例
アーキテクチャのパターン化による迅速な開発対応
アーキテクチャパターンをIaC(Terraform)で管理
様々なデータ基盤の構築経験を自社ナレッジとして蓄積しているため、
パターン別に迅速にデータ基盤を構築でき、基本的なものであれば数営業日から納品が可能です。
貴社データの活用をいち早く可能にします。
パターン要件例
AWS上でのバッチ処理
AWS上でのストリーミング処理
AWSのRDSからBigQueryへの転送
必要な環境に合わせて
パターンを選択
SaaS
Database
イメージ
Cloud Storage
Cloud Composer
BigQuery
BI tool
経験豊富なチームによる深いナレッジ
必要な技術選定からお手伝い
各種データパイプラインツール、BIツール、クラウドに関する深いナレッジを持つ経験豊富なチームです。
要件に合わせて適切なソリューションを選ぶお手伝いをさせていただきます。
こちらに記載のないものでも、お気軽にご相談ください。
データパイプラインツール
BIツール
メタデータ管理
クラウド
ビジネス・エンジニアメンバーへの展開サポート
運用をマニュアル化し、管理コストを最低限に抑える
データ基盤は全社的に使われるようになって初めて意味を成します。
せっかく作ったものを社内に浸透できるように、ドキュメントや運用フローのノウハウをご提供します。
データ基盤管理に必要な5つの要素
リネージ
どの項目がどのように連携されているのか、誰が見てもデータのソース/フローが簡単に把握できるようにしておく。
品質
基盤状態の良し悪しはどのように評価するのか、その評価に基づくと今の基盤品質はどういう状態なのか、を定量的に測れるようにしておく。
カタログ
メタデータ
用語集
何の仕組みがどのフィールドを使っていて、どのテーブルに存在するのか、テーブルのデータがどの環境で使えるか、というカタログを整えておく。
用語集としてまとめた上で、他の人が使えるように教育もセットで行う。かつ、その用語集が持続的に更新されていく仕組みをつくる必要あり。
データの命名規則、運用ガイドライン、どのように更新するのか、をまとめる。システム的規則のみならず、ビジネス的な意味付けを行うことも重要。
PROJECT
低価格かつ小規模な形でのデータ分析基盤構築
今あるものより便利な基盤が欲しいが、チームの規模的にも予算をかけずに低コストで収めたい
要件
-
日次での定期的なジョブの実行
-
AWS上のRDSからデータを取得して、データパイプラインを
構築できるようにする
利用技術
-
Terraform
-
AWS: data pipeline / S3 / Aurora など
