dbtプロジェクト構造化ガイド

🤔 なぜ構造が重要なのか？

分析エンジニアリングの本質: 人間同士の協力により、スケールでより良い意思決定を支援すること

⚡

意思決定疲労の軽減 - スティーブ・ジョブズの「同じ服装戦略」と同様

🤝

協力の最適化 - システムとパターンで効率的なコラボレーション

🎯

重要な問題に集中 - フォルダやファイル命名に時間を浪費しない

📊 Source-Conformed

外部システムに
よって形成

🔄 Transformation

dbtによる
データ変換

🏢 Business-Conformed

ビジネスニーズ・概念
によって形成

🎯 学習目標

📋

最新の構造化推奨事項を網羅

💡

包括的な実例での説明

🤔

推奨理由の解説 - カスタマイズ判断のため

🧠 期待される成果:
dbtプロジェクト構成要素の深いメンタルモデル構築

🥪 Jaffle Shop プロジェクト

架空のレストランのシンプルなdbtプロジェクト例

⬇️

🗃️

jaffle_shop
トランザクションDB（注文・顧客）

💳

Stripe
決済処理データ

🗺️ ガイド構造概要

データ変換の順序に従って解説:

1️⃣

modelsディレクトリの3層構造

2️⃣

プロジェクト全体への統合

3️⃣

YAML設定の詳細

4️⃣

tests, seeds, analysesフォルダの活用

⚛️ Staging

原子の作成

ソースデータから初期モジュラー構築ブロックを作成

役割: データの標準化・クリーニング

🔧 Intermediate

ロジックの積み重ね

明確で特定の目的を持つレイヤーでStagingモデルを準備

役割: エンティティ結合の準備

🏪 Marts

統合された全体像

モジュラーピースを組織が重視するエンティティの包括的なビジョンに統合

役割: ビジネス価値の提供

🌳 完全なプロジェクト構造ツリー

jaffle_shop/

├── README.md

├── analyses/

├── seeds/

│ └── employees.csv

├── dbt_project.yml

├── macros/

│ └── cents_to_dollars.sql

├── models/

│ ├── intermediate/

│ │ └── finance/

│ │ ├── _int_finance__models.yml

│ │ └── int_payments_pivoted_to_orders.sql

│ ├── marts/

│ │ ├── finance/

│ │ │ ├── _finance__models.yml

│ │ │ ├── orders.sql

│ │ │ └── payments.sql

│ │ └── marketing/

│ │ ├── _marketing__models.yml

│ │ └── customers.sql

│ ├── staging/

│ │ ├── jaffle_shop/

│ │ │ ├── _jaffle_shop__docs.md

│ │ │ ├── _jaffle_shop__models.yml

│ │ │ ├── _jaffle_shop__sources.yml

│ │ │ ├── base/

│ │ │ │ ├── base_jaffle_shop__customers.sql

│ │ │ │ └── base_jaffle_shop__deleted_customers.sql

│ │ │ ├── stg_jaffle_shop__customers.sql

│ │ │ └── stg_jaffle_shop__orders.sql

│ │ └── stripe/

│ │ ├── _stripe__models.yml

│ │ ├── _stripe__sources.yml

│ │ └── stg_stripe__payments.sql

│ └── utilities/

│ └── all_dates.sql

├── packages.yml

├── snapshots/

└── tests/

└── assert_positive_value_for_total_amount.sql

⚖️ 基本原則

🎯

一貫性の維持 - 組織全体で統一されたパターン

📖

明示的な宣言 - すべての貢献者がアクセス可能

🔄

変換の1箇所適用 - 最適化されたモジュラーレイヤー

📚

明確なストーリー - データ・コードベース・成果物で