Data Pipeline.

データパイプラインは、POS、CRM、Webログ、業務システムなどから情報を取り込み、整形・結合・検証して分析やアプリケーションに利用できる状態にする。データの形式や更新頻度、利用目的によって構成は変わる。

処理が動いていることと、正しいデータが届いていることは別である。欠損、重複、遅延、スキーマ変更を検知し、問題が起きたときにどこから調べられるかを設計する必要がある。利用者にとっての意味を保ちながらデータを移動することが重要だ。

POSの商品の分類とECの商品分類が違うなら、単にデータを結合しても比較できない。変換の中で何を同じ商品と見なすかを定義する必要がある。