オンライン購入の割合は、パラダイムの変化とインターネットストアの普及により、常に増加しています。最近数年で大きな成長を遂げたマーケットプレイスでの製品販売のトレンドは、鈍化しています。消費者はますますニッチなオンラインストアを選ぶようになり、そのようなストアの数は年々増加しています。
オンラインストアを完全に機能するビジネスとして考えると、販売成長に主に焦点を当てる中で、運営とマーケティングの両面で効率を向上させる必要が生じます。
特に、社内ストアから中規模ビジネスへの移行段階では、データ駆動型の意思決定に関する多くの質問が生じます。データソース（アプリケーション、サービス）は非常に多様です。
一方で、利用可能またはアクセス可能なすべてのデータにアクセスすることは容易に達成できます（Google Analytics、Facebook Ads、Google Ads、Stripe、Paypal） — これらのシステムはすべて、データアクセスとレポート生成のためのメカニズムを提供しています。
他方で、これらのシステムは非常に異なり、必要なすべての指標やチャートを統一されたレポートに統合することは、かなりの手動作業なしには困難な作業となります。
まさにこの時点で、さまざまなソースからのデータを一箇所に統合し、その後の分析、視覚化、または報告のために必要性が生じます。
ETLとは何ですか？
ETL（Extract, Transform, Load）は、1つのソースからデータを抽出/収集し、それを変換し、ターゲットの宛先にロードするプロセスです。言い換えれば、いくつかの異なるソース（入力）からデータを1つの場所、例えばデータウェアハウスに移動するプロセスです。まず第一に、これはデータアクセスの標準化に必要です。各ソースにはデータアクセスのためのインターフェース（API）があり、Shopify Reportsや分析の構築を複雑にします。すべてのデータを持つ単一のソースを持つことは、レポート作成プロセスを大幅に簡素化します。
ETLプロセスは実装が非常に複雑ですが、基本的には3つのステージで構成されています：
-
E - 抽出：
データソースからデータを取得するステージで、データベース、API、またはテキストファイルである可能性があります。
-
T - 変換：
データを変更するステージには、無効な情報からのクリーンアップ、構造の変更、および分析により適した形式へのデータの変換が含まれます。
-
L - ロード：
準備されたデータをターゲットの宛先に移動するステージで、通常はProgress、Google BigQuery、Snowflakeなどのデータベースです。
その結果、データウェアハウスには、さまざまなソースからの高品質で均質なデータが1つの場所に格納され、さらなる分析や情報の利用（特にデータソースの数が多いeコマースの場合）を容易にします。
データウェアハウス
データウェアハウスは、さまざまなソースから準備された情報が保存され、利用される中央リポジトリです。データウェアハウスを作成する主な目的は、ビジネスインテリジェンス（BI）システム、内部報告システム、または運用サポートのために、さまざまなソースからの情報を保存することです。
eコマースの文脈における主要な要件には、以下が含まれます：
-
関連性：
データを継続的に更新および同期させ、データウェアハウス内の情報を常に最新かつ正確に保つことを保証します。
-
完全性：
さまざまなソースからのすべての必要なデータを保存し、さらなる分析や意思決定のための包括的な情報セットを持つこと。
-
選択の便利さ：
リポジトリのための合理的でアクセスしやすい構造を確立し、効率的なクエリ（SQL）を可能にし、多様なビジネスニーズに必要なデータを取得できるようにします。
eコマースにおける専用のデータウェアハウスは、データの分析と相互作用のための中心的なポイントとして機能し、ビジネスが貴重な洞察を得て、戦略を最適化し、運用プロセスを洗練させることを可能にします。
Shopify: どのデータを抽出できますか？
Shopifyはクラウドプラットフォームであるため、データへの直接アクセスは不可能です。ただし、Shopifyはデータアクセスのための高品質なAPIを提供しています。Shopify APIは、データを処理し、データウェアハウスに統合するのに便利です。
Shopify APIを使用すると、以下を含むさまざまなデータを抽出できます：
- 注文データ
注文注文アイテムドラフト注文返金フルフィルメント顧客
- 製品データ
製品製品バリアントギャラリー
- 取引データ
取引
- 支払いデータ
支払い支払い取引
- ユーザーデータ（Shopify Plus専用）
- 在庫データ
在庫レベル在庫アイテムロケーション
- チェックアウト
チェックアウトショッピングカート
ただし、APIを通じて利用できないデータもあることに注意が必要で、包括的な分析や報告において課題を引き起こす可能性があります。そのようなデータには以下が含まれます：
- 履歴在庫：特定の日付における製品の数量の変化；
- 在庫移動：倉庫間の製品の移動に関するデータ；
- 購入注文：サプライヤーからの注文に関する情報；
- ウェブ分析：訪問者、ページビュー、その他のウェブ分析に関するデータ。
これらの欠落データポイントを補うために、Google AnalyticsやGoogle Search Consoleなどの他のシステムからのデータをウェアハウスに統合することをお勧めします。これにより、顧客がウェブサイトとどのように相互作用しているか、検索エンジンのクエリ、可視性などをより包括的に理解できます。
関連レポートを探る
ShopifyのためのETL
ShopifyのETLプロセスを考慮する際、データ処理中にポジティブな側面といくつかの課題が生じます。
ポジティブな側面：
Shopify APIの品質：
高品質なShopify APIは、大量の構造化されたデータを取得することを可能にします。これには、製品、注文、顧客に関する情報が含まれ、さらなる分析やビジネス分析のための優れた基盤を提供します。
Webhookのサポート：
ShopifyはWebhookをサポートしており、ETLシステムがデータの変更にリアルタイムで反応できるようにします。これにより、データはほぼリアルタイムで更新され、データの新鮮さが保証されます。
課題：
非構造化データ（生のJSON）：
メタフィールドやタグなどの一部のデータは、非構造化形式（生のJSON）で提示されます。これにより、このデータの処理と分析が大幅に複雑になります。明確な構造が欠如しているため、これらのデータを使用するには、フィールドを解析し、それをそれぞれのテーブルに分岐させる変換ステージが必要です。
変換ステージの役割：
一部のデータが非構造化形式で到着するため、変換ステージはこのデータを処理する上で重要な役割を果たします。
結論として、Shopifyと併用してETLプロセスを使用する際には、データ処理と分析を効果的に行うために、ポジティブな側面と課題の両方を考慮することが重要です。
ETLシステムの概要
現在、いくつかのETLシステムがShopify ETLを比較的高いレベルでサポートしています。ただし、これらのシステムのいずれもShopify APIの機能を完全に活用しているわけではないことに注意が必要です。これにより、データの抽出や、メタフィールドやタグなどの特別なフィールドの処理に制限が生じる可能性があります。
メタフィールドやタグのような特別なフィールドの処理に関しては、ほとんどのETLシステムがその本質を完全に理解していない可能性があります。これにより、レポート作成や分析が複雑になり、これらの追加フィールドが製品、注文、顧客、サードパーティアプリに関する重要な文脈情報を含むことが多いためです。
Shopify用のETLツールを選択する際には、これらの制限を考慮することが重要です。大量のデータと複雑な構造を持つ場合、ビジネスの独自のニーズに最も適したツールを選択し、Shopify APIの機能との完全な互換性を確保することが重要です。
まとめ
現代のeコマースにおけるETLプロセスを通じてデータウェアハウスを作成することは、将来の成長とデータ駆動型の意思決定を行うための重要なステップです。ストアが成長するにつれて、このプロセスの緊急性はますます関連性を持つようになります。
結論として、データウェアハウスを確立することは、前進の一歩であるだけでなく、急速に変化する需要やトレンドに対して成功と弾力性を確保するための戦略的な決定でもあります。これは、改善、革新、および企業全体の発展の機会への投資です。
