Rainbow Engine

IT技術を分かりやすく簡潔にまとめることによる学習の効率化、また日常の気付きを記録に残すことを目指します。

Azure Microsoft

Azure Synapse AnalyticsのパイプラインからREST APIを呼び出す方法

投稿日:2023年8月20日 更新日:

 

<目次>

Azure Synapse AnalyticsのパイプラインからREST APIを呼び出す方法
 やりたいこと/概要
 STEP0:前提
 STEP1:事前準備
 STEP2:パイプラインの作成
 STEP3:データフローキャンバスでの変換ロジック作成
 STEP4:データフローの実行とモニタリング
 【注意】Azure Synapse Analyticsの料金について

Azure Synapse AnalyticsのパイプラインからREST APIを呼び出す方法

やりたいこと/概要

●やりたいこと
・Azure Synapse AnalyticsのパイプラインからREST APIを呼び出す
・REST APIから取得したデータを加工処理する

●概要
パイプライン

STEP1:事前準備

・①Synapse Studioを開く
(図111)
<備考>
Azure Synapse Analyticsのリソース未作成の方は下記を参照。
・②テストデータのダウンロード
下記をテキストに貼り付けてcsv形式でローカルに保存。
https://raw.githubusercontent.com/djpmsft/adf-ready-demo/master/moviesDB.csv
 
(図112)
 
・③ダウンロードしたファイルをAzure Storageのコンテナ(sample-data)にアップロード
(図113①②③)

STEP2:パイプラインの作成

・①左メニューで「結合」→「+」→「パイプライン」
(図121)
・②「アクティビティ」ペインの「移動と変換」で「データフロー」を中央キャンバスにドラッグ&ドロップ
(図122)
・③「データフローアクティビティ」名前を付ける(例:TransformMovies)
(図123)
・④「設定」→「+新規」を選択
(図124)
・⑤「データフロー」の名前を付ける(例:TransformMoviesDataFlow)
(図125)

STEP3:データフローキャンバスでの変換ロジック作成

Data Flow を作成すると、データ フロー キャンバスが自動的に表示されます。 この手順では、ADLS ストレージ内の MoviesDB.csv を取得し、1910 年から 2000 年までのコメディの平均評価を集計するデータ フローを作成します。 次に、このファイルを ADLS ストレージに書き戻します。

STEP3-1:「データフローのデバッグ」をONにする

・変換ロジックの対話的なテストが行える
 
(図211)
(図212)

STEP3-2:データソースの追加

・①「ソースの追加」
(図213①②)

・②「+New」で「データソース」を新規作成
(図214)
・③「Azure Data Lake Storage Gen2」→「DelimitedText」を選択
(図215①②)



・④データ(例:moviesDB.csv)が格納されているストレージの情報を設定してOK
(図216)

・⑤データのプレビューが表示された
(図217)

STEP3-3:フィルター

・①「+」→「フィルター」を押下
(図221)
・②「フィルターオン」項目右側の「ANY」押下
(図222)
・③式を入力
抽出条件:1910年と2000年の間のコメディ映画を抽出
式:toInteger(year) >= 1910 && toInteger(year) <= 2000
(図223)

・④式が入力された
(図224)
・⑤デバッグがONなら「最新の情報に更新」で指定の期間にフィルターされる
(図225)

STEP3-4:「集約」の設定

・①「+」→「集約」を押下
(図231)
・②集計の設定
(図232①②)


・③式を入力→「保存して終了」
avg(toInteger(Rating))
(図233)
・④年度毎の評価の平均点が算出できた
(図234)

STEP3-5:「シンク」の設定

目的地(ターゲットデータソース)に同期する。
・①「+」→「シンク」
(図241)
・②「データセット」→「+新規」
(図242)
・③「Azure Data Lake Storage Gen2」→「Delimited Text」
(図243①②)

・④出力条件の設定
(図244)

STEP4:データフローの実行とモニタリング

・①「デバッグ」
(図311)
・②出力タブで状況チェック(処理中→成功)
(図312①②)


・③「眼鏡マーク」から詳細に飛びます。
(図313①②)


【注意】Azure Synapse Analyticsの料金について

非常に強力な分、料金も他のAzureサービスと比較すると高いので、注意が必要。
 

Adsense審査用広告コード


Adsense審査用広告コード


-Azure, Microsoft
-

執筆者:


comment

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

関連記事

Azureの無料アカウントが期限切れした場合のアップグレード手順について

  <目次> (1) Azureの無料アカウントが期限切れした場合のアップグレード手順について  (1-1) 無料アカウントアップグレードの概要  (1-2) アップグレード手順  (1-3 …

Azureの可用性セットとは?概要や設定画面の例も交えてご紹介

  <目次> (1) Azureの可用性セットとは?概要や設定画面の例も交えてご紹介  (1-1) Azureの可用性セットとは?  (1-2) Azureの可用性セットを実現する仕組み ( …

タスクスケジューラで「オペレーターまたは管理者が要求を拒否しました」エラーの発生例と解決策例のご紹介(一例)

  <目次> (1) タスクスケジューラで「オペレーターまたは管理者が要求を拒否しました」エラーの発生例と解決策例のご紹介(一例)  (1-1) 事象・発生状況  (1-2) 原因(例)   …

Microsoft Azureとは?概要や特徴および利用方法についての解説

(0)目次&概説 (1) Azureとは?  (1-1) IaaSとは?  (1-2) PaaSとは?  (1-3) IDaaSとは? (2) Azureのデータセンター  (2-1) Azureのデ …

OneDriveで複数のアカウントをエクスプローラー同期する手順

  <目次> (1) OneDriveで複数のアカウントをエクスプローラー同期する手順  (1-1) 前提事項  (1-2) 設定手順  (1-3) 余談(OneDriveの豆知識) (1) …

  • English (United States)
  • 日本語
Top