☁️くもをもくもくまなぶ

アナリティクス強化月間 Glue DataBrew (2022/04/23 13:15〜)

今回は、4月のAnalytics 強化月間として第三弾 AWS Glue DataBrew を皆で触って学びます。 画面説明しながら進めていきますので、是非初学者でも気後れせずに挑戦してみてください。 講師：アマゾン ウェブ サービス ジャパン、シニアエバンジェリスト 亀田 ) 必要なもの AWS アカウント 最大数百円程度のAWS利用料金 注意点 登壇者による発表内容はアマゾン ウェブ サービス ジャパンとして主催しているものではなく、コミュニティ活動の一環として勉強会の主催を行っているものです。

https://awsbasics.connpass.com

• Serverless ETL
  • データの取り出し、変換、取り込み
• Catalog
  • いろいろなサービスから参照するインベントリ（整理された台帳）

https://docs.aws.amazon.com/ja_jp/glue/latest/ug/what-is-glue-studio.html

• ローコードで触れる

https://aws.amazon.com/jp/blogs/news/announcing-aws-glue-databrew-a-visual-data-preparation-tool-that-helps-you-clean-and-normalize-data-faster/

• ノーコードで触れる

• https://github.com/harunobukameda/AWS-Glue-DataBrew
  (もしこのブログを見て実施される方で、GitHubアカウントをお持ちの方は上記のリポジトリからForkしてください)
  • 実施環境（Region）はN.Virginiaのみで挙動確認
    • CloudFormation Templateがすごいよくできあがっている

• Cloud Formation実行後に生成されるS3

• レシピ でrawデータに対する変換処理ステップを定義

• 順次変換したCSVの結果（S3）

• オブジェクトに含まれているデータの分布状況の表示

• エディタ画面を表示しようと読み込んでいる様子

• エディタ画面が表示された様子

• 読み込んだデータから予めどういったデータ整理をするとよいかを提示してくれる（レコメンデーション）

• データ品質ルールセットですでにあるオブジェクトに対する条件付き抽出

• 異なるオブジェクト同士の結合（今回はCSV同士）

• S3に保存済みのデータに対して変換処理を行い、S3の別ファイルとしてエクスポート

• Getting started with AWS Glue DataBrew
• AWS Glue DataBrew Immersion Day

AWS Glueを取り扱うのに、ほとんどGUIで簡潔することに驚きました。

また操作感としては普段AWSの画面に慣れている人は少し違和感があるように感じますが、
BIツール、マイクロソフトのPowerBIとPower Queryで操作した経験のある人は違和感なく入れると思います。

AWS Glueとその周りがすごい進化をしているので、今後もアップデートは見逃せないなぁと思いつつ、
操作のハードルが下がってきているので、もっと学んでいかなければなぁと思いました。