AWSの可視化ツールを触ってみる - くもをもくもくまなぶ

ベース Amazon Athena Amazon Athena Federated Query Amazon Athena Federated Queryの設定画面 Lambdaの新規作成 SAM用の定義 Lambdaの作成 AthenaからDDBの検索 Athnaの検索結果 Amazon QuickSight さいごに新規起動する場合の注意点そのほか

ベース

AWSの基礎を学ぼう特別編の特別編　最新サービスをみんなで AthenaとQuickSight にて実施している内容を元にまとめています。

Amazon Athena

Amazon S3上のデータに対して 標準SQL によるインタラクティブなクエリを投げて、データの分析を行うことができる サーバレス のサービス

Amazon Athena Federated Query

コネクタを自作することで普段業務で利用しているデータソースとの接続も可能になる
Lambdaを事前に作成して、Athenaから接続することでデータソースにクエリを発行することが可能になる
- AWS公式のにもコネクタは紹介されている
v2の利用可能なリージョンに注意
スキャンに対する課金となるので検索対象のデータが大きい場合は圧縮するとコストを軽くすることが可能
- 100MBを超えるサイズのデータを分析する場合には有効
  - Athenaのパーティショニングも選択肢もある
- GlueでCSVをparquet形式に変換も選択肢としてある

Amazon Athena Federated Queryの設定画面

Lambdaの新規作成

SAM用の定義

  AthenaDynamoDBConnector:
    Type: AWS::Serverless::Application
    Properties:
      Location:
        ApplicationId: arn:aws:serverlessrepo:us-east-1:292517598671:applications/AthenaDynamoDBConnector
        SemanticVersion: 2021.14.1
      Parameters:
        # The name you will give to this catalog in Athena. It will also be used as the function name. This name must satisfy the pattern ^[a-z0-9-_]{1,64}$
        AthenaCatalogName: YOUR_VALUE
        # WARNING: If set to 'true' encryption for spilled data is disabled.
        # DisableSpillEncryption: 'false' # Uncomment to override default value
        # Lambda memory in MB (min 128 - 3008 max).
        # LambdaMemory: '3008' # Uncomment to override default value
        # Maximum Lambda invocation runtime in seconds. (min 1 - 900 max)
        # LambdaTimeout: '900' # Uncomment to override default value
        # The name of the bucket where this function can spill data.
        SpillBucket: YOUR_VALUE
        # The prefix within SpillBucket where this function can spill data.
        # SpillPrefix: 'athena-spill' # Uncomment to override default value