AWSの基礎を学ぼう 特別編 最新サービスをみんなで触ってみる はじめての異常検知の実施後レポートです。
Amazon Lookout for Metricsとは
ML を使用してデータの異常 (標準からの外れ値など) を自動的に検出できるサービス。
AIサービスのリリース直後はRegionで利用可能なリソース割当が少ないので、Hands-onなどで同時に一斉に作業を行うことが予測出来る場合は可能であればリージョンを変更して行うこと
実際に触ってみる
前述の話があるので、N.Virginiaにて実施。
読み取りデータを配置する先はS3: lookoutformetric-shibao-20210522として設定。
推論モデル作成に必要なデータの準備
推論モデル作成に必要なデータをS3にアップロードするため、まずは CloudShellにZIPをアップロードして、
AWSの高速なバックエンドのネットワークを活用して手早くS3のアップロードを完了させる。aws s3 sync ./ecommerce/ s3://lookoutformetric-shibao-20210522/ecommerce/
{{< message_box color="warning" >}}
S3コンソールから直接オブジェクトアップロードでも実施する操作は変わらないが、個人のインターネット回線（ISP）に依存するのと、一度AWSのネットワーク内部に入ってからの操作では速度が段違いに違う
{{< /message_box >}}
- ログの出力間隔ではなく、フォルダ構造が時間単位ということがポイント
集約（aggregate）するデータ自体は秒間隔でも問題ないが、
推論モデルに必要なデータの配置間隔は下記のいずれかに従う必要がある。
通常の環境では、Continuousで継続して取り込まれるデータを元に実測データから推論の精度向上させる。
また、データは新規に取得を始める必要はなく、すでにデータが有る場合は、
「Use historical Data」で過去に溜まっている情報を元に推論モデルの作成が可能。
BackTestは、70％で学習に使って、30％を推論に使う。(これはサービス仕様で現時点で変更不可要素)
Interval×285（1時間単位では、285時間分）のデータが必要。
https://docs.aws.amazon.com/lookoutmetrics/latest/dev/detectors-dataset.html
以上の設定が完了すると、以下のように推論モデルの作成が始まる。
Backtest in progressは、70％の学習が完了した結果であるため、この時点で、予測を実施することが可能になる。
まとめ
機械学習エンジニアではないものの、ビジネスデータは多くの企業で保有していることから、
簡単に予測モデルを作成することが分かりました。
Amazon Lookout for Metrics を例えば以下のサービスとの接続が可能です。
- Amazon S3
- Amazon Redshift
- Amazon Relational Database Service (RDS)
- Salesforce^1
- Servicenow^2
- Zendesk^3
- Marketo^4
他にも接続可能なサービスを確認する場合はこちら。