Handson

人を笑わせるAIをつくってみる AWS Summit 直前Special 電笑戦のモデルをつくる

midnight480
AWS エバンジェリストシリーズ AWSの基礎を学ぼう 人を笑わせるAIをつくってみる AWS Summit 直前Special 電笑戦のモデルをつくる 前提で必要になりそうだと思った知識 GAN GAN:敵対的生成ネットワークとは何か ~「教師なし学習」による画像生成 Seq2Seq Sequence To Sequence( Seq2Seq ) Long short-term memory Long short-term memory RNN 第6回 RNN(Recurrent Neural Network)の概要を理解しよう(TensorFlow編) CNN 定番のConvolutional Neural Networkをゼロから理解する vgg16 VGG-16 畳み込みニューラル ネットワーク resnet50 ResNet-50 畳み込みニューラル ネットワーク AWS Web Servicesの機械学習サービス(Sagemakerのみ抜粋) https://docs.aws.amazon.com/sagemaker/latest/dg/whatis.html#whatis-features SageMaker Studio モデルの構築、学習、デプロイ、分析をすべて同じアプリケーションで行うことができる統合的な機械学習環境を提供する SageMaker Canvas コーディング経験のない人でもモデルを構築し、それを使って予測することができる自動MLサービス SageMaker Ground Truth Plus ラベリングアプリケーションの構築やラベリング作業者の管理を自前で行うことなく、高品質のトレーニングデータセットを作成するためのターンキーデータラベリング機能 SageMaker Training Compiler SageMakerで管理されたスケーラブルなGPUインスタンスでディープラーニングモデルを高速にトレーニング SageMaker Studio Universal Notebook SageMaker Studioから直接、シングルアカウントおよびクロスアカウント構成のAmazon EMRクラスタを簡単に検出、接続、作成、終了、管理する SageMaker Serverless Endpoints MLモデルをホスティングするためのサーバーレスエンドポイント。容量は自動拡張、エンドポイント側でインスタンスタイプの選択、スケーリングポリシーの管理が不要

アナリティクス強化月間 Redshift Serverless

midnight480
AWS エバンジェリストシリーズ AWSの基礎を学ぼう アナリティクス強化月間 Redshift Serverless Amazon Redshift Amazon Redshift Amazon Redshift Serverless https://aws.amazon.com/jp/blogs/news/introducing-amazon-redshift-serverless-run-analytics-at-any-scale-without-having-to-manage-infrastructure/ 現在Preview中(AWSはカスタマーのフィードバックを収集したい期間、随時Updateされる) AWS Supportでの問い合わせ Amazon Redshift Serverlessのチーム宛 redshift-preview-serverless@amazon.com に英語でメール送付 グローバルで一つのエンドポイントを作成 log関連が現時点では不具合(正しく転送されない)ケースもある RPU(Redshift Processiong Units) SQLを発行した際に、ワークロードを1秒単位で請求(1秒以下は切り捨て) 利用していない場合はストレージのみ課金対象 RA3 インスタンス コンピュータノード、ストレージが分離されている コンピュータノードにはSSDキャッシュが含まれているので頻繁に利用されるクエリ結果はストレージI/Oが発生しない ファーストタッチペナルティが存在する ストレージからコンピュータノードに返す際に、数十秒程度掛かる Preview中に応答速度は順次改善されているのでGAされたときに期待 ハンズオンパート https://github.com/harunobukameda/Amazon-Redshift-Spectrum-AWS-Glue-Amazon-Athena-Amazon-S3-Select (もしこのブログを見て実施される方で、GitHubアカウントをお持ちの方は上記のリポジトリからForkしてください) 実施環境(Region)はN.Virginia, Oregon, Tokyoなど利用可能な環境であればどこでも 現在、Amazon Redshift Serverlessは $500 Credit が付与されます 実施内容 コンソールは日本語対応が不十分なところもあるので英語に切り替えて実施を推奨です Redshift Query Editor v2 RPUの確認 RPUはデフォルト固定値 32 となっていてコンソールから変更は可能 接続設定を修正するとき Databse Connection設定は右クリックメニューから実施 まとめ Redshiftは普段触っていないのですが、ハンズオンイベントなどで数回触った感覚でいると、 今回Serverlessになったことで大きな違いは感じられませんでした。 つまり、通常のRedshiftのインスタンスにクエリを投げている感覚と変わらずにServerlessを取り扱うことができました。 Tweetでも触れましたが、Amazon Redshift Serverless(preview)、$500 creditがあるので、 これでお試しRedshiftを行うときにまずはServerlessでやってみようかなと思うことにつながるかなと思いました。

アナリティクス強化月間 Glue DataBrew

midnight480
AWS エバンジェリストシリーズ AWSの基礎を学ぼう アナリティクス強化月間 Glue DataBrew AWS Glue Serverless ETL データの取り出し、変換、取り込み Catalog いろいろなサービスから参照するインベントリ(整理された台帳) AWS Glue Studio https://docs.aws.amazon.com/ja_jp/glue/latest/ug/what-is-glue-studio.html ローコードで触れる AWS Glue Databrew https://aws.amazon.com/jp/blogs/news/announcing-aws-glue-databrew-a-visual-data-preparation-tool-that-helps-you-clean-and-normalize-data-faster/ ノーコードで触れる Handson Part 教材 https://github.com/harunobukameda/AWS-Glue-DataBrew (もしこのブログを見て実施される方で、GitHubアカウントをお持ちの方は上記のリポジトリからForkしてください) 実施環境(Region)はN.Virginiaのみで挙動確認 CloudFormation Templateがすごいよくできあがっている 実際に行った結果 Cloud Formation実行後に生成されるS3 レシピ でrawデータに対する変換処理ステップを定義 順次変換したCSVの結果(S3) オブジェクトに含まれているデータの分布状況の表示 エディタ画面を表示しようと読み込んでいる様子 エディタ画面が表示された様子 読み込んだデータから予めどういったデータ整理をするとよいかを提示してくれる(レコメンデーション) データ品質ルールセットですでにあるオブジェクトに対する条件付き抽出 異なるオブジェクト同士の結合(今回はCSV同士) S3に保存済みのデータに対して変換処理を行い、S3の別ファイルとしてエクスポート 参考 Getting started with AWS Glue DataBrew AWS Glue DataBrew Immersion Day まとめ AWS Glueを取り扱うのに、ほとんどGUIで簡潔することに驚きました。 また操作感としては普段AWSの画面に慣れている人は少し違和感があるように感じますが、 BIツール、マイクロソフトのPowerBIとPower Queryで操作した経験のある人は違和感なく入れると思います。 AWS Glueとその周りがすごい進化をしているので、今後もアップデートは見逃せないなぁと思いつつ、 操作のハードルが下がってきているので、もっと学んでいかなければなぁと思いました。 なんか見たことある、触ったような感覚があるなぁと思ったら、PowerBIだ。 あれのPower Queryエディタで触っている感覚。#awsbasics pic.twitter.com/RrGhITfvkC — Tetsuya Shibao (@midnight480) April 23, 2022

アナリティクス強化月間 Athena ACID トランザクション + Iceberg

midnight480
AWS エバンジェリストシリーズ AWSの基礎を学ぼう アナリティクス強化月間 Athena ACID トランザクション + Iceberg プレビュー提供発表記事 Apache Iceberg による Amazon Athena ACID トランザクション (プレビュー) を発表 投稿日: Nov 29, 2021 一般公開発表記事 Apache Iceberg を利用した Amazon Athena ACID トランザクションの一般提供の開始を発表 投稿日: Apr 5, 2022 この新機能は、Athena の SQL のデータ操作言語 (DML) に、挿入、更新、削除、タイムトラベルのオペレーションを追加します。 Amazon Athena Amazon Athena Time Travel and Version Travel Queries タイムトラベル:特定データの○時間前、○日前などを参照する際に利用 詳しくはこちら▶ Time Travel and Version Travel Queries Apache Iceberg Apache Iceberg 参考 CPU使用率90%を超える高負荷がLNEのHive Metastoreで発生 Hive table formatの課題はApache Icebergで解消

温故知新編 データレイク総集編

midnight480
AWS エバンジェリストシリーズ AWSの基礎を学ぼう 温故知新編 データレイク総集編 座学パート Amazon Redshift https://aws.amazon.com/jp/redshift/ カラムナ型データベース JDBCでの接続も可能 魔改造されたPostgreSQLのような印象で取り扱う 独自のカスタマイズを加えている 詳しく知りたい方 ▶ フューチャー技術ブログ - Amazon Redshiftの仕様を調べてみた AWS Glue https://aws.amazon.com/jp/glue/ サーバレスETL(Exact, Transform, Load) 取り出し 加工 転送(取り込み、保存) 以前の課題 ウォームアップインスタンスからインスタンスを取り出して10分程度時間を要していたが現在は1分程度になった Pythonの知識が必要だったが、Glue StudioやAWS Glue DataBrewでGUIでの操作が可能になった データカタログ ETL処理を行う際に、srcがデータベース以外の非構造データ(S3 objectなど)をテーブルとして見せる必要がある Amazon Athena https://aws.amazon.com/jp/athena/ SQLで確認が可能 Amazon Athena の SQL リファレンス 内部で稼働しているエンジンは Presto 以前はS3が中心だったが、Amazon Athena Federated QueryによりJDBC、ODBCで対応するデータソースも利用可能になった Amazon S3 Select https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/selecting-content-from-objects.html S3上でObjectを直接参照(Parquet、CSV、JSON…) ハンズオンパート https://github.com/harunobukameda/Amazon-Redshift-Spectrum-AWS-Glue-Amazon-Athena-Amazon-S3-Select (もしこのブログを見て実施される方で、GitHubアカウントをお持ちの方は上記のリポジトリからForkしてください) 実施環境(Region)はN.Virginia, Tokyoを推奨 まとめ 本日はRedShiftの復習(更新に追いつけていない)のため、参加を目的としていました。 「あれ、こんな設定あったけな?」が復習できたのでよかったです。 Glue、Athenaについては個人的に過去ハマったときにいろいろと学びました。 当時、AWS ClientVPNで接続してきたユーザがDirectConnectで接続しているオンプレミスの環境へアクセスした際に、 どういう通信を行っているのかを調査する必要が出てきたので、VPC Flowlogsを設定しました。

AWS App Runner VPC Supportを試してみた

midnight480
教材 New for App Runner – VPC Support リリースされたことは知っていましたが、触ってこなかったです。。 背景 DevAx::connect 番外編 「AWS App Runner 1周年記念」 ちょうどイベントで取り扱われていることもあり、それならばと触ってみようということが目的です。 実際にやってみた AWS公式ブログを参考に実施するとハマりポイントが2点ありましたので、先に紹介します。 注意点1 RDSインスタンスの設定 To simplify capacity management for this database, I use Amazon Aurora Serverless. In the RDS console, I create an Amazon Aurora MySQL-Compatible database. For the Capacity type, I choose Serverless. To simplify connecting later, I enable AWS Identity and Access Management (IAM) database authentication. ブログではAurora MySQL Serverless を選択しIAM DB認証を利用と記載がありますが、

特別編 Amplify Studio ハンズオン

midnight480
AWS エバンジェリストシリーズ AWSの基礎を学ぼう 特別編 Amplify Studio ハンズオン Figma 私自身はデザイン界隈を詳しくないのですが、 Figmaについて調べるとよくAdobe XDに関する記事が出てきます。 このあたりはデザイナーさんのスキル、好みになるのかなと思います。 Figma Pricing Adobe XD Plan on endless creativity. AWS Amplify , AWS Amplify Studio AWS Amplifyの本日実施環境 Node.js v16で一部WARNINGが表示されるため、本日(2022-03-26)イベントではNode.js v14で実施 Cloud9は正式にサポートはしていないものの、様々な環境で実施されることを踏まえてCloud9で実施 AWS Amplify Studio – 最小限のプログラミングでFigmaからフルスタックのReactアプリを実現 Handson Zenn.dev(Book) https://zenn.dev/shigeru_oda/books/521fa5a5a9c558c6275d (トラブルシューティング)Node Package のインストール不足 エラーメッセージ例 npm ERR! code ELIFECYCLE npm ERR! errno 1 npm ERR! amplify-homes@0.1.0 build: `react-scripts build` npm ERR! Exit status 1 npm ERR! npm ERR! Failed at the amplify-homes@0.

AWS 特別編 Amazon MSKハンズオン

midnight480
AWS エバンジェリストシリーズ AWSの基礎を学ぼう 特別編 Amazon MSKハンズオン Amazon Managed Streaming for Apache Kafka (MSK) Amazon Managed Streaming for Apache Kafka (MSK) Apache Kafka 公式サイト https://kafka.apache.org/ クラウドにおけるキューの使い方 AWSにおけるSQS/EventBridge/Kinesisなど 疎結合アーキテクチャを構成する上で、Web/APサーバの中に保存せずに処理を冗長性、可用性をもたせるうえで必要な機能 Web/APサーバにデータを保存せずに、接続しているクライアントのセッション情報やステートレスな構成 そこでキュー管理することで、誰が、どこまで、どういう処理を行っているのかを把握 Kinesis Producer/Consumer Pull型 SNS/SQS Publisher/Subscriber Push型(fan out型) Handson リポジトリ https://github.com/harunobukameda/Amazon-MSK Fork先 https://github.com/midnight480/Amazon-MSK カスタム作成 ノードの分散など細かい制御可能 ストレージ Kinesisは3AZごとに自動で分散配置してくれる Kafkaは自分でブローカーとなるインスタンスを定義する必要がある Producer $ bin/kafka-topics.sh --create --zookeeper z-3.msktutorialcluster.jw517k.c1.kafka.us-west-2.amazonaws.com:2181,z-2.msktutorialcluster.jw517k.c1.kafka.us-we st-2.amazonaws.com:2181,z-1.msktutorialcluster.jw517k.c1.kafka.us-west-2.amazonaws.com:2181 --replication-factor 3 --partitions 1 --topic MSKTutorialTopic Created topic MSKTutorialTopic. $ $ $ ./kafka-console-producer.sh --broker-list b-3.msktutorialcluster.jw517k.c1.kafka.us-west-2.amazonaws.com:9092,b-2.msktutorialcluster.jw517k.c1.kafka.us-west-2.amazonaws .com:9092,b-1.msktutorialcluster.jw517k.c1.kafka.us-west-2.amazonaws.com:9092 --producer.config client.

『Elastic オブザーバビリティ ハンズオンワークショップ』に参加してみた

midnight480
Observebility Conference 2022 Hands-on Co-located Events Hands-on ラボ環境 strigo 事前準備 Strigo メールアドレス以外にGoogle アカウントで登録できるので今日はGoogle アカウントで登録 TOKEN は、当日案内されている文字列を入力します Strigoの実行環境はAWSのFrankfurtリージョンにあるEC2上で稼働 ubuntu@ip-172-31-41-74:~$ ubuntu@ip-172-31-41-74:~$ curl https://ipinfo.io/ { "ip": "18.159.133.149", "hostname": "ec2-18-159-133-149.eu-central-1.compute.amazonaws.com", "city": "Frankfurt am Main", "region": "Hesse", "country": "DE", "loc": "50.1025,8.6299", "org": "AS16509 Amazon.com, Inc.", "postal": "60326", "timezone": "Europe/Berlin", "readme": "https://ipinfo.io/missingauth" }ubuntu@ip-172-31-41-74:~$ Elastic Stack いままでのElastic Stack 私が過去に触っていたのはこちらの印象が強いです LogstashでカスタムしてInputをFilterしてOutputにOracleDBに書き込むとか… これからのElastic Stack これまでInputで使われていた軽量のデータシッパー(転送ツール)Beats(FileBeat, WinlogBeat)や Logstashが、Elasticagentというパッケージに包含されて統一されます Elastic Cloud 今日の演習はStrigoが欧州にあるので、デプロイ拠点は欧州だと応答が早いことからAWSのFrankfurtリージョンで作成しました AWS, GCP, Azureで利用可能なリージョンはグローバルに存在しているのでお好みのリージョンで作成してください 確認していたときのTweet asia-northeast2 ap-northeast-3 japanwest には置けないのか pic.twitter.com/YuIvtrGsW5

AWS Hands-on for Beginners「AWS Systems Managerを使ったサーバ管理はじめの一歩編」を実施してみた

midnight480
AWS System Managerについて AWS Systems Manager …ここでAWS System Managerなのに、略称SSMになっているのはなぜか?ASMじゃないのか?と思われた方はNRIネットコムさんのブログで紹介されているので、ご覧になるとよいと思います。 歴史・年表でみるAWSサービス(AWS Systems Manager編) -機能一覧と概要のまとめ・SSM入門- この記事では取り扱いませんが、EC2の管理だけではなく、 アラート通知システムがマネージドに展開されているIncident Managerが個人的にすごい!と思う一方で、 SSMに関する個人的なメモリがキャパオーバーしました😣 ハンズオンセッション AWS Systems Managerを使ったサーバ管理はじめの一歩編 このセッション内で取り扱われている機能 SSM Agent SSMでインスタンスを管理するためにはSSM Agentがインストールされている必要があります。 AWSが提供する標準のAMIにはプリインストール済みです Amazon Linux Amazon Linux 2 Amazon Linux 2 ECS に最適化されたベース AMIs SUSE Linux Enterprise Server(SLES) 12 と 15 Ubuntu Server 16.04、18.04 および 20.04 上記以外にサポートされるオペレーティングシステムにて詳細なバージョンも記載があります。 Linux macOS Raspberry Pi OS (旧称: Raspbian) Windows Server AWS上にあるインスタンスだけではなく、オンプレミスにあるサーバにも導入することが管理が可能となります。 少しトリッキー(VPCエンドポイントを使って完全にプライベートな通信にするのか、といった設計は必要です)な構成になります。 Systems Manager を使用してインターネットアクセスなしでプライベート EC2 インスタンスを管理できるように、VPC エンドポイントを作成するにはどうすればよいですか? ステップ 6: (オプション) Virtual Private Cloud エンドポイントの作成