Handson

「特別編 EC2 Image Builder ハンズオン」に参加してきた

midnight480
AWS エバンジェリストシリーズ AWSの基礎を学ぼう 特別編 EC2 Image Builder ハンズオン EC2 Image Builderとは EC2 Image Builder ベースとなる OS イメージを準備する インストールするためのソフトウェアを選択する テストを選択し、実行する イメージを選択したリージョンに配布する サポートするOS Amazon Linux 2 Windows Server 2012、2016、2019 Ubuntu Server 16、18 Red Hat Enterprise Linux (RHEL) 7、8 Cent OS 7、8 SUSE Linux Enterprise Server (SLES) 15 変わった使い方 AWS VM Import/Export (VMIE) と組み合わせれば、Amazon EC2 (AMI) のゴールデンイメージ、またオンプレミスの VM フォーマット (VHDX、VMDK、OVF) を作成が可能 もう少し踏み込んで実施する場合 EC2 IMAGE BUILDER WORKSHOP EC2 Image Builderが出てくるまでよく聞いていたPacker Packer Getting Started with AWS サポートする環境(プラグイン)

AWS CDK v2 ハンズオンとAWS CDK Pre Conference

midnight480
AWS エバンジェリストシリーズ AWSの基礎を学ぼう 特別編 AWS CDK v2 ハンズオン AWS CDK “Pre” Conference Japan 4/9(土)開催「AWSクラウド開発キット(CDK)v2カンファレンス」のプレイベント AWS CDK Pre Conference Japan 上記のイベントURLはこちらです。 AWS CDK AWS CDK Github Repository https://github.com/aws/aws-cdk IaC Infrastructure as Code AWS CDK ベースはTypeScriptで作成 過去のブログ AWS AWS Cloud Development Kit (AWS CDK) v2 の一般提供開始 AWS Construct Hub AWS が Construct Hub の一般提供を発表 AWS CDK未対応リソース Kinesis Firehorse etc… AWS 外リソース New Relic Datadog AWS エバンジェリストシリーズ AWSの基礎を学ぼう 手順書 https://github.com/harunobukameda/AWS-CDK-v2 現在、実験的にGitHub Repositoryをどのくらい Fork されるか計測されているとのことで、

JAWS-UG千葉支部オンライン#12 Amazon EKS Observability ハンズオン

midnight480
作成背景 もくもく会のアウトプットです。 https://jaws-ug-kyushu.doorkeeper.jp/events/130043 当日のTwitter 右上のTwitterマークで当日イベント内で触れられていたキーワードをもとに検索したページをぶら下げています 夜(前半)はこちらに JAWS-UG千葉支部オンライン#12 Amazon EKS Observability ハンズオンhttps://t.co/7Pw99ErkEV#jawsug #jawsugchiba #aws — Tetsuya Shibao (@midnight480) November 25, 2021 その他 #jawsugchiba で他の方のTweetも閲覧できるので、覗いてみてください 教材 https://jawsug-chiba.connpass.com/event/230717/ 本日は、アマゾン ウェブ サービス ジャパンのエンジニアも特別枠で参加頂いています🙌 🚨アマゾン ウェブ サービス ジャパンが正しい表記らしいです🚨 ☝App Runnerと同じと覚えましょう 検証する構成 Workshop - documents https://dcj71ciaiav4i.cloudfront.net/3AD39960-4385-11EC-9B45-B775B6BEFB9F/ 構成 EKSを取り扱う上での注意事項 Workshopには次の解説が書いてあります Cloud9 では、AWS が管理する一時的なクレデンシャル (認証情報) を利用する機能がありますが、この機能は現在、EKS の IAM 認証と互換性がありません。そのため、本ワークショップではこの機能を無効にして手順を進めていきます。 *Cloud9上で一時的なクレデンシャルを削除します $ rm -vf ${HOME}/.aws/credentials $ $ aws sts get-caller-identity --query Arn | grep eksworkshop-admin -q && echo "IAM role valid" || echo "IAM role NOT valid" IAM role valid $ aws-auth ConfigMapを利用 私は個人で、AWS SSO + AWS Organizationsを利用しているのですが、

Amazon Lexで日本語対応したチャットボットを作ってみた

midnight480
イベント https://awsbasics.connpass.com/event/209428/ Amazon Lex lexはAmazonの中にいるからAlexa(アレクサ)の中にもいるんですよね。 選択できるリストの詳細はこちら Voices in Amazon Polly Botを利用する想定の年齢によっては管理者に適用されるので、 取得する情報によっては注意が必要です。 COPRA - Children’s Online Privacy Protection Rule https://www.ftc.gov/enforcement/rules/rulemaking-regulatory-reform-proceedings/childrens-online-privacy-protection-rule The Rule applies to operators of commercial websites and online services (including mobile apps and IoT devices, such as smart toys) directed to children under 13 that collect, use, or disclose personal information from children, or on whose behalf such information is collected or maintained (such as when personal information is collected by an ad network to serve targeted advertising).

(AWS Hands-on for Beginners)CloudEndure Migrationをやってみる

midnight480
教材 AWS Hands-on For Beginners1にある CloudEndure Migrationを使ってオンプレミスサーバーをAmazon EC2に移行する 各個別のページで初回は情報登録が必要となります。上記はすでに登録を行ったあとのページとなります。 CloudEndureとは Wikipedia2で詳細に記載されていますが、 抜粋すると米国本社で開発拠点となるイスラエルにて研究開発が進められていたソフトウェアです。 Google CloudのVM Migration製品に統合されたりと独立していたものの、2019年にAmazonにて買収されています。3 (2021/5/18)AWS Application Migration Service の一般提供を発表 元々CloudEndureは別製品であったため、AWSのIAMなどの統合がされていませんでした。 このAWS MGNのサービス紹介には次のような文章が含まれています。 CloudEndure Migration のテクノロジーに基づいており、類似の機能を提供しますが、AWS マネジメントコンソールで利用できます。 このように、AWSの1サービスとして提供される形となります。 なお、AWS MGNについてはAWS公式トレーニングに掲載されているので別途実施してまとめる予定です。4 CloudEndureの稼働する環境は公式ドキュメントにて公開されています。 CloudEndure Migration エージェントインストール型 90日間無料 サポートOS Windows Server 2003/2008/2012/2016/2019 Linux CentOS RHEL OEL SUSE Ubuntu Debian etc… 実際にやってみる CloudEndure アカウント作成 動画の手順は、Googleで「aws cloudendure」を検索する流れですが、 2021年5月22日時点で検索結果アルゴリズムによる結果が異なるので以下ダイレクトページ。 https://console.cloudendure.com/#/register/register CloudEndure Migration を使用して、サーバーまたは仮想環境を AWS に移行したいと考えています。プロセスを開始するにはどうすればよいですか? Registering to CloudEndure Migration CloudEndureのアカウントはサポート経由でしか削除できない。 なお、完了後に保持し続けても料金は発生しない。 有効なメールアドレスで登録実施 AWS APIに必要なIAMリソース作成 The Project must have these permissions

AWS MGNをさわってみる

midnight480
CloudEndure Migrationをやってみると記事を分けています。 教材 AWS Application Migration Service (AWS MGN) – A Technical Introduction アクセスにはAWS Training/Certification アカウントの作成が必要です 現時点では選択可能な言語は英語のみです。自分もそうですが、聞き取りが不安な方は字幕を表示することも可能です。 1.6 Video Service network and architecture は表示される画像内の再生ボタンを押す必要があります AWS Application Migration Serviceとは 2021年5月時点で利用可能なリージョン Supported AWS Regions Region name Region identity Support in Application Migration Service US East (N. Virginia) us-east-1 Yes US East (Ohio) us-east-2 Yes US West (Oregon) us-west-2 Yes Asia Pacific (Tokyo) ap-northeast-1 Yes Asia Pacific (Singapore) ap-southeast-1 Yes Asia Pacific (Sydney) ap-southeast-2 Yes Europe (Frankfurt) eu-central-1 Yes Europe (Stockholm) eu-north-1 Yes Europe (Ireland) eu-west-1 Yes IAM AWS managed policies for Application Migration Serviceにて紹介されています。

Amazon Lookout for Metricsを触ってみる

midnight480
AWSの基礎を学ぼう 特別編 最新サービスをみんなで触ってみる はじめての異常検知の実施後レポートです。 Amazon Lookout for Metricsとは ML を使用してデータの異常 (標準からの外れ値など) を自動的に検出できるサービス。 AIサービスのリリース直後はRegionで利用可能なリソース割当が少ないので、Hands-onなどで同時に一斉に作業を行うことが予測出来る場合は可能であればリージョンを変更して行うこと 実際に触ってみる 前述の話があるので、N.Virginiaにて実施。 読み取りデータを配置する先はS3: lookoutformetric-shibao-20210522として設定。 推論モデル作成に必要なデータの準備 推論モデル作成に必要なデータをS3にアップロードするため、まずは CloudShellにZIPをアップロードして、 AWSの高速なバックエンドのネットワークを活用して手早くS3のアップロードを完了させる。 aws s3 sync ./ecommerce/ s3://lookoutformetric-shibao-20210522/ecommerce/ S3コンソールから直接オブジェクトアップロードでも実施する操作は変わらないが、個人のインターネット回線(ISP)に依存するのと、一度AWSのネットワーク内部に入ってからの操作では速度が段違いに違う ログの出力間隔ではなく、フォルダ構造が時間単位ということがポイント 集約(aggregate)するデータ自体は秒間隔でも問題ないが、 推論モデルに必要なデータの配置間隔は下記のいずれかに従う必要がある。 通常の環境では、Continuousで継続して取り込まれるデータを元に実測データから推論の精度向上させる。 また、データは新規に取得を始める必要はなく、すでにデータが有る場合は、 「Use historical Data」で過去に溜まっている情報を元に推論モデルの作成が可能。 BackTestは、70%で学習に使って、30%を推論に使う。(これはサービス仕様で現時点で変更不可要素) Interval×285(1時間単位では、285時間分)のデータが必要。 https://docs.aws.amazon.com/lookoutmetrics/latest/dev/detectors-dataset.html 以上の設定が完了すると、以下のように推論モデルの作成が始まる。 Backtest in progressは、70%の学習が完了した結果であるため、この時点で、予測を実施することが可能になる。 まとめ 機械学習エンジニアではないものの、ビジネスデータは多くの企業で保有していることから、 簡単に予測モデルを作成することが分かりました。 Amazon Lookout for Metrics を例えば以下のサービスとの接続が可能です。 Amazon S3 Amazon Redshift Amazon Relational Database Service (RDS) Salesforce1 Servicenow2 Zendesk3 Marketo4 他にも接続可能なサービスを確認する場合はこちら。 AppFlowにてSalesforceとの接続定義が必要 ↩︎ AppFlowにてServiceNowとの接続定義が必要 ↩︎ AppFlowにてZendeskとの接続定義が必要 ↩︎ AppFlowにてMerketoとの接続定義が必要 ↩︎

AWS IVS Workshopをやってみた

midnight480
教材 AWS IVS Streaming Workshop AWS IVSとは Amazon Interactive Video Serviceは、 マネージドサービスのライブストリーミングを提供するサービスです。 現在利用可能なリージョン US West (Oregon) us-west-2 US East (N. Virginia) us-east-1 Europe (Ireland) eu-west-1 実際にやってみた チャンネルの作成 自動でS3に保存できるようになっているの強い(語彙力 取得する情報 ARN - Amazon Resource Name arn:aws:ivs:us-west-2:********:channel/TshyIeouMPKP 取り込みサーバ rtmps://089c10f0a1ef.global-contribute.live-video.net:443/app/ ストリームキー sk_us-west-2_eCpzxBxOPO1R_px22uluD6npSQRaAwfkpRqCtKhzkdW 再生URL https://089c10f0a1ef.us-west-2.playback.live-video.net/api/video/v1/us-west-2.****.channel.TshyIeouMPKP.m3u8 Postmanを使って通信確認 備考 はじめて利用するリージョンのときは注意 Error codes for the Amazon EC2 API 最初にエラーが出たときは初めてのリージョンだからかなと思っていましたが、 どうも雲行きが違ったようで、AWSサポートに問い合わせました。 サポート向けの問い合わせ内容 Hello, Support Team. I learn about Amazon IVS now, using Amazon IVS workshop[1]. When I tried to create channel, the error message was displayed.

AWS OBSERVABILITY WORKSHOPを実施してみて

midnight480
この記事の想定読者 OBSERVABILITY(可観測性)の触りを知りたい方 AWSの環境を使って実際に体験してみたい方 AWS OBSERVABILITY WORKSHOPとは One Observability デモ ワークショップ として公開されているものです。 なぜ、実施したのか 実施するイベントに乗っかる Security-JAWS内で とあるエヴァンジェリストとSecurity-JAWS#01 ~観測の時間だぜ!AWS野郎(ユーザー)がっっ!!!~というイベントが行われました。 マイクロサービスのモニタリングがよく分かっていない 自分がこれまで関わってきたシステムの多くがモノリシック・アーキテクチャ、 つまりは単一がドーンと乗っているオンプレミスベースで設計されたシステムが多く、 マイクロサービスアーキテクチャとは遠いところにいました。 (本題の前に)observability - 可観測性 MELT Metrics, Events, Logs, Traces ってなんだ? 実際に受けてみて、やってみての感想 運営の観点 One Observability デモ ワークショップは日本語されているとはいえ、 どうしても手順がある程度ベースの理解ができていることを前提の手順となっているため、 詰まっているときにリアルタイムで質疑応答ができて、 スムーズに最後まで完走できたので、非常に良かったです。 運営の皆さん、ありがとうございます。 技術的な観点 正直、サービス構成の一つのデザインパターンとして参考になりました。 基本的には AWS CloudFormationを利用してリソースはテンプレート通りに作成されます。 その自動生成されるリソースが、個人的に驚かされました。 Cfnのテンプレートタブからデザイナーで、 表示から実際に作成されるリソースが見えてくるのですが、 それが以下のとおりです。 全体像 少し拡大してみると …はい、なんだコレというぐらいにリソースが作成されます。 注意事項 15. AMAZON MANAGED SERVICE FOR PROMETHEUS (AMP) ~ 17. AWS DISTRO FOR OPENTELEMETRY、 負荷テストとトラブルシューティングでDynamoDBに負荷をかけてみるところまでは行っていません。 実際にやってみた 自分の勉強記録として残す形となりますので、全てのサービスを記載はしません。 個人的に、普段触らずに「おぉ!」と思ったサービスをピックアップします。 出来上がるサイト ペットサイト http://servi-petsi-19j836bz4elez-709385182.

Drupalに触れてみた

midnight480
URL Drupalを基礎から学ぶワークショップ 参加したきっかけ 普段はバックエンド、インフラ側の仕事がメインではあるのですが、 WordPressで実装されている社内ポータルサイトが主管理チームがいるものの、 6年前からAzure PaaS(Azure App Service)で最近になり月額費用の割に、 ディスクサイズの小さななどを知り、コードベースでメンテナンスができないなら、 他にないかなーと思って、参加してみたことがきっかけです。 Drupalとは CMS(Cotents Mangement System)で、 WebサーバApache(1.3以上)またはIIS(IIS5以上)、及びPHP(4.3.3以上)をサポートする環境、 MySQL、PostgreSQL、SQLite、MongoDBのようなデータベース管理システムを必要とします。 この辺は、WordPressなどと大差はなく、 今回、このイベントに参加していたのが自分一人だったということもあり、 スピーカー(Drupal 10年以上)の人から見た、WordPressとの違いについてフォーカスします。 私自身も、WordPressを使っているわけではないので、フラットな目線ではなく、 その方の経験・感覚に依存するところもありますので、 一般的な Drupal vs WordPress といったことは記載しません。 既に、一般的な比較をされている方のブログは多数あるので、そちらをご覧ください(回し者ではなりません) WordPress vs Drupal – Which One is Better in 2020? (Pros and Cons) Drupal vs WordPress SEOとパフォーマンスの観点から比較 3大CMSを比較!WordPress vs Drupal vs Joomla 歴史的な発展した背景 WordPressは、Webデザイナーなどを中心に発展したこともあり、 今も多くのユーザに広く使われている。 一方で、Drupalが広がらない背景には、エンジニアがドキュメントを書く文化はいいものの、 情報量が多すぎて、取っ掛かりがしづらい側面が生まれている。 Drupal - Documentation Drupal - Contributed modules また、コミュニティでは Drupal DevOpsなどの議論も。 Install Download Drupal からzip download も手段として可能だが 非推奨 Using Composerを使うことで、 パッケージの依存性を解決してれる方法が断然楽。