AWS

AWS Startup Tech Meetup Fukuoka #1 にオフライン参加してきた

midnight480
AWS Startup Community AWS Startup Tech Meetup Fukuoka #1 実施会場 今回はハイブリッドで実施されました オフライン会場(fgn) fgn. (Fukuoka Growth Next) は大名小学校跡地を利用して、 スタートアップ企業を支援するために改築が行われている建物です 着いた(早い)#AWSStartup #AWSStartupFuk pic.twitter.com/I2y3E1PAvm — Tetsuya Shibao (@midnight480) June 28, 2022 オンライン会場(YouTube) ノベルティについて すごい数#AWSStartup #AWSStartupFuk pic.twitter.com/sMIGu3GCLq — Tetsuya Shibao (@midnight480) June 28, 2022 セッションについて イベント当日はオフライン会場に参加して、 Twitterにハッシュタグ #AWSStartup #AWSStartupFuk を付けてTweetしていました。 はじまった!#AWSStartup #AWSStartupFuk — Tetsuya Shibao (@midnight480) June 28, 2022 各セッションの感想 以降はTweetにも記載していない事項を含めて、感想を記載しています。 本ブログを閲覧頂いていてセッション内容が気になる方はお手数ですが、 前述のYoutube動画をご覧ください。 スタートアップと技術選定と AWS 当日会場に参加している方はAWSを知らない方は残念ながら(?)いなかったので、 すでに利用しているユーザが参加するという形でした。 改めて、AWSの責任共有モデルの話から、似通ったサービス(例えば、ECSとEKS)の用途に応じた使い分け、 本来スタートアップが実施したいMVPの作成という目的のためにリソースを割きたくない部分(RDSのレプリケーション、スナップショット)について、 基本的なことを改めて聞くことができたと思います。 YAMAPのインフラ構成、9年間の軌跡〜サービス立ち上げ期から現在まで〜 黒歴史(EC2に Web/AP/DB の全部入り)から、アーキテクチャの更改変遷、

JAWS-UG 福岡 #12:9度目もちょっと濃い目にAWSの話をしてみよう に行ってきた

midnight480
イベント概要 会場 今回は完全オフライン限定のイベントで、 会場は エンジニアカフェ のメインホールを14:00-17:00貸し切って実施されました。 エンジニアカフェ エンジニアカフェには cafe&bar saino が併設されています。 館内、食事については重要文化財保護の観点で、 カフェ&バー横を除くとメインホールなどは申請制となっていますが、 蓋付き の飲料であれば持ち込みも可能です。 2022/06/26時点のメニューは次のとおりです。 私は 「赤煉瓦ブレンドコーヒー(ICE)」を購入しましたが、美味しかったです。 JAWS-UG福岡は「かんぱーい」で始まる会と聞いていますので、 もしまた機会があればこちらのカフェで実施する際は調達がすぐできそう…? ノベルティ各種 すごい(語彙力の無さ)#jawsug #jawsugfuk pic.twitter.com/SX6Q3v2Oys — Tetsuya Shibao (@midnight480) June 26, 2022 2日後、6/28にAWS Startup Tech Meetup Fukuoka #1が行われる関係で、 AWS Startup Communityのステッカーも運営の方々に相談して置かして頂きました。 各セッションのリアルタイム感想 そろそろ....はじまる...!https://t.co/qyPBJ7hZs7#jawsug #jawsugfuk — Tetsuya Shibao (@midnight480) June 26, 2022 自分のLT資料 初心者がAWS CDKで AWS Step Functionsを触ってみたものです 実際に作ったソースコードはGithubでパブリックにしています https://github.com/midnight480/aws-h4b-aws-step-functions-beginner DynamoDBおよび、S3については削除ポリシーを有効にしているので繰り返し作っては削除することが可能です 参加の感想 私個人としては、コミュニティのオフラインイベント参加は二度目でした。 (1度目は SORACOM UG 九州 #12に参加してきた ) 関東近郊からも人が物理的に来て頂いたり、 九州でこれまでオンラインでは何度か会話したものの、 物理的に初めてお会いする方が多くて「ようやく…!会えた…!」感が大きかったです。

人を笑わせるAIをつくってみる AWS Summit 直前Special 電笑戦のモデルをつくる

midnight480
AWS エバンジェリストシリーズ AWSの基礎を学ぼう 人を笑わせるAIをつくってみる AWS Summit 直前Special 電笑戦のモデルをつくる 前提で必要になりそうだと思った知識 GAN GAN:敵対的生成ネットワークとは何か ~「教師なし学習」による画像生成 Seq2Seq Sequence To Sequence( Seq2Seq ) Long short-term memory Long short-term memory RNN 第6回 RNN(Recurrent Neural Network)の概要を理解しよう(TensorFlow編) CNN 定番のConvolutional Neural Networkをゼロから理解する vgg16 VGG-16 畳み込みニューラル ネットワーク resnet50 ResNet-50 畳み込みニューラル ネットワーク AWS Web Servicesの機械学習サービス(Sagemakerのみ抜粋) https://docs.aws.amazon.com/sagemaker/latest/dg/whatis.html#whatis-features SageMaker Studio モデルの構築、学習、デプロイ、分析をすべて同じアプリケーションで行うことができる統合的な機械学習環境を提供する SageMaker Canvas コーディング経験のない人でもモデルを構築し、それを使って予測することができる自動MLサービス SageMaker Ground Truth Plus ラベリングアプリケーションの構築やラベリング作業者の管理を自前で行うことなく、高品質のトレーニングデータセットを作成するためのターンキーデータラベリング機能 SageMaker Training Compiler SageMakerで管理されたスケーラブルなGPUインスタンスでディープラーニングモデルを高速にトレーニング SageMaker Studio Universal Notebook SageMaker Studioから直接、シングルアカウントおよびクロスアカウント構成のAmazon EMRクラスタを簡単に検出、接続、作成、終了、管理する SageMaker Serverless Endpoints MLモデルをホスティングするためのサーバーレスエンドポイント。容量は自動拡張、エンドポイント側でインスタンスタイプの選択、スケーリングポリシーの管理が不要

スタートアップ事例祭り 〜監視・モニタリング・セキュリティ編〜

midnight480
AWS Startup Community スタートアップ事例祭り 〜監視・モニタリング・セキュリティ編〜 スタートアップの人たちに捧ぐ監視再入門 in AWS 資料 参考書籍 入門 監視 ―モダンなモニタリングのためのデザインパターン Webエンジニアのための監視システム実装ガイド 感想 「なぜサービスを監視するのか?」 「ただログを取って終わりにしていないか?」 「収集するツールの選定で満足していないか?」 「大量通知の中に重要な通知が埋もれていないか?」 「監視をしていないなら、監視しよう」 過去に自分の経験の中で「うっ…」思い当たる節がありました。 監視計画に沿って、必要な監視ツールと実装 という改めて導入をする機会と遭遇した場合に、気を付けようと思いました。 エンジニアと気軽に繋がれるプラットフォーム「ハッカー飯」で行ったセキュリティ・モニタリングに関する取り組みについて 資料 参考情報 ハッカー飯 New Relic - Apdex:ユーザー満足度の測定 感想 LightSailを使ったサービス展開をされていました。 また、AWS rootアカウントを使って作業をしている中で AWS SSOへの移行、 また監視もCloudWatchと3rd-Party(ハッカー飯ではNew Relic)のそれぞれ、 複数AWSアカウントの管理等を踏まえて、3rd-Partyを選択するなど参考になりました。 なるべく楽したいAWSセキュリティ 資料 参考情報 WafCharm VAddy Qiita - AWS環境における脅威分析と観点洗い出し Zenn.dev - AWS WAF の検知結果を Slack 通知して誤検知に対処しよう Github - Configuring Dependabot security updates Github - AWS Copilot CLI AWS Blog - Amazon EC2 および AWS Fargate 上の Windows コンテナにアクセスするための Amazon ECS Exec のご紹介 AWS Blog - AWS Copilot を使用して、AWS Fargate で実行されるコンテナのインタラクティブシェルに接続する AWS Blog - AWS Copilot CLI を使用した永続性を持つ AWS App Runner サービスの継続的ワークフローの実現 AWS Blog - Amazon Inspector を使用した Amazon ECR プライベートレジストリでのコンテナスキャンの更新 AWS Docs - Amazon ECR 拡張スキャン 感想 「自身のサービスがどういったパターンのセキュリティ脅威にさらされるか?」を洗い出し、 それに応じた対策を取られていました。

IaSQLを試してみた

midnight480
IaSQL IaSQL Blogを拝見すると、2021年9月からOpenになったツールのようです。 https://blog.iasql.com/intro-iasql/ IaSQLのリソース作成 CloudFormationでも作成するリソース作成に連携するためのIAM手順があるのですが、 us-wet-2でもap-northeast-1でも連携ができなかったです。 そのため本ブログでは AdmininistratorAccess の アクセスキー、シークレットアクセスキーを払い出しています。 IAM User(AdministratorAccess)のアクセスキー、シークレットアクセスキーを入力します Connect an account directly でCloudFormationの作成画面に飛びます ECS-Fargateのサンプル 4パターンあります https://docs.iasql.com/typeorm/ https://docs.iasql.com/flyway/ https://docs.iasql.com/prisma/ https://docs.iasql.com/django/ Githubはこちら https://github.com/iasql/ecs-fargate-examples 接続 postgreSQLクライアントは好きなものを使ってください psql psql -h db.iasql.com -p 5432 -U ${User Name} -d ${Database Name} HeidiSQL1 利用可能なモジュール一覧 https://docs.iasql.com/function/ に記載があるものを使っていきます SELECT * FROM iasql_modules_list(); > SELECT * FROM iasql_modules_list(); module_name | module_version | dependencies --------------------+----------------+--------------------------------------------------------------------------------------------------------- aws_cloudwatch | 0.0.1 | {} aws_ec2 | 0.0.1 | {aws_security_group@0.0.1} aws_ecr | 0.

アナリティクス強化月間 Redshift Serverless

midnight480
AWS エバンジェリストシリーズ AWSの基礎を学ぼう アナリティクス強化月間 Redshift Serverless Amazon Redshift Amazon Redshift Amazon Redshift Serverless https://aws.amazon.com/jp/blogs/news/introducing-amazon-redshift-serverless-run-analytics-at-any-scale-without-having-to-manage-infrastructure/ 現在Preview中(AWSはカスタマーのフィードバックを収集したい期間、随時Updateされる) AWS Supportでの問い合わせ Amazon Redshift Serverlessのチーム宛 redshift-preview-serverless@amazon.com に英語でメール送付 グローバルで一つのエンドポイントを作成 log関連が現時点では不具合(正しく転送されない)ケースもある RPU(Redshift Processiong Units) SQLを発行した際に、ワークロードを1秒単位で請求(1秒以下は切り捨て) 利用していない場合はストレージのみ課金対象 RA3 インスタンス コンピュータノード、ストレージが分離されている コンピュータノードにはSSDキャッシュが含まれているので頻繁に利用されるクエリ結果はストレージI/Oが発生しない ファーストタッチペナルティが存在する ストレージからコンピュータノードに返す際に、数十秒程度掛かる Preview中に応答速度は順次改善されているのでGAされたときに期待 ハンズオンパート https://github.com/harunobukameda/Amazon-Redshift-Spectrum-AWS-Glue-Amazon-Athena-Amazon-S3-Select (もしこのブログを見て実施される方で、GitHubアカウントをお持ちの方は上記のリポジトリからForkしてください) 実施環境(Region)はN.Virginia, Oregon, Tokyoなど利用可能な環境であればどこでも 現在、Amazon Redshift Serverlessは $500 Credit が付与されます 実施内容 コンソールは日本語対応が不十分なところもあるので英語に切り替えて実施を推奨です Redshift Query Editor v2 RPUの確認 RPUはデフォルト固定値 32 となっていてコンソールから変更は可能 接続設定を修正するとき Databse Connection設定は右クリックメニューから実施 まとめ Redshiftは普段触っていないのですが、ハンズオンイベントなどで数回触った感覚でいると、 今回Serverlessになったことで大きな違いは感じられませんでした。 つまり、通常のRedshiftのインスタンスにクエリを投げている感覚と変わらずにServerlessを取り扱うことができました。 Tweetでも触れましたが、Amazon Redshift Serverless(preview)、$500 creditがあるので、 これでお試しRedshiftを行うときにまずはServerlessでやってみようかなと思うことにつながるかなと思いました。

SORACOM UG 九州 #12に参加してきた

midnight480
SORACOM-UG SORACOM UG 九州 #12 セッションパート SORACOM-UG SORACOM-UG 木村( @show_m001 ) 氏 https://soracom-ug.jp/ SORACOM-UG Online/ビギナーズ/もくもく会 etc.. の紹介 SORACOM SORACOM エヴァンジェリスト MAX( @ma2shita )氏 溢れる思いが止められなかったのか予定時刻の30分オーバーランw ハンズオンパート 教材 https://soracomug.github.io/iot-button-handson-hybrid/soracom-lte-m-enterprise-button-handson-rental/#0 各人向けSORACOM提供資材 SORACOM LTE-M Button for Enterprise LTパート Fusic @Y_uuu 氏 社内でのIoT活用例の紹介(番長シリーズ) Fusic Tech Live Vol.8:IoTな人たち集まれ! オルターブース @mittsuu 氏 実家の農園にIoT導入事例(アグリTech) (出張)SORACOM-UG広島 @ozk009 氏 盗品対策にIoT導入実践+実機 草刈りeスポーツの紹介 ハッカソンから生まれたアイデア『草刈りゲーム』のeスポーツイベントを開催したい まとめ 実施した内容は、SORACOM LTE-M Button for Enterpriseからシングル、ダブル、長押しの押した動作に応じて、おいてある機材の向きが変わるというものでした。 このあたりは過去 SORACOM[自分で学べるIoT通信講座]を申し込んでやってみた でも実施した内容に近かったので、 特に大きなつまづきもなく完了しました。 今回は何よりオフラインイベントであったことがとても大きかったです。 自分の過去 Tweet 見返しても、 Developers Summit 2020 が最後にオフライン参加したイベントです。 (当時は東京に住んでいました)

アナリティクス強化月間 Glue DataBrew

midnight480
AWS エバンジェリストシリーズ AWSの基礎を学ぼう アナリティクス強化月間 Glue DataBrew AWS Glue Serverless ETL データの取り出し、変換、取り込み Catalog いろいろなサービスから参照するインベントリ(整理された台帳) AWS Glue Studio https://docs.aws.amazon.com/ja_jp/glue/latest/ug/what-is-glue-studio.html ローコードで触れる AWS Glue Databrew https://aws.amazon.com/jp/blogs/news/announcing-aws-glue-databrew-a-visual-data-preparation-tool-that-helps-you-clean-and-normalize-data-faster/ ノーコードで触れる Handson Part 教材 https://github.com/harunobukameda/AWS-Glue-DataBrew (もしこのブログを見て実施される方で、GitHubアカウントをお持ちの方は上記のリポジトリからForkしてください) 実施環境(Region)はN.Virginiaのみで挙動確認 CloudFormation Templateがすごいよくできあがっている 実際に行った結果 Cloud Formation実行後に生成されるS3 レシピ でrawデータに対する変換処理ステップを定義 順次変換したCSVの結果(S3) オブジェクトに含まれているデータの分布状況の表示 エディタ画面を表示しようと読み込んでいる様子 エディタ画面が表示された様子 読み込んだデータから予めどういったデータ整理をするとよいかを提示してくれる(レコメンデーション) データ品質ルールセットですでにあるオブジェクトに対する条件付き抽出 異なるオブジェクト同士の結合(今回はCSV同士) S3に保存済みのデータに対して変換処理を行い、S3の別ファイルとしてエクスポート 参考 Getting started with AWS Glue DataBrew AWS Glue DataBrew Immersion Day まとめ AWS Glueを取り扱うのに、ほとんどGUIで簡潔することに驚きました。 また操作感としては普段AWSの画面に慣れている人は少し違和感があるように感じますが、 BIツール、マイクロソフトのPowerBIとPower Queryで操作した経験のある人は違和感なく入れると思います。 AWS Glueとその周りがすごい進化をしているので、今後もアップデートは見逃せないなぁと思いつつ、 操作のハードルが下がってきているので、もっと学んでいかなければなぁと思いました。 なんか見たことある、触ったような感覚があるなぁと思ったら、PowerBIだ。 あれのPower Queryエディタで触っている感覚。#awsbasics pic.twitter.com/RrGhITfvkC — Tetsuya Shibao (@midnight480) April 23, 2022

アナリティクス強化月間 Athena ACID トランザクション + Iceberg

midnight480
AWS エバンジェリストシリーズ AWSの基礎を学ぼう アナリティクス強化月間 Athena ACID トランザクション + Iceberg プレビュー提供発表記事 Apache Iceberg による Amazon Athena ACID トランザクション (プレビュー) を発表 投稿日: Nov 29, 2021 一般公開発表記事 Apache Iceberg を利用した Amazon Athena ACID トランザクションの一般提供の開始を発表 投稿日: Apr 5, 2022 この新機能は、Athena の SQL のデータ操作言語 (DML) に、挿入、更新、削除、タイムトラベルのオペレーションを追加します。 Amazon Athena Amazon Athena Time Travel and Version Travel Queries タイムトラベル:特定データの○時間前、○日前などを参照する際に利用 詳しくはこちら▶ Time Travel and Version Travel Queries Apache Iceberg Apache Iceberg 参考 CPU使用率90%を超える高負荷がLNEのHive Metastoreで発生 Hive table formatの課題はApache Icebergで解消

温故知新編 データレイク総集編

midnight480
AWS エバンジェリストシリーズ AWSの基礎を学ぼう 温故知新編 データレイク総集編 座学パート Amazon Redshift https://aws.amazon.com/jp/redshift/ カラムナ型データベース JDBCでの接続も可能 魔改造されたPostgreSQLのような印象で取り扱う 独自のカスタマイズを加えている 詳しく知りたい方 ▶ フューチャー技術ブログ - Amazon Redshiftの仕様を調べてみた AWS Glue https://aws.amazon.com/jp/glue/ サーバレスETL(Exact, Transform, Load) 取り出し 加工 転送(取り込み、保存) 以前の課題 ウォームアップインスタンスからインスタンスを取り出して10分程度時間を要していたが現在は1分程度になった Pythonの知識が必要だったが、Glue StudioやAWS Glue DataBrewでGUIでの操作が可能になった データカタログ ETL処理を行う際に、srcがデータベース以外の非構造データ(S3 objectなど)をテーブルとして見せる必要がある Amazon Athena https://aws.amazon.com/jp/athena/ SQLで確認が可能 Amazon Athena の SQL リファレンス 内部で稼働しているエンジンは Presto 以前はS3が中心だったが、Amazon Athena Federated QueryによりJDBC、ODBCで対応するデータソースも利用可能になった Amazon S3 Select https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/selecting-content-from-objects.html S3上でObjectを直接参照(Parquet、CSV、JSON…) ハンズオンパート https://github.com/harunobukameda/Amazon-Redshift-Spectrum-AWS-Glue-Amazon-Athena-Amazon-S3-Select (もしこのブログを見て実施される方で、GitHubアカウントをお持ちの方は上記のリポジトリからForkしてください) 実施環境(Region)はN.Virginia, Tokyoを推奨 まとめ 本日はRedShiftの復習(更新に追いつけていない)のため、参加を目的としていました。 「あれ、こんな設定あったけな?」が復習できたのでよかったです。 Glue、Athenaについては個人的に過去ハマったときにいろいろと学びました。 当時、AWS ClientVPNで接続してきたユーザがDirectConnectで接続しているオンプレミスの環境へアクセスした際に、 どういう通信を行っているのかを調査する必要が出てきたので、VPC Flowlogsを設定しました。