はじめに以下のサイトを参考に、openai/whisperモデルのFine TuningをおこなってみるHugging Faceのブログがオリジナルの情報源https://huggingface.co/blog/fine-tune-whisper?source=post_page-----3744e2779c71--------------------------------その他関連記事https://research.google/blog/specaugment-a-new-data-augmentation-method-for-automatic-speech-recognition/https://colab.research.google.com/github/sanchit-gandhi/notebooks/blob/main/fine_tune_whisper.ipynbWhisperについてWhisperは68万時間分のラベル付きAudio-Transcriptionデータで教師ありの事前学
はじめに以下のチュートリアルを試すhttps://aws.amazon.com/jp/tutorials/machine-learning-tutorial-mlops-automate-ml-workflowsこのチュートリアルでは、Amazon SageMaker Pipelines、SageMaker Model Registry、SageMaker Clarifyを使用して、エンドツーエンドの機械学習（ML）ワークフローを自動化する方法を学びます。SageMaker Pipelinesは、ML用のCI/CDサービスで、データの読み込み、変換、トレーニング、チューニング、評価、デプロイなどのステップを自動化できます。SageMaker Model Registryは、モデルのバージョンやメタデータ、パフォーマンスを管理し、ビジネス要件に応じた最適なモデルの選択をサポートします。SageMaker Clarifyは、データやモデルのバイアスを検出し、予測の説明可能性を提供します。このチュートリアルでは、XGBoostを使
はじめにHugging Faceで入手できるSageMakerでのデプロイ用のコードの利用の仕方を確認する手順https://huggingface.co/openai/whisper-small にて、deploy > Amazon SageMakerを選択し、以下のコードを入手するimport sagemakerimport boto3from sagemaker.huggingface import HuggingFaceModeltry: role = sagemaker.get_execution_role()except ValueError: iam = boto3.client('iam') role = iam.get_role(RoleName='sagemaker_execution_role')# Hub Model configuration. https://huggingface.co/modelshub = { 'HF_MODEL_ID':'
はじめに以下のチュートリアルを実行する。https://aws.amazon.com/jp/tutorials/machine-learning-tutorial-deploy-model-to-real-time-inference-endpoint/?nc1=h_lsAmazon SageMaker Studio、SageMaker Studio notebook、およびSageMaker Studioドメインについて説明します。SageMaker StudioSageMaker Studioは、Amazon SageMakerの中で提供される統合開発環境（IDE）です。機械学習のモデル開発、トレーニング、デプロイまでのすべてのプロセスを一つの環境で行えるのが特徴です。次のような特徴があります：ビジュアルインターフェース: コードを書くことなく、データの前処理、トレーニング、モデルのデプロイを行うことができます。ノートブックの管理: Jupyterノートブックを活用し、開発作業をスムーズに進めることができます。
はじめにAPIキーAPIキーは、APIへのアクセスを認証するためにクライアントに割り当てられる一意の文字列です。APIキーは、APIリクエストの一部として送信され、API Gatewayや他のAPI管理システムでそのリクエストが許可されるかどうかを判断します。APIキーの機能と利点アクセス制御:APIキーを利用することで、APIにアクセスできるクライアントを制御できます。APIキーを持っているクライアントのみがAPIにリクエストを送信できるように設定できます。レート制限とクォータ管理:APIキーを使用すると、特定のクライアントごとにリクエスト数を制限するレート制限や、一定期間内のリクエスト数を管理するクォータを設定することができます。これにより、APIの過負荷を防止し、サービスの安定性を保つことができます。API使用のモニタリング:APIキーごとにリクエストをトラッキングすることで、どのクライアントがどれだけのリソースを使用しているかを監視できます。これにより、使用量に応じた課金やリソースの適切な割り当てが
はじめに以下の調査をもとに、REST APIを構築するhttps://www.s3lab.co.jp/blog/iaas/amazon/2053/https://www.s3lab.co.jp/blog/misc/2034/https://www.s3lab.co.jp/blog/iaas/amazon/2021/API Gatewayの種類API Gateway typeHTTP APIHTTP API は低価格で提供できるように最小限の機能で設計されています。WebSocket APIウェブブラウザとサーバー間でセッションを確立し、双方向通信を可能とします。REST APIAPI キー、クライアントごとのスロットリング、リクエストの検証、AWS WAF の統合、プライベート API エンドポイントなどの機能が必要な場合は、REST API を選択します。REST APIPrivateVPC内のみでアクセス可能なREST APIを生成します。A
はじめに参考https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/typescript-package.html#aws-cli-tshttps://docs.aws.amazon.com/ja_jp/lambda/latest/dg/lambda-intro-execution-role.htmlハマりポイントLambda関数からRDS Proxyに接続するには、LambdaをVPC内に設置する必要があるLambda関数のサブネット、セキュリティグループをRDS Proxyと合わせる必要があるVPC内のLambda関数からSecrets Managerに接続するにはVPCエンドポイントかインターネットアクセスが必要になるPrismaとProstgreSQLのテーブル名やENUMタイプ名は大文字・小文字や複数形まで名前をあわせる必要があるLambda関数のpermissionを設定する実行ロールには、EC2, CloudWatch, SecretsManage
はじめにAPI Gateway + LambdaからRDS Proxy経由でRDSを操作するためのインフラ構築の一部ハマりポイントPostgreSQLクライアントのバージョンが10未満の場合、SCRAM認証に対応していない。バージョンアップしたほうがよいRDS ProxyのTarget Groupが有効にならない場合、RDSのセキュリティグループにRDS Proxyのセキュリティーグループからの5432ポートの入力が許可されていることを確認するRDSの作成Standard createEngine Type: PostgreSQLEngine Version: PostgreSQL 16.3-R2Templates: Dev/TestDeployment Option: Single DB InstanceDB Instance ID: 自由入力Master username: 自由入力Credential management: AWS Secrets Manager