sizuhiko - Technote

先日 aws-sdk v2 が 2023 年中にメンテナンスモードになるという記事を書いて、実際自分たちで作っていた aws-sdk v2 でできていた CLI ツールも aws-sdk v3 に切り替えました。

CLIツールを v3 に移行したら、利用するアプリ側がコンパイルエラーになる

で、それを Lambda にデプロイするアプリの devDependencies に反映してみたところ、また型エラーが出るようになりました。

CLIツールでは @aws-sdk/client-lambda@3.310.0 に依存していて、 Lambda アプリ側は @aws-sdk/client-lambda@3.254.0 を使っていたためです。

error TS2345: Argument of type ‘typeof LambdaClient’ is not assignable to parameter of type ‘InstanceOrClassType>’. Type ‘typeof LambdaClient’ is not assignable to type ‘ClassType>’.

で、それぞれの型定義への依存は "@aws-sdk/types": "*" になっているので、lock ファイルの状態次第でそれぞれでバージョンが異なるものが入る場合があります。そこで型が一致しない問題が発生してきます。

CLI ツールでは実行時に aws-sdk が必要になるので、 dependencies に設定していて、CLIツールを使う方のアプリは devDependencies に設定しているわけですが、それぞれの dependencies からインストールされる @aws-sdk/types がドッチ？問題になってしまうという…

解決策

今回は自分たちで作ったライブラリだったので、CLIツール側の aws-sdk を devDependencies に変更して、CLIツールを使うアプリ側の aws-sdk 利用状況に依存するように変更しました。

  "peerDependencies": {
    "@aws-sdk/client-lambda": "^3.0.0"
  },

これでアプリ側が @aws-sdk/client-lambda を使っていればそのバージョンに依存するようになるし、使っていなければ 3系の最新が入るようになります。

ここで、この aws-sdk v3 シリーズを読んでいただいた懸命な皆様はお気づきだと思いますが Node.js v18 / aws-sdk v3 の Lambda アプリが突然動かなくなるでも書いた

peerDependencies が指定されていたら、バージョンを揃えるために自分でインストールする

これが重要になってきます。なので、自分で作ったライブラリで peerDependencies に指定したら、結局アプリ側で使ってなくてもバージョンを揃えるのに追加でインストールした方が良いということです。

aws-sdk v3 を安心して使うためには（追記）

基本的にバージョンは最新版、もしくは最新に近い同じバージョンに揃える
peerDependencies が指定されていたら、バージョンを揃えるために自分でインストールする
関数/クラス以外、たとえば enum の値などは基本的に利用しない
自作ライブラリで aws-sdk v3 に依存する場合は peerDependencies に指定する

大事なこと4つ目を追加しました。

aws-sdk@v3 のパッケージ管理に日々不安が募りますが、同様の問題に遭遇した人の解決に役立てれば幸いです。

aws-sdk v2 が 2023 年中にメンテナンスモードになる

Thursday, April 06, 2023 06:24:00 PM

aws-sdk aws-sdk@v2

aws-sdk v2 を使っている CLI ツールで aws 環境を操作していたら、見慣れないメッセージが出てきました。

(node:9129) NOTE: The AWS SDK for JavaScript (v2) will be put into maintenance mode in 2023.

AWS SDK v2 ってメンテナンスモードに入るんだ…

Twitter でも書いている人がいました

Anyone else seeing this new error from @awscloud sdk?

This is showing to our CLI users and is… annoying to say the least. pic.twitter.com/KabEtFDKnl
— David Wells (@DavidWells) February 16, 2023

これまでも複数回にわたって aws-sdk v3 の記事を書いてきましたが、これは Lambda にデプロイするアプリだから v3 に移行したのであって、CLIツールとかなら v3 に移行するモチベがあるかな….

ぶっちゃけ Lambda とかだとランタイムに追従すると sdk も上げないといけないので対応したけど、ツールなら対応しないですよね。

公式のリポジトリにも、サポートについて書かれています。

https://github.com/aws/aws-sdk-js#version-2x-support

そこにリンクされているメンテナンスポリシーページにいくと、以下のような内容が記入されていました。

メンテナンス (フェーズ 3) -メンテナンスモードの間、AWS は SDK リリースを制限して、重大なバグ修正とセキュリティ問題のみに対処します。SDK は、新規または既存のサービスの API 更新を受け取ることも、新しいリージョンをサポートするために更新されることもありません。特に指定がない限り、メンテナンスモードのデフォルト期間は 12 か月です。

サポート終了 (フェーズ 4) - SDK がサポート終了に達すると、更新またはリリースを受け取ることができなくなります。以前に公開されたリリースは引き続きパブリックパッケージマネージャーから入手でき、コードは GitHub に残ります。GitHub リポジトリはアーカイブされる場合があります。サポートが終了した SDK の使用は、ユーザーの判断で行われます。ユーザーが新しいメジャーバージョンにアップグレードすることをお勧めします。

v2 自体がリポジトリから無くなることはなさそうですが、膨大にありそうな v2 を使った CLI ツール群はどうするのかなぁ…

ちなみに Serverless Framerwork は PR Suppress AWS SDK v2 deprecation message でいったんメッセージ出力を OFF にしていますが、 v3 移行は大変だろうなぁ、という感想しかないです。

AWS SDK v3 は、これまでの記事でも書いてますが、結構パッケージ管理が残念な感じだったりするのと、書き方もめっちゃ変わっているので Serverless Framework 規模になると書き換えもかなり工数かかりそうだなぁと（いつかはやるんだろうけど）。

AWS さんが簡易にコンバートできるツールを作ってくれると良いんだろうけど、オプションの書き方も変わっているところがあったりするので、単純な変換も大変そうですね。

上記の引用ツイートのレスの中にもあるけど、v3 のドキュメントが不親切だというのは事実だし、良い解決策が 2023 年中に見つかると良いですね。なんか感想ブログになっちゃいましたが、僕らのプロジェクトも v2 依存している CLI ツールは移行対象にしてなかったので、これから移行計画作らないとな、と思っています。

Node.js v18 / aws-sdk v3 の Lambda アプリが突然動かなくなる

Wednesday, April 05, 2023 05:08:00 PM

TypeScript aws-sdk aws-sdk@v3

「Lambda アプリが突然動かなくなる」なんて、どうせバグなんでしょーというのが当然のリアクションですが、これは本当にバグなのか…

本当にあった怖い話をします。

ある日、Lambda アプリが突然動かなくなる

Node.js v18 のライタイムで動く Lambda にデプロイされているアプリで、ある日突然エラーが出るようになりました。

original: TypeError: Cannot read properties of undefined (reading ‘RUNNING’)

この部分ですが TypeScript のコードでは以下のようになっていました。

import {
  DescribeExecutionCommand,
  ExecutionDoesNotExist,
  ExecutionStatus,
  SFNClient,
  StartExecutionCommand,
  paginateListExecutions,
} from '@aws-sdk/client-sfn';

// 省略

if (latest?.status === ExecutionStatus.RUNNING) {

ExecutionStatus は StepFunctions のクライアントで export されている値です。 StepFuntions のジョブが実行中かどうか判定している箇所で。少し前まで普通に動いていたのに….

Lambda アプリの構成

AWS Lambda は aws-sdk がランタイムにグローバルインストールされているので、最新版に追従して問題なければパッケージに含める必要はありません。 Lambda にデプロイするアプリケーションのサイズを少しでも減らすために、 aws-sdk は入れないようにしています。

node コンソールで確認してみる

手元では devDependencies に @aws-sdk/client-sfn が入っているので、 node コンソールに入って require を実行してみました。

> const { ExecutionStatus} = require('@aws-sdk/client-sfn')
undefined
> ExecutionStatus
{
  ABORTED: 'ABORTED',
  FAILED: 'FAILED',
  RUNNING: 'RUNNING',
  SUCCEEDED: 'SUCCEEDED',
  TIMED_OUT: 'TIMED_OUT'
}

ふむ、問題なさそうだが？

最新版の aws-sdk で変わったのだろうか？一時的に最新版にバージョンアップをしてみて、確認してみます

> const { ExecutionStatus} = require('@aws-sdk/client-sfn')
undefined
> ExecutionStatus
undefined

えええええええーーー

aws-sdk の該当箇所の修正履歴をチェックする

hore(codegen): export enums as const

元のコード

/**
 * @public
 */
export enum ExecutionStatus {
  ABORTED = "ABORTED",
  FAILED = "FAILED",
  RUNNING = "RUNNING",
  SUCCEEDED = "SUCCEEDED",
  TIMED_OUT = "TIMED_OUT",
}

変更後のコード

/**
 * @public
 * @enum
 */
export const ExecutionStatus = {
  ABORTED: "ABORTED",
  FAILED: "FAILED",
  RUNNING: "RUNNING",
  SUCCEEDED: "SUCCEEDED",
  TIMED_OUT: "TIMED_OUT",
} as const;

おいおい、これって @public なのに後方互換性なくなっとるだろ….

なぜ undefined になるのか

enum はコンパイルされて JavaScript になると以下のようなコードになります。

var ExecutionStatus;
(function (ExecutionStatus) {
    ExecutionStatus["ABORTED"] = "ABORTED";
    ExecutionStatus["FAILED"] = "FAILED";
    ExecutionStatus["RUNNING"] = "RUNNING";
    ExecutionStatus["SUCCEEDED"] = "SUCCEEDED";
    ExecutionStatus["TIMED_OUT"] = "TIMED_OUT";
})(ExecutionStatus = exports.ExecutionStatus || (exports.ExecutionStatus = {}));

でも export const as const になると、JavaScript にはコンパイルされることなく、変数の利用箇所に埋め込みの形になります。

最初にも書きましたが、 aws-sdk v2 では普通だった

AWS Lambda は aws-sdk がランタイムにグローバルインストールされているので、最新版に追従して問題なければパッケージに含める必要はありません。 Lambda にデプロイするアプリケーションのサイズを少しでも減らすために、 aws-sdk は入れないようにしています。

こういう運用はすでにオワコンなんでしょうか？いやでも、v3 になってもランタイムに aws-sdk は入っています。

少なくとも ExecutionStatus が内部変数で export されてない private な値だったら良いのですが、これはさすがにマズイんじゃないですかね？awsさん。

この問題が発生するケース

AWS Lambda でランタイムの aws-sdk を使っていて、TypeScript から enum の値を参照していた場合（同一の変更ですべての enum が const に書き変わっています）

amplify とか Lambda でなくコンパイルされているケースでは問題は起きませんが、いやこういうのサクッと変更しちゃダメだと思うんですが… しかもランタイム側に入っているので、動作している Lambda アプリケーションが突然動作しなくなります。

aws-sdk v3 を安心して使うためには（追記）

基本的にバージョンは最新版、もしくは最新に近い同じバージョンに揃える
peerDependencies が指定されていたら、バージョンを揃えるために自分でインストールする
関数/クラス以外、たとえば enum の値などは基本的に利用しない

大事なこと3つ目を追加しました。

aws-sdk@v3 のパッケージ管理に日々不安が募りますが、同様の問題に遭遇した人の解決に役立てれば幸いです。

aws-sdk v3 でコンパイルエラーになる - その２

Tuesday, April 04, 2023 04:20:00 PM

TypeScript aws-sdk aws-sdk@v3

先日の aws-sdk v3 で TS2345 が出てコンパイルエラーになるという記事でも書いたとおり、 @aws-sdk/client-xxxxx を追加するときは

新しく @aws-sdk/client-xxxx を追加するときは、既存のクライアントも含めてすべて同じバージョンに変更する

のがオススメなのは変わりがないのですが、これだけだとうまく対応できないことがあったので、別記事として書いておきます。

ある日の変更前依存パッケージ

  "devDependencies": {
    "@aws-sdk/client-dynamodb": "^3.264.0",
    "@aws-sdk/client-s3": "^3.264.0",
    "@aws-sdk/client-s3-control": "^3.264.0",
    "@aws-sdk/client-secrets-manager": "^3.264.0",
    "@aws-sdk/lib-dynamodb": "^3.264.0",
  }

DynamoDB, S3, Secret Manager を利用するようになっていました。

パッケージを追加したらエラーになる

で、そこに @aws-sdk/lib-storage というパッケージを追加しようとしたところ、また先日と同様に TS2345 でコンパイルエラーになります。ちゃんとバージョンをすべて最新にしてみたのですが、ダメでした。

ふたたび issue を探る

そうすると、issue ではなく discussions に変更されてしまったものを発見しました。

Peer dependencies not pinned for lib-dynamodb

なぜこんなことになるのか

やはりパッケージ管理が崩壊しているとしか思えないのですが、何でこうなっているのかというのを解説していきます。

以下は、今回追加しようとした @aws-sdk/lib-storage の package.json の一部です。追加時点の lib-storage のバージョンが 3.272.0 だったので、上記の変更前依存パッケージでインストール済みだったものも 3.272.0 に更新済みです。

  "dependencies": {
    "@aws-sdk/middleware-endpoint": "3.272.0",
    "@aws-sdk/smithy-client": "3.272.0",
    "buffer": "5.6.0",
    "events": "3.3.0",
    "stream-browserify": "3.0.0",
    "tslib": "^2.3.1"
  },
  "peerDependencies": {
    "@aws-sdk/abort-controller": "^3.0.0",
    "@aws-sdk/client-s3": "^3.0.0"
  },

peerDependencies の依存がありますね。

で、すでにインストール済みだった @aws-sdk/client-dymanodb の package.json の一部も見てみましょう。

  "dependencies": {
    "@aws-crypto/sha256-browser": "3.0.0",
    // 省略
    "@aws-sdk/smithy-client": "3.272.0",
    "@aws-sdk/types": "3.272.0",
    // 省略
    "uuid": "^8.3.2"
  },

依存が多いのでちょっと省略しましたが、注目したいところだけ書きました。こちらには peerDependencies の依存はありません。

@aws-sdk/client-s3 は上記のとおりインストール済みだったので、 @aws-sdk/abort-controller を見てみましょう。

  "dependencies": {
    "@aws-sdk/types": "3.289.0",
    "tslib": "^2.3.1"
  },

おや？ @aws-sdk/types のバージョンが違うじゃん…

“@aws-sdk/abort-controller”: “^3.0.0”,

なぜ、ここは ^3.0.0 なのだ？？というのが、最初のディスカッションでもふれられている訳ですが、本当にパッケージ管理が (ry

対応案

使っている aws-sdk のパッケージで peerDependencies になっているのを調べて、すべてバージョン指定でインストールします。

ということで変更後の依存は以下のとおりにします。

    "@aws-sdk/abort-controller": "3.272.0",
    "@aws-sdk/client-dynamodb": "3.272.0",
    "@aws-sdk/client-s3": "3.272.0",
    "@aws-sdk/client-s3-control": "3.272.0",
    "@aws-sdk/client-secrets-manager": "3.272.0",
    "@aws-sdk/lib-dynamodb": "3.272.0",
    "@aws-sdk/lib-storage": "3.272.0",
    "@aws-sdk/smithy-client": "3.272.0",
    "@aws-sdk/types": "3.272.0",

abort-controller, smithy-client, types が利用しているパッケージの中で peerDependencies にあったので、すべてバージョンを揃えてコンパイルエラーは解消されました。

aws-sdk v3 を安心して使うためには

基本的にバージョンは最新版、もしくは最新に近い同じバージョンに揃える
peerDependencies が指定されていたら、バージョンを揃えるために自分でインストールする

この2つとても大事です。

こんなの discussions に変更した上で放置していて良いのか？…

とても悲しい状況ですが、同様の問題に遭遇した人の解決に役立てれば幸いです。

aws-sdk v3 で TS2345 が出てコンパイルエラーになる

Monday, April 03, 2023 03:47:00 PM

TypeScript aws-sdk aws-sdk@v3

dependabot で @aws-sdk/client のバージョンアップがコンパイルエラーになる

少し久しぶりの記事になってしまいましたが、この間も Node.js v18 / aws-sdk v3 への移行を行なっています。一部のリポジトリではコードの移行は終わって、 dependabot でライブラリの最新追従を行なっているのですが、以下のようなコンパイルエラーが出るようになりました。

error TS2345: Argument of type 'typeof LambdaClient' is not assignable to parameter of type 'InstanceOrClassType<Client<ServiceInputTypes, MetadataBearer, any>>'.
  Type 'typeof LambdaClient' is not assignable to type 'ClassType<Client<ServiceInputTypes, MetadataBearer, any>>'.

aws-sdk v3 では複数の aws サービスを使っていると複数のパッケージに依存するようになるのですが、複数のバージョンアップが dependabot によって PR されるうち、一部のアプデだけ上記のようなエラーになります。

issue を探してみる

aws-sdk の issue を調べていくと、それっぽいものがありました。

Typescript compilation problems since 3.52.0 in lib-dynamodb

この issue 自体はクローズされていないのですが、コメントのスレッドの中に有用な情報がありました。

@aws-sdk/types が依存に入っていて、異なるバージョンの client-xxx があるとエラーになる（なんで package-lock.json を消してから npm i しなおすとうまくいくよ -> そんなんやるか！）
@aws-sdk/client-xxxx の各クライアントはすべて最新バージョンに追従してください

のようなものです（要約してあります）。

aws-sdk@v3 はサービスごとにパッケージを分割することで v2 と比べて良い、というのがウリなはずなんですが、これではパッケージ管理崩壊しているのでは？と思わなくもないですが、まぁ各クライアントのバージョンを合わせれば良いだけなので、従うことにしました。ちなみにこの時点では複数の @aws-sdk/client-xxx を全て最新版に追従することで解消されました。

この問題が発生する状況

この問題が発生する状況は以下のとおりです。

すでに1つ以上の @aws-sdk/client-xxxx を入れていて、後日機能追加によって別のクライアントをインストールするとき
dependabot でパッケージごとにバージョンアップの PR が発動する

さいごに

aws-sdk@v3 を使ったアプリのナレッジが少ないので、何か小さなことでも記事にしていこうと思います。同様の問題に遭遇した人の解決に役立てれば幸いです。

« Prev 1 2 3 4 5 6 Next »

By Year

2023 (12)
2022 (14)
2021 (1)
2020 (6)
2019 (41)
2018 (31)
2017 (7)
2016 (5)
2015 (13)
2014 (14)
2013 (6)
2012 (7)
2011 (11)
2010 (3)
2009 (10)
2008 (16)

Twitter

@sizuhiko からのツイート

Technote

aws-sdk v3 を使うライブラリを作ったときは、なるべく peerDependencies に設定しよう

CLIツールを v3 に移行したら、利用するアプリ側がコンパイルエラーになる

解決策

aws-sdk v3 を安心して使うためには（追記）

aws-sdk v2 が 2023 年中にメンテナンスモードになる

Node.js v18 / aws-sdk v3 の Lambda アプリが突然動かなくなる

ある日、Lambda アプリが突然動かなくなる

Lambda アプリの構成

node コンソールで確認してみる

aws-sdk の該当箇所の修正履歴をチェックする

元のコード

変更後のコード

なぜ undefined になるのか

この問題が発生するケース

aws-sdk v3 を安心して使うためには（追記）

aws-sdk v3 でコンパイルエラーになる - その２

ある日の変更前依存パッケージ

パッケージを追加したらエラーになる

ふたたび issue を探る

なぜこんなことになるのか

対応案

aws-sdk v3 を安心して使うためには

aws-sdk v3 で TS2345 が出てコンパイルエラーになる

dependabot で @aws-sdk/client のバージョンアップがコンパイルエラーになる

issue を探してみる

この問題が発生する状況

おすすめの対応

さいごに

Recent Articles

By Year

Twitter

Technote

aws-sdk v3 を使うライブラリを作ったときは、なるべく peerDependencies に設定しよう

CLIツールを v3 に移行したら、利用するアプリ側がコンパイルエラーになる

解決策

aws-sdk v3 を安心して使うためには（追記）

aws-sdk v2 が 2023 年中にメンテナンスモードになる

Node.js v18 / aws-sdk v3 の Lambda アプリが突然動かなくなる

ある日、Lambda アプリが突然動かなくなる

Lambda アプリの構成

node コンソールで確認してみる

aws-sdk の該当箇所の修正履歴をチェックする

元のコード

変更後のコード

なぜ undefined になるのか

この問題が発生するケース

aws-sdk v3 を安心して使うためには（追記）

aws-sdk v3 でコンパイルエラーになる - その２

ある日の変更前依存パッケージ

パッケージを追加したらエラーになる

ふたたび issue を探る

なぜこんなことになるのか

対応案

aws-sdk v3 を安心して使うためには

aws-sdk v3 で TS2345 が出てコンパイルエラーになる

dependabot で @aws-sdk/client のバージョンアップがコンパイルエラーになる

issue を探してみる

この問題が発生する状況

おすすめの対応

さいごに

Recent Articles

Tags

By Year

Twitter