Estuary、PostgreSQLのCDC機能を、特定のデータ復元機能と大規模なデータ検索機能の強化により拡張

2026年10月28日 Estuary より

関連情報：独自技術

Estuaryは、PostgreSQLの変更データキャプチャ（CDC）コネクタに対し、データ復元の改善、大規模なデータ検索、スキーマ変更の検出に重点を置いた、いくつかのアップデートをリリースしました。

特定のデータ復元機能

PostgreSQLのデータ取得機能は、追加のデータ復元フィルタをサポートするようになりました。これにより、個々のテーブルに対するデータ復元クエリにSQL式を適用できます。

これにより、大規模なPostgreSQLテーブルの一部のみを復元または再復元する必要がある場合に、再読み込みが必要なデータ量を削減できます。例えば、チームは、インデックス付きの識別子やタイムスタンプを使用して、復元プロセスに含まれる行を制限できます。

このフィルタは、データ復元にのみ適用されます。継続的なPostgreSQL CDCは、フィルタとは独立して、新しい変更をキャプチャし続けます。

SQL式が直接データ復元クエリに適用されるため、これは高度なオプションであり、慎重に設定する必要があります。フィルタを変更するには、影響を受けるデータ取得機能を再度データ復元する必要があります。

大規模なPostgreSQLスキーマに対するデータ検索制御

Estuaryは、データ取得機能が、コネクタのデータ検索中にどのテーブルを表示するかを制御できる、PostgreSQLのデータ検索フィルタを追加しました。

データ取得機能は、以下の操作が可能になりました。

特定のPostgreSQLスキーマのみを含める
特定のスキーマを除外する
グローバルパターンに基づいたテーブルを使用して、テーブルを検索する
PostgreSQLの公開にまだ含まれていないテーブルを、オプションで検索する

これらの制御は、多数のスキーマまたはテーブルが存在するPostgreSQL環境で、データベースの一部のみをCDCパイプラインに参加させる場合に役立ちます。

テーブルのメタデータ検索も、大規模なテーブルを含むデータベースで、信頼性を向上させるために、より小さなグループで処理されます。

設定可能な再検索

PostgreSQLのデータ取得機能は、データ取得がアクティブな間、Estuaryがどのくらいの頻度でデータ検索を再実行するかを設定できるようになりました。

Rediscoveryは、新たにテーブルが追加された場合やスキーマの更新など、変更を検出するために使用されます。デフォルトのインターバルは15分ですが、より高速または頻度が低い検出が必要な環境に合わせて調整できます。

これにより、PostgreSQLの管理者は、スキーマ変更の検出にかかる遅延と、カタログへのクエリの頻度とのバランスをより細かく制御できるようになります。

PostgreSQLのCDC（変更データキャプチャ）とバックフィル

EstuaryのPostgreSQLソースコネクタは、論理レプリケーションを使用して、PostgreSQLのライトアヘッドログ（WAL）から挿入、更新、削除をキャプチャします。

新しいキャプチャを開始すると、Estuaryはまず、選択されたテーブルの既存の内容をバックフィルし、その後、継続的なCDCに移行できます。新しいバックフィルとディスカバリーの機能は、大規模なPostgreSQL環境や、リカバリーのシナリオにおいて、このプロセスを運用するための追加のオプションを提供します。

PostgreSQLのCDCコネクタは、セルフホスト型のPostgreSQLと、マネージドPostgreSQLサービスの両方で、PostgreSQL 10.0以降のバージョンをサポートしています。

ドキュメント

PostgreSQL CDCコネクタのドキュメント

データのバックフィルと、追加のバックフィルフィルタ