コーパスとデータパイプライン

バックフィル（Backfill）

バックフィルは、新規レコードだけを扱うのではなく、すでに存在するレコード全体に対して、欠けている・新しく加えたフィールドをさかのぼって埋める。

この用語集は機械翻訳で、不正確な場合があります。

バックフィル は、新規または改善されたプロセスを既存コーパスに適用し、古いレコードを追いつかせます。パイプラインがフィールドを追加したとき、バックフィルは今後の受け入れ分だけでなく、すでに保存済みのすべてについてそれを算出します。

バックフィルは通常、ギャップを埋めるために一度走らせるバッチ処理で、その後は通常のパイプラインに組み込まれます。

GraphCanon では

GraphCanon がシグナル（例えば互換性エッジや意思決定の事実）を追加すると、範囲を絞ったバックフィル実行がそれをコーパス全体に埋め、実行ごとに進捗をログします。