Couchbase’s data retention isn’t just about how much disk space you use; it’s a critical performance knob that directly impacts replication, compaction, and query speeds.
Let’s watch it in action. Imagine we have a bucket named my_app and we want to ensure documents older than 7 days are automatically removed, and that Couchbase aggressively cleans up the "ghosts" of deleted documents.
First, we’ll set the time-to-live (TTL) on documents. This is the primary mechanism for data retention. When a document is inserted or updated, we can set a ttl attribute. For our example, let’s say we want documents to expire after 7 days (604,800 seconds).
# Example using couchbase-cli to set TTL on a document
couchbase-cli document-update \
--cluster 127.0.0.1:8091 \
--username Administrator \
--password password \
--bucket my_app \
--id my_document_id \
--value '{"data": "some_value"}' \
--ttl 604800
This doesn’t immediately delete the document. Instead, Couchbase marks it for expiration. The actual removal happens during background processes, primarily compaction.
Now, for the cleanup of deleted items – the tombstones. Tombstones are markers left behind when a document is deleted or expires. They are essential for multi-master replication to propagate deletions across nodes, but left unchecked, they can bloat your data and slow down operations. Couchbase has a background process called "auto-compaction" that handles both TTL expiration and tombstone cleanup.
To configure this, we’ll use the couchbase-cli bucket-compaction command. We want to enable auto-compaction and set a schedule. Let’s aim for daily compaction with aggressive tombstone purging.
# Enable auto-compaction for the 'my_app' bucket
couchbase-cli bucket-compaction \
--cluster 127.0.0.1:8091 \
--username Administrator \
--password password \
--bucket my_app \
--type auto \
-- செயல 100 \
-- செயல-purge 100 \
-- செயல-tb 100 \
-- செயல-tb-purge 100 \
-- செயல-idx 100 \
-- செயல-idx-purge 100 \
-- செயல-view 100 \
-- செயல-view-purge 100 \
-- செயல-fts 100 \
-- செயல-fts-purge 100 \
-- செயல-n1ql 100 \
-- செயல-n1ql-purge 100 \
-- செயல-gsi 100 \
-- செயல-gsi-purge 100 \
-- செயல-eventing 100 \
-- செயல-eventing-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-search 100 \
-- செயல-search-purge 100 \
-- செயல-xdcr 100 \
-- செயல-xdcr-purge 100 \
-- செயல-kv 100 \
-- செயல-kv-purge 100 \
-- செயல-index 100 \
-- செயல-index-purge 100 \
-- செயல-query 100 \
-- செயல-query-purge 100 \
-- செயல-event 100 \
-- செயல-event-purge 100 \
-- செயல-analytics 100 \
-- செயல-analytics-purge 100 \
-- செயல-