千家信息网

AWS Lambda 自动化和 Python - 自动创建S3 Bucket lifecycle

发表于:2025-02-09 作者:千家信息网编辑
千家信息网最后更新 2025年02月09日,最近经常需要创建一些S3 Bucket用于备份。每个新建的Bucket都应该配置lifecycle,自动删除旧的数据,以便节约空间和开支。豆子写了一个简单的Lambda函数来自动实现。每次当我们创建一
千家信息网最后更新 2025年02月09日AWS Lambda 自动化和 Python - 自动创建S3 Bucket lifecycle

最近经常需要创建一些S3 Bucket用于备份。每个新建的Bucket都应该配置lifecycle,自动删除旧的数据,以便节约空间和开支。

豆子写了一个简单的Lambda函数来自动实现。每次当我们创建一个Bucket的时候,他会调用对应的API,Cloudtrail监测到这个事件后,会发送给Cloudwatch, 然后Cloudwatch会自动调用我的函数来创建lifecycle policy。

下面是简单的截图说明。

创建一个新的Cloudwatch Rule

对应的Lambda函数

他默认的IAM已经有权限访问Cloudwatch, 我新建了一个S3的Policy,然后分配给他的IAM role,这样这个lambda函数可以访问Cloudwatch和S3 的权限。

下面是Python代码

import loggingimport boto3from botocore.exceptions import ClientErrorlifecycle_config_settings = {    'Rules': [        {'ID': 'Delete Rule',         'Filter': {'Prefix': ''},         'Status': 'Enabled',         'Expiration': { 'Days':100 }}    ]}def put_bucket_lifecycle_configuration(bucket_name, lifecycle_config):    """Set the lifecycle configuration of an Amazon S3 bucket    :param bucket_name: string    :param lifecycle_config: dict of lifecycle configuration settings    :return: True if lifecycle configuration was set, otherwise False    """    # Set the configuration    s3 = boto3.client('s3')    try:        s3.put_bucket_lifecycle_configuration(Bucket=bucket_name,                                              LifecycleConfiguration=lifecycle_config)    except ClientError as e:        return False    return Truedef lambda_handler111(event, context):    # TODO implement    test_bucket_name = event.get('detail').get('requestParameters').get('bucketName')    print(event)    print(event.get('detail').get('requestParameters').get('bucketName'))    success = put_bucket_lifecycle_configuration(test_bucket_name,lifecycle_config_settings)    if success:    #  logging.info('The lifecycle configuration was set for {test_bucket_name}')        print('The lifecycle configuration was set for {test_bucket_name}')

实际运行的效果,但我创建了一个新的Bucket的时候,他会自动调用这个函数,添加policy。

下面是Cloudwatch的日志

这个是新建的Bucket的lifecycle policy

0