本文共 1405 字，大约阅读时间需要 4 分钟。

Elasticsearch 数据导入导出工具

功能概述

本工具旨在帮助用户轻松地对Elasticsearch数据库进行数据导入和导出操作，支持批量处理和条件查询，适用于开发测试及数据迁移场景。

使用说明

1. 环境配置

• 操作系统：支持Linux和Windows系统
• Elasticsearch：版本要求至少为5.5

2. 安装依赖

npm install elasticdump

将elasticdump放置在项目根目录，确保路径正确。

3. 函数说明

3.1 获取所有索引

def get_all_index(es_host):    client = Elasticsearch(es_host)    schema = IndicesClient(client).get_mapping()    indices = schema.keys()    return [index for index in indices if not index.startswith(".")]

3.2 数据导出

def export_es_data():    source_es_host = "http://127.0.0.1:9200"    search_body = '{"query":{"match":{"xx" : xx}}}'    limit = 10000    for index_str in ALL_INDEX_LIST:        es_export_cmd = f"{ES_DUMP_CMD} --limit={limit} --input={source_es_host}/{index_str} --output={ES_QUERY_JSON_DIR}{index_str}.json --searchBody '{search_body}'"        print(f"导出索引：{index_str}")        subprocess_popen(es_export_cmd)

3.3 数据导入

def import_es_data():    target_es_host = "http://127.0.0.1:9200"    for index_str in ALL_INDEX_LIST:        es_import_cmd = f"{ES_DUMP_CMD} --limit={limit} --input={ES_QUERY_JSON_DIR}{index_str}.json --output={target_es_host}"        print(f"导入索引：{index_str}")        subprocess_popen(es_import_cmd)

4. 使用示例

if __name__ == "__main__":    export_es_data()    import_es_data()

注意事项

• 数据量控制：建议根据机器内存调整limit值，默认为10000
• 高并发处理：在多线程环境下可能需要优化subprocess_popen性能
• 脚本维护：定期清理ES_QUERY_JSON_DIR以释放存储空间

通过以上工具，用户可以高效地管理Elasticsearch数据，适用于开发、测试及数据迁移场景。

转载地址：http://xtafk.baihongyu.com/