coco/aggregate-concept-transformer Docker Image Overview

coco/aggregate-concept-transformer

自动构建

coco

该服务通过SQS接收Amazon S3桶中源概念更新的通知，整合相关UUID的概念，构建整合JSON模型并发送到Neo4j和Elasticsearch，调用varnish-purger清除缓存，最后发送更新通知到Kinesis流并移除队列消息。

0 次下载

🚀 稳定镜像源 = 更少宕机 + 更低运维成本

中文简介版本下载

🚀 稳定镜像源 = 更少宕机 + 更低运维成本

Aggregate Concept Transformer (aggregate-concept-transformer)

镜像概述与主要用途

Aggregate Concept Transformer是一个在UPP（Unified Publishing Platform）中整合和协调概念的服务。它通过SQS接收Amazon S3桶中源概念更新的通知，获取相关UUID的概念，构建整合的JSON模型并同步到Neo4j和Elasticsearch，调用缓存清除工具，发送更新通知到Kinesis流，并完成队列消息的处理。

核心功能与特性

接收更新通知：通过SQS接收Amazon S3桶中源概念更新的通知
整合概念数据：获取与更新概念相关的所有UUID，从S3请求每个概念数据，构建整合的JSON模型
多系统同步：将更新后的概念JSON发送到Neo4j（图数据库）和Elasticsearch（搜索引擎）
缓存管理：在Neo4j成功写入概念后，调用varnish-purger清除对应概念的缓存
事件通知：向Kinesis流发送所有更新概念的通知
消息处理：处理完成后从SQS队列移除消息
概念整合逻辑：合并次要概念（目前来自TME），主概念（Smartlogic概念）覆盖次要概念字段，别名合并去重

使用场景与适用范围

适用于需要实时处理和整合分布式存储（S3）中的概念数据，并同步到图数据库、搜索引擎及缓存系统的场景，特别适用于UPP中的概念数据管理与同步，确保概念数据在多系统间的一致性和时效性。

使用方法与配置说明

配置参数

该服务支持通过命令行选项或环境变量进行配置，主要参数如下：

命令行选项	默认值	环境变量	描述
--app-system-code	"aggregate-concept-transformer"	$APP_SYSTEM_CODE	应用的系统代码
--app-name	"Aggregate Concept Transformer"	$APP_NAME	应用名称
--port	"8080"	$APP_PORT	监听端口
--bucketRegion	"eu-west-1"	$BUCKET_REGION	S3桶所在的AWS区域
--sqsRegion	""	$SQS_REGION	SQS队列所在的AWS区域
--bucketName	""	$BUCKET_NAME	读取概念的S3桶名称
--queueUrl	""	$QUEUE_URL	SQS队列的URL
--messagesToProcess	10	$MAX_MESSAGES	并发从队列读取和处理的最大消息数
--visibilityTimeout	30	$VISIBILITY_TIMEOUT	消息初始响应后被后续请求忽略的时长（秒）
--waitTime	20	$WAIT_TIME	等待队列消息的时长（秒），如有消息到达则提前返回
--neo4jWriterAddress	"http://localhost:8080/"	$NEO_WRITER_ADDRESS	Neo4j概念写入器的地址
--varnishPurgerAddress	"http://localhost:8080/"	$VARNISH_PURGER_ADDRESS	Varnish缓存清除应用的地址
--concordancesReaderAddress	"http://localhost:8080/"	$CONCORDANCES_RW_ADDRESS	概念协调器的地址
--elasticsearchWriterAddress	"http://localhost:8080/"	$ES_WRITER_ADDRESS	Elasticsearch概念写入器的地址
--crossAccountRoleARN		$CROSS_ACCOUNT_ARN	跨账户角色的ARN
--kinesisStreamName	""	$KINESIS_STREAM_NAME	AWS Kinesis流名称
--kinesisRegion	"eu-west-1"	$KINESIS_REGION	Kinesis流所在的AWS区域
--requestLoggingOn	true	$REQUEST_LOGGING_ON	是否记录HTTP请求
--logLevel	"info"	$LOG_LEVEL	应用日志级别

AWS凭证配置

需正确配置AWS凭证，支持两种方式：

凭证文件：~/.aws/credentials

ini
[default]
aws_access_key_id = AKID***
aws_secret_access_key = MY-SECRET-KEY

环境变量：

bash
AWS_ACCESS_KEY_ID=AKID***
AWS_SECRET_ACCESS_KEY=MY-SECRET-KEY

运行示例

Docker镜像可从Docker Hub获取：coco/aggregate-concept-transformer

使用Docker运行示例：

bash
docker run -d \
  --name aggregate-concept-transformer \
  -p 8080:8080 \
  -e APP_PORT=8080 \
  -e BUCKET_REGION=eu-west-1 \
  -e SQS_REGION=eu-west-1 \
  -e BUCKET_NAME=my-concept-bucket \
  -e QUEUE_URL=[***] \
  -e NEO_WRITER_ADDRESS=[***] \
  -e ELASTICSEARCH_WRITER_ADDRESS=[***] \
  -e VARNISH_PURGER_ADDRESS=[***] \
  -e KINESIS_STREAM_NAME=my-kinesis-stream \
  -e AWS_ACCESS_KEY_ID=AKID*** \
  -e AWS_SECRET_ACCESS_KEY=MY-SECRET-KEY \
  coco/aggregate-concept-transformer

管理端点

健康检查：http://localhost:8080/__health
就绪检查：http://localhost:8080/__gtg（Good to go）
构建信息：http://localhost:8080/__build-info

构建与部署

Docker镜像：合并到master分支后由Docker Hub自动构建，镜像地址：coco/aggregate-concept-transformer
CI/CD：由CircleCI提供持续集成，项目地址：aggregate-concept-transformer
测试覆盖率：由Coveralls提供代码测试覆盖率报告，地址：aggregate-concept-transformer