部署环境和区域
OpenMediation主要广告SaaS平台和SDK两部分组成，并部署在AWS EC2进行管理。OpenMediation支持Graviton2体系结构，以获得更高的性能。OpenMediation支持所有具有Graviton2 R6g、M6g实例的区域，包括AWS中国区域，并在us-west2 regios为客户提供SaaS服务。
主控机
使用r6g.large实例，使用镜像“ami-0457d285f3484cf85”，需有公网ip，开放一个ssh端口。
- 创建工作目录。
- 拷贝必要文件（程序文件、空白数据库文件）到工作目录。
- 在工作目录下创建ua_dir、ua文件夹。
- 拷贝事件定义文件到ua_dir。
- 配置rsync，对内网成员开放ua_dir、ua目录。
- 请周龙和海华帮助开放172.20.39.239::ml_data。
- 修改配置文件。
- 设置计划任务，定时转储日志和数据库，清理临时文件。
- 启动main.py，输出重定向到日志文件。
- 其他机器无需部署，按需自动生成。
架构图
AdTiming GT算法
主控中心（r6g.large），运行任务控制逻辑，使用python（3.6）、bottle（0.12.19，提供web服务）、boto3（1.20.24，提供aws ec2支持）。
特征工程（一般为m6g.4xlarge），为算法提供数据，使用python（3.6）、pyarrow（6.0.1，处理原始数据）、scipy（1.7.3，提供稀疏矩阵支持）、numpy（1.21.4，提供数据处理）。
训练/预测（一般为m6g.4xlarge），计算投放数据供下游使用，使用python（3.6）、pandas（1.3.5，合并结果）、scipy（1.7.3，提供稀疏矩阵支持）、numpy（1.21.4，提供数据处理）、lightgbm（3.3.1，训练/预测核心算法）。
主要流程：web接收任务—>选择机型—>启动特征工程任务—>启动训练/预测任务—>发送结果。
以上提到的软件版本均支持arm64位架构。
产品版本信息
OpenMediation SaaS平台版本记录：
| SaaS | Graviton | 更新日期 | 更新日志 |
|---|---|---|---|
| 2.4.0 | AWS Graviton 2 | 2021-10-11 |
支持SDK版本2.4.0—2.4.7 |
| 2.3.0 | AWS Graviton 2 | 2021-09-10 |
支持SDK版本2.3.0 |
| 2.2.0 | AWS Graviton 2 | 2021-03-26 |
支持SDK版本2.2.0—2.2.8 |
| 2.1.0 | AWS Graviton 2 | 2021-03-22 |
支持SDK版本2.1.0 |
| 2.0.0 | AWS Graviton 2 | 2020-12-01 |
支持SDK版本2.0.0—2.0.5 |
性能测试说明
OpenMediation后台算法服务从V2.0.0版本开始基于AWS Gravaton2开发和部署，对于OpenMediation SaaS平台数据计算在性能上有明显的提升。以下是我们的部分性能指标：
特征工程：
实例类型：m6g.4xlarge
处理能力：150万行/分钟
cpu占用率：50%~100%
内存占用率：30~60%
训练/预测：
实例类型：m6g.4xlarge
处理能力：900万行/分钟
cpu占用率：20%~100%
内存占用率：10~50%
评论
请登录写评论。