Wendelin Exanalytics
去“IOE”的警察大数据
Wendelin Exanalytics
去“IOE”的警察大数据
2014-06-11 – 北京
www.wendelin.io
日程表
- 我们的背景: ERP5与SlapOS
- 我们的未来: Wendelin Exanalytics
- 我们的挑战: out-of-core
- 实地应用: Wangrin 自动化
ERP5
MariaDB
NEO
Python
ERP5
Web 工作流
HR
文
档
管
理
供应链, 金融
MRP
定制化
精细的安全性能
全方位追踪
可延展性
灵活性
快速建模
Zope TTW on steroids
银行业
航空航天业
医疗保健业
化工业
政府机构
非政府机构
云计算
咨询业
机械工程业
在线支持第三方
待做事项
消息推送
职业与任务
工资表
项目
CRM
Terra-SAR X 卫星
可访问空客(Airbus)
合作伙伴及分销商
与DLR对接
(德国航空局)
« With ERP5, our partners all over the world can access our infrastructure and order online with complete security(通过使用ERP5,我们全球的合作伙伴都可以访问我们的基础结构并在完全安全的环境下进行在线订购 )» Ralf Duering
卫星图像的销售管理及生产
符合ESA 标准 (ECSS)
象牙海岸警务云
可恢复性IPv6云
“Resiliency and auditability are required for government Cloud. We chose SlapOS to gain auditability through open source software and resiliency through decentralized architecture (可恢复性及可审核性是政府云所需要的。我们选择SlapOS通过开源软件来获得可审核性,通过分布式基础架构获得可恢复性)” - Stéphane Konan – DITT MEMI
IPv6 Mesh网络
可恢复性数据存储
分布式基础架构
通用中国产硬件
无IBM无EMC无Oracle
100% 开源软件
日程表
- 我们的背景: ERP5与SlapOS
- 我们的未来: Wendelin Exanalytics
- 我们的挑战: out-of-core
- 实地应用: Wangrin自动化
运用最完美的解析学 scikit-learn.org
由最优秀的数学家们设计
http://en.wikipedia.org/wiki/Fields_Medal
Wendelin Werner
加入分布式存储 neoppod.org
加入弹性PaaS erp5.com
# Initialize data
data_size = 1000000
server_count = 1000
chunk_size = data_size / server_count
data = array(data_size)
# Process data in parallel on each server (Map Reduce, Batch, etc.)
for server in server_count:
data.activate().process(server*chunk_size, chunk_size)
PaaS
加入多重云部署 slapos.org
MMC Rus
Wendelin Exanalytics 核心 100%开源
NEO
SlapOS
Scikit Learn
ERP5
多重云部署
弹性PaaS
分布式存储
数据分析
多重数据中心
100% Python
Wendelin的选择 100% 开源
时间序列处理
DataPad / JP Morgan
即时编译/ 类型推论
Continuum / DARPA
Scikit Learn
Pandas
Numba / Parakeet
NEO
100% Python
Blaze
完整的out-of-core数组
Continuum / DARPA
实时日志收集
Treasure Data / Amazon
Fluentd
NLTK
Natural Language Tookit
U. Texas / Chalmers
Wendelin用户界面 renderjs.org
Wendelin应用
- 干扰侦查
- 欺诈侦查
- 商业及经济预测
- 市场分析
- 媒介分析
- 公共安全
- 脑机接口
- 物联网
商务模式: 德国风格 No VC
Nexedi
Scikit Learn
大数据系统用户
延伸1
大数据系统供应商
延伸2
100%开源
硬件
100%
1 - 10%
专利
日程表
- 我们的背景: ERP5与SlapOS
- 我们的未来: Wendelin Exanalytics
- 我们的挑战: out-of-core
- 实地应用: Wangrin自动化
Out-of-core数组
# Numpy
np.ndarray(shape=(2,2), dtype=float, order='F')
# Out-of-core data
np.ndarray(shape=(1e18,2), dtype=float, order='F')
# Full out-of-core
np.ndarray(shape=(1e9,2e9), dtype=float, order='F')
1 Exabyte
1 Exabyte
最好的out-of-core拓扑学需要依赖于运算法则和方阵几何学
neo.ndarray out-of-core数据
neo.ndarray
1
2
3
4
5
6
7
8
9
10
11
12
5
9
6
10
7
11
1
2
3
4
8
12
NEO概览
neoctl
状态访问
命令控制
主机
OID & TID分配
同步
负载平衡
存储
对象数据
交易数据
磁盘分区表
应用
ZODB
neo.客户
数据
控制
管理员
状态档案
命令代理
路径
- Q3 2014: 开发者发布Wendelin
- Q4 2014: 简单的优化neo.ndarray
- Q3 2015: 完整的优化neo.ndarray
日程表
- 我们的背景: ERP5与SlapOS
- 我们的未来: Wendelin Exanalytics
- 我们的挑战: out-of-core
- 实地应用: Wangrin自动化
wangrin.net – 互联网欺诈门户网
wangrin.net – 互联网欺诈门户网
案例提交流程
escroc@gmail.com
询问了我的中国工商银行密码
然后我就在2天后被偷扣了
100,000元人民币
第一步
身份和犯罪
信息核实
ID
第二步
案件已核实
案件已驳回
c
c
c
工作流自动化
escroc@gmail.com
询问了我的中国工商银行密码
然后我就在2天后被偷扣了
100,000元人民币
第一步
身份和犯罪
信息核实
ID
第二步
案件已核实
案件已驳回
第三步: 1%
Wendelin Exanalytics
去“IOE”的警察大数据
Wendelin Exanalytics
去“IOE”的警察大数据
2014-06-11 – 北京
www.wendelin.io