TiDB 与 TiFlash扩展——向真 HTAP 平台前进 韦万Still comparable performance against Parquet ● Benchmark against Apache Spark 2.3 on Parquet ○ Pre-POC version of TiFlash + Spark Performance Performance A new storage engine is on the way, deliver Very fast paced replenishment based on live data and prediction Fundamental Change ● Beta / User POC in May, 2019 ● GA, By the end of 2019 Project status 在此键入姓名 在此键入tittle Photos and Icons are0 码力 | 45 页 | 2.75 MB | 6 月前3
CurveFS S3本地缓存盘方案© XXX Page 1 of 9 Curvefs-S3 本地写缓存盘方案© XXX Page 2 of 9 背景 方案设计 主要数据结构定义 方案设计思考 POC验证 背景 当前,s3客户端在写底层存储的时候是直接写入远端对象存储,由于写远端时延相对会较高,所以为了提升性能,引入了写本地缓存盘方案。也即要写底层存储时,先把数据写到本地缓存硬盘,然后再把本地缓存 硬盘中的数据异步上传到远端对象存储。 如果客户端挂掉,那么写缓存盘中可能会有残留文件没有上传到对象存储;如果忘记处理,那么这些数据也就相当于是丢失了。 所以在客户端初始化建立的时候,可以先遍历写缓存目录,如果里面有文件,那么则上传到远端对象存储 POC验证© XXX Page 9 of 9 CacheWrite_->AsyncUploadRun(); char* buf = (char*)malloc(1024*4); memset(buf0 码力 | 9 页 | 150.46 KB | 6 月前3
Curve支持S3 数据缓存方案读写缓存分离 缓存层级 对外接口 后台刷数据线程 本地磁盘缓存 关键数据结构 详细设计 Write流程 Read流程 ReleaseCache流程 Flush流程 FsSync流程 后台流程 poc测试验证 背景 基于s3的daemon版本基于基本的性能测试发现性能非常差。具体数据如下: 通过日志初步分析有2点原因© XXX Page 3 of 9 1.append接口目前采用先从s3 4.更新元数据,清理DataCache缓存,DataCacheNum_减1。 5.遍历完一轮DataCache后,获取DataCacheNum值,如果不为0,则继续遍历,如果为0则回到1步骤。 poc测试验证 根据上述设计,完成初步daemon,测试结果如下图 目前看写性能有明显的提升,但时延仍然很高, 。 需要进一步分析0 码力 | 9 页 | 179.72 KB | 6 月前3
Curve质量监控与运维 - 网易数帆小需求(改动小)将实现思路记录到任务管理系统中(JIRA),即可进行开发; 大需求(新模块、复杂功能)需要输出独立设计文档,并进行评审;对于功能或 性能影响较大的功能,还需要进行POC验证;评审和验证通过后才能启动开发 工作。 小需求 实现思路 开发 大需求 设计文档 POC 开发 7/33设计文档规范 设计文档需要具备以下内容: 修订记录 审批记录 系统介绍 相关调研 架构 重要流程0 码力 | 33 页 | 2.64 MB | 6 月前3
Conda 23.3.x DocumentationJust pass the name or path: $ conda shell.bash activate mamba-poc PS1='(mamba-poc) ' export PATH='/Users/username/.local/anaconda/envs/mamba-poc/bin:/opt/homebrew/bin:/opt/ ˓→homebrew/sbin:/usr/local/bi CONDA_PREFIX='/Users/username/.local/anaconda/envs/mamba-poc' export CONDA_SHLVL='2' export CONDA_DEFAULT_ENV='mamba-poc' export CONDA_PROMPT_MODIFIER='(mamba-poc) ' export CONDA_EXE='/Users/username/.local/anaconda/bin/conda'0 码力 | 370 页 | 2.94 MB | 8 月前3
Conda 23.5.x DocumentationJust pass the name or path: $ conda shell.bash activate mamba-poc PS1='(mamba-poc) ' export PATH='/Users/username/.local/anaconda/envs/mamba-poc/bin:/opt/homebrew/bin:/opt/ ˓→homebrew/sbin:/usr/local/bi CONDA_PREFIX='/Users/username/.local/anaconda/envs/mamba-poc' export CONDA_SHLVL='2' export CONDA_DEFAULT_ENV='mamba-poc' export CONDA_PROMPT_MODIFIER='(mamba-poc) ' export CONDA_EXE='/Users/username/.local/anaconda/bin/conda'0 码力 | 370 页 | 3.11 MB | 8 月前3
A Physical Units Library for the Next C++Standardization We want to ensure that the library is ready before we start the process. 76• Production/POC use • Requirements • Implementation experience • Production feedback CppCon 2020 | A Physical Units tell us about your experience or requirements COMPANIES AUTHORS OF OTHER LIBRARIES 77• Production/POC use • Requirements • Implementation experience • Production feedback CppCon 2020 | A Physical Units0 码力 | 172 页 | 6.17 MB | 6 月前3
Service Mesh是下一代SDN吗:从通信角度看Service Mesh的发展xDS Client Request Client Request Client RequestConsul Registry遇到的坑: 1.0版本的Consul Registry只能算PoC(原型验证),远未达到产品要求 CPU占用率超高不下 (Pilot+Consul 占用冲高到 400%) • TIME_WAIT Sockets 太多导致FD耗光 Consul Registry优化0 码力 | 27 页 | 11.99 MB | 6 月前3
PingCAP TiDB&TiKV Introduction OLTP滴滴、360、乐视、去哪儿 均有浓厚兴趣,后续合作正在洽谈 渠道 多个Pass服务商 主动希望为其客户提供分布式数据库解决方案(云服务) 客户 多个客户 有明确和迫切的需求痛点,主 动提供场景进行 PoC 在市场费用为0的情况下,TiDB 已经成为明星项目,获得广泛的认可和关注 附: SDCC 对我司 CEO 刘奇的采访 http://dwz.cn/3qW56Y DTCC(中国数据库技术大会)对我司0 码力 | 21 页 | 613.54 KB | 6 月前3
Service Mesh 发展趋势(续) 蚂蚁金服 | 骑士到中盘路向何方?[] https://github.com/envoyproxy/envoy/issues/4272 - 2018年8月28日,提出Issue - 2018年10月开始动手 - 2019年5月poc完成,创建envoy-wasm项目 - 目前放在envoy的下一个milestone 1.12中Part 3:ServiceMesh灵魂拷问三:要不要支持虚拟机? 有了高大上的容器/k8s/云原生,0 码力 | 43 页 | 2.90 MB | 6 月前3
共 25 条
- 1
- 2
- 3













