美团点评2018技术年货测试结果:新版相比旧版,序列化耗时降低约 3 倍 消息文件存储 新版消息文件存储进行了重新设计,解决旧版本的文件存储索引、数据文件节点过多以及随机 IO 恶化的 问题。 新版消息文件存储为了同时兼顾读写性能,引入了二级索引存储方案,对同一个应用的 IP 节点进行合 并,并且保证一定的顺序存储。下图是索引结构的最小单元,每个索引文件由若干个最小单元组成。每个 CAT 3.0 开源发布,支持多语言客户端及多项性能提升 ,并删除 链表尾部数据,再将新的数据正常写入到缓存中。下图是LruCache预设上限为N时,将数据M写入后的数 据结构。 LruCache 达预设上限,添加数据 线程安全的LruCache在读写操作中,全部使用锁做临界区保护,确保缓存使用是线程安全的。 LruCache在美团DSP系统的应用场景 LruCache在美团DSP系统的应用场景 在美团DSP系统中广泛应用键值存储数据库,例如 LruCache在高QPS下的耗时增加原因分析: LruCache在高QPS下的耗时增加原因分析: LruCache在美团DSP系统中的应用演进 - 美团技术团队 线程安全的LruCache中有锁的存在。每次读写操作之前都有加锁操作,完成读写操作之后还有解锁操 作。在低QPS下,锁竞争的耗时基本可以忽略;但是在高QPS下,大量的时间消耗在了等待锁的操作 上,导致耗时增长。 HashLruCache适应高QPS场景:0 码力 | 229 页 | 61.61 MB | 1 年前3
Nacos架构&原理
变更快了之后如何管控控制变更风险,如灰度、回滚等 敏感配置如何做安全配置 Nacos 架构 < 22 概念介绍 配置(Configuration) 在系统开发过程中通常会将⼀些需要变更的参数、变量等从代码中分离出来独立管理,以独立的配 置文件的形式存在。目的是让静态的系统工件或者交付物(如 WAR,JAR 包等)更好地和实际的物 理运行环境进行适配。配置管理⼀般包含在系统部署的过程中,由系统管理员或者运维人员完成这 实现和服务注册发现模块的逻辑强耦合在⼀起, 并且充斥着服务注册发现的⼀些概念。这使得 Nacos 的服务注册发现模块的逻辑变得复杂且难以 维护,耦合了⼀致性协议层的数据状态,难以做到计算存储彻底分离,以及对计算层的无限水平扩 容能力也有⼀定的影响。因此为了解决这个问题,必然需要对 Nacos 的⼀致性协议做抽象以及下 31 > Nacos 架构 沉,使其成为 Core 模块的能力,彻底让 管理,还是 需要依赖⼀致性协议的接口,在两个计算模块中耦合了带状态的接口;并且,虽然做了比较高度的 ⼀致性协议抽象,服务模块以及配置模块却依然还是要在自己的代码模块中去显示的处理⼀致性协 议的读写请求逻辑,以及需要自己去实现⼀个对接⼀致性协议的存储,这其实是不好的,服务发现 以及配置模块,更多应该专注于数据的使用以及计算,而非数据怎么存储、怎么保障数据⼀致性, 数据存储以及多节点⼀致的问0 码力 | 326 页 | 12.83 MB | 9 月前3
ffmpeg翻译文档11 解码器 12 视频解码 13 音频解码 14 字幕解码 15 编码 16 音频编码器 17 视频编码器 18 字幕编码器 19 比特流滤镜(过滤器) 20 格式选项 21 分离器(解复用) 22 混合器 23 元数据 24 协议 25 设备选项 26 输入设备 27 输出设备 28 重采样(resampler)选项 29 放缩选项 30 滤镜入门 31 11 解码器 12 视频解码 13 音频解码 14 字幕解码 15 编码 16 音频编码器 17 视频编码器 18 字幕编码器 19 比特流滤镜(过滤器) 20 格式选项 21 分离器(解复用) 22 混合器 23 元数据 24 协议 25 设备选项 26 输入设备 27 输出设备 28 重采样(resampler)选项 29 放缩选项 ffmpeg 翻译文档 packets | encoder 16. |________| |______________| ffmpeg 调用 libavformat 库(含分离器)读取输入文件,分离出各类编码的数据包(流),当有 多个输入文件时, ffmpeg 试图跟踪最低时间戳实现任意输入流同步。编码数据包(除非是指定为流 式拷贝,相关内容请参考特性描述对流式拷贝的说明)通过解码器解码出非压缩的数据帧(raw视0 码力 | 502 页 | 3.06 MB | 1 年前3
2022年美团技术年货 合辑端智能模型训练预估平台 不同于云端的排序算法实验流程,已经有成熟、完善的训练预估平台支持,特征 & 模 型上线非常便捷、高效。客户端的实验流程前期存在非常大的迭代效率问题,比如模 型的上线流程繁琐,包括模型结构的分离、转换 & 验证以及发布依赖大量的人工操 作,跟多个内部平台的流转、对接;另外特征迭代效率低下,需要客户端协同开发相 应的特征加工逻辑,存在较大的逻辑一致性风险,而且还会存在分端的实现差异等 问题。 Top K 个句子作为最终摘要。虽然任务建模 方式(最终选取摘要方式)不同,但是其核心关注点都是对于句子表示的建模。 序列标注方式的模型在得到句子的表示以后对于句子进行打分,这就造成了打分 与选择是分离的,先打分,后根据得分进行选择,没有利用到句子之间的关系。 NeuSUM[49] 提出了一种新的打分方式,使用句子收益作为打分方式,考虑到了句子 之间的相互关系。其模型 NeuSUM 如下图 2 PVT [2] 和 CPVT [4] 相结合,形成 Twins-PCPVT 来支持尺度变化场景的下游任务。再从自注意机制的效 率和感受野角度出发,设计了兼容局部和全局感受野的新型自注意力,叫做空间可分离 自注意力 (Spatially Separable Self-Attention,SSSA), 形成了 Twins-SVT。 Twins-PCPVT Twins-PCPVT 通过将 PVT 中的位置编码(和0 码力 | 1356 页 | 45.90 MB | 1 年前3
FISCO BCOS 2.9.0 中文文档0新增符合CRUD接口的合约接口规范,简化了将主流的面向SQL设计的商业应用迁移到 区块链上的成本。其好处显而易见: • 与传统业务开发模式类似,降低了合约开发学习成本; • 合约只需关心核心逻辑,存储与计算分离,方便合约升级; • CRUD底层逻辑基于预编译合约实现,数据存储采用分布式存储,效率更高; 同时,2.0版本仍然兼容1.0版本的合约,更多关于CRUD接口的介绍,请参考 使用CRUD接口 。 condition查询 更改 • MySQL存储模式支持MySQL 8.0 • 重构交易和区块相关的RPC接口,返回交易和区块的所有字段内容 • 交易推送的回执中带有交易执行结果的报错信息 • P2P模块添加读写idle检查的逻辑 修复 • 解决gcc9和clang12编译报错的问题 • Precompiled合约报错信息写入到回执中,给出更明确的报错提示 • 优化落盘加密,解决落盘加密模式下,存储空间占用大的问题 • rPBFT:基于PBFT共识算法,实现一种新型的共识算法rPBFT,尽量减少节点规模对共识算法的 影响,配置rPBFT请参考共识配置和rPBFT共识配置 • KVTable:提供基于键值型数据读写方式,相较于Table合约的CRUD接口,更加简单易用、容易维 护 • 合约管理功能:提供合约生命周期管理接口,包括合约的冻结、解冻、合约状态查询及其相关 的授权、权限查询等操作,方便运维人员对上链合约的管理0 码力 | 1489 页 | 107.09 MB | 1 年前3
FISCO BCOS 3.6.0 中文文档0新增符合CRUD接口的合约接口规范,简化了将主流的面向SQL设计的商业应用迁移到 区块链上的成本。其好处显而易见: • 与传统业务开发模式类似,降低了合约开发学习成本; • 合约只需关心核心逻辑,存储与计算分离,方便合约升级; • CRUD底层逻辑基于预编译合约实现,数据存储采用分布式存储,效率更高; 同时,2.0版本仍然兼容1.0版本的合约,更多关于CRUD接口的介绍,请参考 使用CRUD接口 。 condition查询 更改 • MySQL存储模式支持MySQL 8.0 • 重构交易和区块相关的RPC接口,返回交易和区块的所有字段内容 • 交易推送的回执中带有交易执行结果的报错信息 • P2P模块添加读写idle检查的逻辑 修复 • 解决gcc9和clang12编译报错的问题 • Precompiled合约报错信息写入到回执中,给出更明确的报错提示 • 优化落盘加密,解决落盘加密模式下,存储空间占用大的问题 • rPBFT:基于PBFT共识算法,实现一种新型的共识算法rPBFT,尽量减少节点规模对共识算法的 影响,配置rPBFT请参考共识配置和rPBFT共识配置 • KVTable:提供基于键值型数据读写方式,相较于Table合约的CRUD接口,更加简单易用、容易维 护 • 合约管理功能:提供合约生命周期管理接口,包括合约的冻结、解冻、合约状态查询及其相关 的授权、权限查询等操作,方便运维人员对上链合约的管理0 码力 | 1489 页 | 107.09 MB | 1 年前3
FISCO BCOS 2.9.0 中文文档0新增符合CRUD接口的合约接口规范,简化了将主流的面向SQL设计的商业应用迁移到 区块链上的成本。其好处显而易见: • 与传统业务开发模式类似,降低了合约开发学习成本; • 合约只需关心核心逻辑,存储与计算分离,方便合约升级; • CRUD底层逻辑基于预编译合约实现,数据存储采用分布式存储,效率更高; 同时,2.0版本仍然兼容1.0版本的合约,更多关于CRUD接口的介绍,请参考 使用CRUD接口 。 condition查询 更改 • MySQL存储模式支持MySQL 8.0 • 重构交易和区块相关的RPC接口,返回交易和区块的所有字段内容 • 交易推送的回执中带有交易执行结果的报错信息 • P2P模块添加读写idle检查的逻辑 修复 • 解决gcc9和clang12编译报错的问题 • Precompiled合约报错信息写入到回执中,给出更明确的报错提示 • 优化落盘加密,解决落盘加密模式下,存储空间占用大的问题 • rPBFT:基于PBFT共识算法,实现一种新型的共识算法rPBFT,尽量减少节点规模对共识算法的 影响,配置rPBFT请参考共识配置和rPBFT共识配置 • KVTable:提供基于键值型数据读写方式,相较于Table合约的CRUD接口,更加简单易用、容易维 护 • 合约管理功能:提供合约生命周期管理接口,包括合约的冻结、解冻、合约状态查询及其相关 的授权、权限查询等操作,方便运维人员对上链合约的管理0 码力 | 1489 页 | 107.09 MB | 1 年前3
FISCO BCOS 2-dev 中文文档0新增符合CRUD接口的合约接口规范,简化了将主流的面向SQL设计的商业应用迁移到 区块链上的成本。其好处显而易见: • 与传统业务开发模式类似,降低了合约开发学习成本; • 合约只需关心核心逻辑,存储与计算分离,方便合约升级; • CRUD底层逻辑基于预编译合约实现,数据存储采用分布式存储,效率更高; 同时,2.0版本仍然兼容1.0版本的合约,更多关于CRUD接口的介绍,请参考 使用CRUD接口 。 更改 改 改 • MySQL存储模式支持MySQL 8.0 • 重构交易和区块相关的RPC接口,返回交易和区块的所有字段内容 • 交易推送的回执中带有交易执行结果的报错信息 • P2P模块添加读写idle检查的逻辑 修 修 修复 复 复 • 解决gcc9和clang12编译报错的问题 • Precompiled合约报错信息写入到回执中,给出更明确的报错提示 • 优化落盘加密,解决落盘加密模式下,存储空间占用大的问题 • rPBFT:基于PBFT共识算法,实现一种新型的共识算法rPBFT,尽量减少节点规模对共识算法的 影响,配置rPBFT请参考共识配置和rPBFT共识配置 • KVTable:提供基于键值型数据读写方式,相较于Table合约的CRUD接口,更加简单易用、容易维 护 • 合约管理功能:提供合约生命周期管理接口,包括合约的冻结、解冻、合约状态查询及其相关 的授权、权限查询等操作,方便运维人员对上链合约的管理0 码力 | 1324 页 | 85.58 MB | 1 年前3
FISCO BCOS 2.9.0 中文文档0新增符合CRUD接口的合约接口规范,简化了将主流的面向 SQL设计的商业应用迁移到区块链上的成本。其好处显而易见: 与传统业务开发模式类似,降低了合约开发学习成本; 合约只需关心核心逻辑,存储与计算分离,方便合约升级; CRUD底层逻辑基于预编译合约实现,数据存储采用分布式存储,效率 更高; 同时,2.0版本仍然兼容1.0版本的合约,更多关于CRUD接口的介绍,请参考 使用CRUD接口 。 控制台 condition查询 更改 MySQL存储模式支持MySQL 8.0 重构交易和区块相关的RPC接口,返回交易和区块的所有字段内容 交易推送的回执中带有交易执行结果的报错信息 P2P模块添加读写idle检查的逻辑 修复 解决gcc9和clang12编译报错的问题 Precompiled合约报错信息写入到回执中,给出更明确的报错提示 优化落盘加密,解决落盘加密模式下,存储空间占用大的问题 链和链上验证功能 rPBFT:基于PBFT共识算法,实现一种新型的共识算法rPBFT,尽量减 少节点规模对共识算法的影响,配置rPBFT请参考共识配置和rPBFT共识 配置 KVTable:提供基于键值型数据读写方式,相较于Table合约的CRUD接 口,更加简单易用、容易维护 合约管理功能:提供合约生命周期管理接口,包括合约的冻结、解冻、 合约状态查询及其相关的授权、权限查询等操作,方便运维人员对上链 合约的管理0 码力 | 2649 页 | 201.08 MB | 1 年前3
FISCO BCOS 2.9.0 中文文档0新增符合CRUD接口的合约接口规范,简化了将主流的面向 SQL设计的商业应用迁移到区块链上的成本。其好处显而易见: 与传统业务开发模式类似,降低了合约开发学习成本; 合约只需关心核心逻辑,存储与计算分离,方便合约升级; CRUD底层逻辑基于预编译合约实现,数据存储采用分布式存储,效率 更高; 同时,2.0版本仍然兼容1.0版本的合约,更多关于CRUD接口的介绍,请参考 使用CRUD接口 。 控制台 condition查询 更改 MySQL存储模式支持MySQL 8.0 重构交易和区块相关的RPC接口,返回交易和区块的所有字段内容 交易推送的回执中带有交易执行结果的报错信息 P2P模块添加读写idle检查的逻辑 修复 解决gcc9和clang12编译报错的问题 Precompiled合约报错信息写入到回执中,给出更明确的报错提示 优化落盘加密,解决落盘加密模式下,存储空间占用大的问题 链和链上验证功能 rPBFT:基于PBFT共识算法,实现一种新型的共识算法rPBFT,尽量减 少节点规模对共识算法的影响,配置rPBFT请参考共识配置和rPBFT共识 配置 KVTable:提供基于键值型数据读写方式,相较于Table合约的CRUD接 口,更加简单易用、容易维护 合约管理功能:提供合约生命周期管理接口,包括合约的冻结、解冻、 合约状态查询及其相关的授权、权限查询等操作,方便运维人员对上链 合约的管理0 码力 | 2649 页 | 201.08 MB | 1 年前3
共 245 条
- 1
- 2
- 3
- 4
- 5
- 6
- 25













