2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 1/36 基于 mesos 的容器调度框架 Gopher 杭州 meetup 5 August 2017 黄励博(huangnauh) 又拍云 2017/8/3 基于 mesos 的容器调度框架 http://go-talks http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 2/36 What's Upone 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 3/36 Mesos 介绍 Image credit: mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 4/36 Mesos 调度 各个 Agent 启动后, 向 Master 注册，携带统计资源, 由 Master 决定给每个框架多少资源, 默认 采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配

Go 语⾔的抢占式调度 曹春晖 资深 Gopher ⽬ 录 Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 ⽼版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语⾔还有哪些问题 06 Go 程序的启动 第⼀部分 编译过程 Go 程序 hello.go 的编译过程： ⽂本 -> 编译 -> ⼆进制可执⾏⽂件 编译过程 编译：⽂本代码 -> g0 初 始 化 m0: Go 程序启动后创建的第⼀个线程； 获 取 CPU 核 ⼼ 数 初 始 化 内 置 数 据 结 构 开 始 执 ⾏ ⽤ 户 main 函 数 从这⾥开始 进⼊调度循环 GMP 的本质 第⼆部分 G、M、P 的本质 G：goroutine，⼀个计算任务。由需要执⾏的代码和其上下⽂组成，上下⽂ 包括：当前代码位置，栈顶、栈底地址，状态等。 M：machine，系统线程，执⾏实体，想要在 才能执⾏代码，否则必须陷⼊休 眠(后台监控线程除外)，你也可以将其理解为⼀种 token，有这个 token，才 有在物理 CPU 核⼼上执⾏的权⼒。 G、P、M 的全局⼤图 调度循环的实现 第三部分 调度循环 在这⾥输⼊标题 https://www.figma.com/proto/JYM6TcdzBx7WtanhcJX0rP/bootstrap-Copy?page-id=5106%3A2&node-

邱戈川 (了哥) 微信公众号： VIPDOCKER 唯品会开源弹性调度系统 Saturn的“前世今生” 黄国钦 (Chembo) 唯品会高级开发工程 师 內容主题 为何而生 瓜熟蒂落 有女初长成 女大须嫁 https://github.com/vipshop/Saturn 婆媳关系 为何而生 传统调度系统的问题、产品的定 位与选型 需要解决的问题 1 6 4 3 2 缺少分布式并行调度的功能 阿里早期开源的分布式任务调度系 统，代码略陈旧 作业类型较单一，只能是获取/处理 数据一种模式 当当开源的分布式任务调度系统 代码较新，使用Quartz进行调度。提供 高可用和分布式功能 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 没有容器化选型？ 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Java、Shell以及本地模式(VIP还支持消息模式) 统一配置、统一监控、统一管理 VIP弹性调度系统 -- Saturn 开源地址： Github.com/vipshop/Saturn 体系中的定位 服务化框OSP 开发框架Venus 唯品会基础架构体系 消息队列 VMS 全链路监控 Mercury 统一日志平台

数据库异常智能分析与诊断 1059 美团外卖广告智能算力的探索与实践（二） 1079 Linux 下跨语言调用 C++ 实践 1101 GPU 在外卖场景精排模型预估中的应用实践 1130 美团集群调度系统的云原生实践 1149 广告平台化的探索与实践 | 美团外卖广告工程实践专题连载 1161 数据 1193 Kafka 在美团数据平台的实践 1193 美团综合业务推荐系统的质量模型及实践 为了获得更多高质量的正样本，YOLOv6 引入了 SimOTA [4] 算法动态分配正样本， 进一步提高检测精度。YOLOv5 的标签分配策略是基于 Shape 匹配，并通过跨网格 匹配策略增加正样本数量，从而使得网络快速收敛，但是该方法属于静态分配方法， 并不会随着网络训练的过程而调整。 近年来，也出现不少基于动态标签分配的方法，此类方法会根据训练过程中的网络输 出来分配正样本，从而可以 由于使用了 Sinkhorn-Knopp 算法导致训练时间加长， 而 SimOTA[4] 算法使用 Top-K 近似策略来得到样本最佳匹配，大大加快了训练速 度。故 YOLOv6 采用了 SimOTA 动态分配策略，并结合无锚范式，在 nano 尺寸 模型上平均检测精度提升 1.3% AP。 SIoU 边界框回归损失 为了进一步提升回归精度，YOLOv6 采用了 SIoU[9] 边界框回归损失函数来监督网络

标的飞速提升。 算法 2 > 美团 2020 技术年货 首先，让我们看看在美团 App 内的一次完整的搜索行为主要涉及哪些技术模块。如 下图所示，从点击输入框到最终的结果展示，从热门推荐，到动态补全、最终的商户 列表展示、推荐理由的展示等，每一个模块都要经过若干层的模型处理或者规则干 预，才会将最适合用户（指标）的结果展示在大家的眼前。 为了保证良好的用户体验，技术团队对模型预估能力的要求变得越来越高，同时模型 "default_value": -1 } 通过以上配置，一个模型可以通过特征名和 Transformer 的组合清晰地表达。因此， 模型与特征都只是一段纯文本配置，可以保存在外部，Augur 在需要的时候可以动态 的加载，进而实现模型和特征的上线配置化，无需编写代码进行上线，安全且高效。 其中，我们将输入模型的特征名（tf_input_name）和原始特征名（name）做了区分。 这样的话，就可以只在 很容易导致模型过拟合，所以 需要大量的泛化特征来较好的表达用户。这些泛化特征可以分为两类：一类是偏静态 的特征，例如用户的基本属性（年龄、性别、职业等等）特征、长期偏好（品类、价格 等等）特征；另一类是动态变化的特征，例如刻画用户兴趣的实时行为序列特征。而 用户实时行为特征能够明显加强不同样本之间的区分度，所以在模型中优化用户行为 序列建模是让模型更好理解用户的关键环节。 目 前， 主 流 方 法

1. 研发成本高，每个需求要开发新的配置管理页面。 2. 研发周期长，运营效率低，从需求的提出到运营上线周期长。 3. 灵活性差，对不同的运营维度（城市、版本、时间等）都需要事先确定好，无法动态调整。 上线流程“粗糙” 上线流程“粗糙” 在早期，运营配置上线流程需要研发同学参与。产品提出运营配置需求，研发同学通过修改代码对配置进 行变更，然后通过代码上线进行发布。整体流程如下： 这种上线机制存在以下几个问题： 数据JSON化 数据JSON化 随着业务的不断迭代，无论采用怎样的数据字段组成，都无法满足业务变化的字段（这里是指像标题、副 标题、图片、跳转链接等）要求。对底层数据进行JSON化，其对应的数据字段完全可动态扩展，从而满 足业务不断迭代的需求。JSON化随之也会带来运营位字段管理的问题，我们通过字段管理的工具来解决 这个问题。 运营流程化 运营流程化 设计一套整体的流程管理机制，解决运营的投放、 Application Tracking），是美团点评基于 Java 开发的一套开源的分布式实时监控系统。 美团点评基础架构部希望在基础存储、高性能通信、大规模在线访问、服务治理、实时监控、容器化及集 群智能调度等领域提供业界领先的、统一的解决方案，CAT 目前在美团点评的产品定位是应用层的统一 监控组件，在中间件（RPC、数据库、缓存、MQ 等）框架中得到广泛应用，为各业务线提供系统的性能 指标、健康状况、实时告警等服务。

中文学习资源：http://laravelacademy.org 1 一、序言 新版特性 Laravel 5.6 在 Laravel 5.5 的基础上继续进行优化，包括日志系统、单机任务调度、模型序列化优化、动态频率限制、广播频道类、API 资源控制器 生成、Eloquent 日期格式化优化、Blade 组件别名、Argon2 密码哈希支持、引入 Collision 扩展包等等等等。此外，所有的前端脚手架代码都已升 查看完整日志文档。 单机任务调度 注：要使用这个新特性，必须使用 memcached 或 redis 缓存驱动作为应用默认缓存驱动。此外，所有服务器必须和同一个中心缓存服务器进行通 信。 如果你的应用运行在多个服务器上，现在可以限定只在一台机器上运行调度任务。例如，假设你有一个在每周五晚上生成新报告的调度任务，如果任 务调度器运行在三个服务器上，这个调度任务就会在三台机器上运行并生成同样的报告三次，这样很不优雅，甚至很糟糕！ 的报告三次，这样很不优雅，甚至很糟糕！ 要指定任务只在一台机器上运行，可以在定义调度任务时使用 onOneServer 方法，第一台获取到任务的机器会给这个任务上一把原子级别的锁来阻 止其他服务器同时运行同一个任务： $schedule->command('report:generate') ->fridays() ->at('17:00')

，也就是说核函数 可以调用另一个核函数，且其三重尖括号 里的板块数和线程数可以动态指定，无需 先传回到 CPU 再进行调用，这是 CUDA 特有的能力。 常用于这种情况：需要从 GPU 端动态计算出 blockDim 和 gridDim ，而又不希望导回数据到 CPU 导致强制同步影响性能。 这种模式被称为动态并行（ dynamic parallelism ）， OpenGL 有一 个 kernel 内判断当前 i 是否超过 了 n ，如果超过就要提前退出，防止越界 。 网格跨步循环：应用于线程和板块一起上的情况 • 网格跨步循环实际上本来是这样，利用扁平 化的线程数量和线程编号实现动态大小。 • 同样，无论调用者指定每个板块多少线程 （ blockDim ），总共多少板块（ gridDim ）。 都能自动根据给定的 n 区间循环，不会越界 ，也不会漏掉几个元素。 • 这样一个 据。还有点特殊的性质，我们稍后会 讲。 • 通常板块数量总是大于 SM 的数量，这时英伟达驱动就会在多个 SM 之间调度你提交的 各个板块。正如操作系统在多个 CPU 核心之间调度线程那样…… • 不过有一点不同， GPU 不会像 CPU 那样做时间片轮换——板块一旦被调度到了一个 SM 上，就会一直执行，直到他执行完退出，这样的好处是不存在保存和切换上下文（寄 存器，共享内存等）的开销，毕竟

r) 的地方现在都要改 成 $builder->withoutGlobalScopes()。 事件 核心事件对象 Laravel 的一些核心事件触发现在使用事件对象取代之前的事件名称以及动态参数，下面 是原来的事件名称与现在的事件对象对应关系： Old New auth.attempting Illuminate\Auth\Events\Attempting auth.login 目录中运行 vagrant provision 命令即 可。 配置 Cron 调度任务 Laravel 提供了很方便的方式来调度 Cron 任务：只需每分钟调度运行一次 Artisan 命 令 schedule:run 即可。schedule:run 会检查定义在 App\Console\Kernel 类中定义的调度 任务并判断运行哪些任务。 如果想要为某个 Homestead 站点运行 schedule:run 请求方法，因为对所有请求方式的输入访问接口都是一致 的： $name = $request->input('name'); 此外，你也可以通过使用 Illuminate\Http\Request 实例上的动态属性来访问用户输入。 例如，如果你的应用表单包含 name 字段，那么可以像这样访问提交的值： $name = $request->name; 你还可以传递一个默认值作为第二个参数给 input

前缀，你甚至可以在同时调用多个作用域，例如： $users = App\User::popular()->women()->orderBy('created_at')->g et(); 7.2 动态作用域 有时候你可能想要定义一个可以接收参数的作用域，你只需要将额外的参数添加到你的作用 域即可。作用域参数应该被定义在$query 参数之后： hasOne('App\Phone'); } } 传递给 hasOne 方法的第一个参数是关联模型的名称，关联关系被定义后，我们可以使用 Eloquent 的动态属性获取关联记录。动态属性允许我们访问关联函数就像它们是定义在模 型上的属性一样： $phone = User::find(1)->phone; Eloquent 默认关联关系的外键基于模型名称，在本例中，Phone 后缀作为外键。因此，在本例中，Eloquent 假设 Comment 模型上的外键是 post_id。 关联关系被定义后，我们就可以通过访问 comments 属性来访问评论集合。记住，由于 Eloquent 提供“动态属性”，我们可以像访问模型的属性一样访问关联方法： $comments = App\Post::find(1)->comments; foreach ($comments as $comment)