2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 1/36 基于 mesos 的容器调度框架 Gopher 杭州 meetup 5 August 2017 黄励博(huangnauh) 又拍云 2017/8/3 基于 mesos 的容器调度框架 http://go-talks http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 2/36 What's Upone 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 3/36 Mesos 介绍 Image credit: mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 4/36 Mesos 调度 各个 Agent 启动后, 向 Master 注册，携带统计资源, 由 Master 决定给每个框架多少资源, 默认 采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配

Go 语⾔的抢占式调度 曹春晖 资深 Gopher ⽬ 录 Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 ⽼版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语⾔还有哪些问题 06 Go 程序的启动 第⼀部分 编译过程 Go 程序 hello.go 的编译过程： ⽂本 -> 编译 -> ⼆进制可执⾏⽂件 编译过程 编译：⽂本代码 -> g0 初 始 化 m0: Go 程序启动后创建的第⼀个线程； 获 取 CPU 核 ⼼ 数 初 始 化 内 置 数 据 结 构 开 始 执 ⾏ ⽤ 户 main 函 数 从这⾥开始 进⼊调度循环 GMP 的本质 第⼆部分 G、M、P 的本质 G：goroutine，⼀个计算任务。由需要执⾏的代码和其上下⽂组成，上下⽂ 包括：当前代码位置，栈顶、栈底地址，状态等。 M：machine，系统线程，执⾏实体，想要在 才能执⾏代码，否则必须陷⼊休 眠(后台监控线程除外)，你也可以将其理解为⼀种 token，有这个 token，才 有在物理 CPU 核⼼上执⾏的权⼒。 G、P、M 的全局⼤图 调度循环的实现 第三部分 调度循环 在这⾥输⼊标题 https://www.figma.com/proto/JYM6TcdzBx7WtanhcJX0rP/bootstrap-Copy?page-id=5106%3A2&node-

邱戈川 (了哥) 微信公众号： VIPDOCKER 唯品会开源弹性调度系统 Saturn的“前世今生” 黄国钦 (Chembo) 唯品会高级开发工程 师 內容主题 为何而生 瓜熟蒂落 有女初长成 女大须嫁 https://github.com/vipshop/Saturn 婆媳关系 为何而生 传统调度系统的问题、产品的定 位与选型 需要解决的问题 1 6 4 3 2 缺少分布式并行调度的功能 阿里早期开源的分布式任务调度系 统，代码略陈旧 作业类型较单一，只能是获取/处理 数据一种模式 当当开源的分布式任务调度系统 代码较新，使用Quartz进行调度。提供 高可用和分布式功能 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 没有容器化选型？ 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Java、Shell以及本地模式(VIP还支持消息模式) 统一配置、统一监控、统一管理 VIP弹性调度系统 -- Saturn 开源地址： Github.com/vipshop/Saturn 体系中的定位 服务化框OSP 开发框架Venus 唯品会基础架构体系 消息队列 VMS 全链路监控 Mercury 统一日志平台

数据库异常智能分析与诊断 1059 美团外卖广告智能算力的探索与实践（二） 1079 Linux 下跨语言调用 C++ 实践 1101 GPU 在外卖场景精排模型预估中的应用实践 1130 美团集群调度系统的云原生实践 1149 广告平台化的探索与实践 | 美团外卖广告工程实践专题连载 1161 数据 1193 Kafka 在美团数据平台的实践 1193 美团综合业务推荐系统的质量模型及实践 复现彼此的方案。图学习平台 针对常见的“构图、训练、评测、导出”流程提供了自动化的调度，在适当的 时候可以复用前一阶段的结果，以提升效率。例如，如果数据集的定义没有变 算法 < 81 化，可以跳过 Spark 构图阶段直接使用已有的图数据。此外，针对模型上线 的需求，平台提供构图和建模方案整合和定时调度等功能。 7. 总结 本文介绍了美团搜索与 NLP 团队在图神经网络框架建设方面的实践经验，包括 同一时刻在不同频 道同时下单，因此简单地将每个入口看作一个任务作为学习目标的传统多任务 建模范式，难以取得较好的模型精度。 ● 为满足用户的体验，不同频道会有相应的品类规则、时段规则、以及特殊的业 务扶持规则，这使得各频道推荐入口间有不同程度的差异与共性。不同推荐入 口在用户与商家两方面存在交集的同时，在用户行为、商家分布等方面也存在 不小差异，比如首页 Feed 会包含全部商家品类，甜点饮品主要包含奶茶、咖

中文学习资源：http://laravelacademy.org 1 一、序言 新版特性 Laravel 5.6 在 Laravel 5.5 的基础上继续进行优化，包括日志系统、单机任务调度、模型序列化优化、动态频率限制、广播频道类、API 资源控制器 生成、Eloquent 日期格式化优化、Blade 组件别名、Argon2 密码哈希支持、引入 Collision 扩展包等等等等。此外，所有的前端脚手架代码都已升 查看完整日志文档。 单机任务调度 注：要使用这个新特性，必须使用 memcached 或 redis 缓存驱动作为应用默认缓存驱动。此外，所有服务器必须和同一个中心缓存服务器进行通 信。 如果你的应用运行在多个服务器上，现在可以限定只在一台机器上运行调度任务。例如，假设你有一个在每周五晚上生成新报告的调度任务，如果任 务调度器运行在三个服务器上，这个调度任务就会在三台机器上运行并生成同样的报告三次，这样很不优雅，甚至很糟糕！ 的报告三次，这样很不优雅，甚至很糟糕！ 要指定任务只在一台机器上运行，可以在定义调度任务时使用 onOneServer 方法，第一台获取到任务的机器会给这个任务上一把原子级别的锁来阻 止其他服务器同时运行同一个任务： $schedule->command('report:generate') ->fridays() ->at('17:00')

目录中运行 vagrant provision 命令即 可。 配置 Cron 调度任务 Laravel 提供了很方便的方式来调度 Cron 任务：只需每分钟调度运行一次 Artisan 命 令 schedule:run 即可。schedule:run 会检查定义在 App\Console\Kernel 类中定义的调度 任务并判断运行哪些任务。 如果想要为某个 Homestead 站点运行 schedule:run 方法。外键约束和索引使用同样的命名规则—— 连接表名、外键名然后加上“_foreign”后缀： $table->dropForeign('posts_user_id_foreign'); 填充数据 1、简介 Laravel 包含了一个简单方法来填充数据库——使用填充类和测试数据。所有的填充类都位 于 database/seeds 目录。填充类的类名完全由你自定义，但最好还是遵循一定的规则，比 如可读性，例如 ent\Model; class Flight extends Model{ // } 表名 注意我们并没有告诉 Eloquent 我们的 Flight 模型使用哪张表。默认规则是模型类名的复 数作为与其对应的表名，除非在模型类中明确指定了其它名称。所以，在本例中， Eloquent 认为 Flight 模型存储记录在 flights 表中。你也可以在模型中定义 table

Request::input 方法。所有 其他调用 Input 门面的地方都需要做类似调整。 任务调度 本文档由学院君提供 学院君致力于提供优质 Laravel 中文学习资源：https://xueyuanjun.com 23 between 方法 影响级别：低 在之前版本的 Laravel 中，调度器的 between 方法会出现跨越日期 边界的混乱行为，例如： $schedule->c $schedule->command('list')->between('23:00', '4:00'); 对大多数用户来说，编写上述调度期望的行为是在 23:00 到 4:00 之间每分钟运行一次 list 命令，然而，在之前版本的 Laravel 中， 这个调度器的执行逻辑反过来了，会在 4:00 到 23:00 之间每分钟 执行一次 list 命令，在 Laravel 6.0 中，这一错误行为被纠正。 存储 目录包含应用所有自定义的 Artisan 命令，这些命令类可以 使用 make:command 命令生成。该目录下还有 Console/Kernel 类， 在这里可以注册自定义的 Artisan 命令以及定义调度任务。 Events 目录 这个目录默认不存在，但是可以通 过 event:generate 和 make:event 命令创建。该目录用于存放事件 类。事件类用于告知应用其他部分某个事件发生情况并提供灵活的、

方法。外键约束和索引使用同样的命名规则——连 接表名、外键名然后加上”_foreign”后缀： $table->dropForeign('posts_user_id_foreign'); 填充数据 1、简介 Laravel 包含了一个简单方法来填充数据库——使用填充类和测试数据。所有的填充类都位 于 database/seeds 目录。填充类的类名完全由你自定义，但最好还是遵循一定的规则，比 如可读性，例如 el; class Flight extends Model{ // } 2.1.1 表名 注意我们并没有告诉 Eloquent 我们的 Flight 模型使用哪张表。默认规则是模型类名的复数 作为与其对应的表名，除非在模型类中明确指定了其它名称。所以，在本例中，Eloquent 认为 Flight 模型存储记录在 flights 表中。你也可以在模型中定义 table 属性来指定自定 org）提供 120 第一个传递到 hasManyThrough 方法的参数是最终我们希望访问的模型的名称，第二个参数 是中间模型名称。 当执行这种关联查询时通常 Eloquent 外键规则会被使用，如果你想要自定义该关联关系的 外键，可以将它们作为第三个、第四个参数传递给 hasManyThrough 方法。第三个参数是中 间模型的外键名，第四个参数是最终模型的外键名。 class

...................................................................................... 528 12.2 任务调度 .................................................................................................. 目录包含应用所有自定义的 Artisan 命令，这些命令类可以使用 make:command 命令生成。 该目录下还有 console 核心类，在这里可以注册自定义的 Artisan 命令以及定义调度任务。 Events 目录 这个目录默认不存在，但是可以通过 event:generate 和 event:make 命令创建。该目录用于存放 事件类。事件类用于告知应用其他部分某个事件发生并提供灵活的、解耦的处理机制。 学院致力于提供优质 Laravel 中文学习资源 60 配置 Cron 调度任务 Laravel 提供了很方便的方式来调度 Cron 任务：只需每分钟调度运行一次 Artisan 命 令 schedule:run 即可。schedule:run 会检查定义在 App\Console\Kernel 类中定义的调度任务并 判断运行哪些任务。 如 果 想 要 为 某 个 Homestead

Application Tracking），是美团点评基于 Java 开发的一套开源的分布式实时监控系统。 美团点评基础架构部希望在基础存储、高性能通信、大规模在线访问、服务治理、实时监控、容器化及集 群智能调度等领域提供业界领先的、统一的解决方案，CAT 目前在美团点评的产品定位是应用层的统一 监控组件，在中间件（RPC、数据库、缓存、MQ 等）框架中得到广泛应用，为各业务线提供系统的性能 指标、健康状况、实时告警等服务。 美团点评基础架构团队诚招 Java 高级、资深技术专家，Base北京、上海。我们是集团致力于研发公司 级、业界领先基础架构组件的核心团队，涵盖分布式监控、服务治理、高性能通信、消息中间件、基础存 储、容器化、集群调度等技术领域。欢迎有兴趣的同学投送简历到 yong.you@dianping.com。 LruCache在美团DSP系统中的应用演进 - 美团技术团队 LruCache在美团DSP系统中的应用演进 如果该业务要把IP段10.4.242.16/34的请求转发到10.4.232.110时，if指令勉强还可以支持。但对于上述的 复杂业务场景，if指令均无法支持。除此之外，这种方式还存在以下两点不足： 规则调整不支持动态化：如果要把客户端10.4.242.16调整为10.4.242.17，需要对Nginx进行reload，而reload操作会 使Nginx的并发能力下降，业务高峰时甚至会导致请求504或502。