2.2.6 字节跳动在 Go 网络库上的实践字节跳动在 Go 网络库上的实践 何晨 字节跳动 基础架构 – 研发 应用层 Netpoll – 面向 RPC 场景的网络库 Go net Netpoll 网络层 RPC 框架 HTTP 框架 KiteX Hertz Netpoll – 性能表现 Environment CPU: 4 cores Memory: 8GB Go: 1.15.4 Netpoll0 码力 | 42 页 | 3.19 MB | 1 年前3
Zadig 面向开发者的云原生 DevOps 平台生 产 环 境 。 字节跳动 - 飞书场景一:主干开发主干发布 工具链: 飞书 + Gerrit + Zadig + 内部发布平台 技术栈: Go +git ( yml ) + 多集群 K8s 分支策略: 单分支 master 开发 环境策略: 4 套同构环境动态分配 测试管理: 500 API+E2E cases 字节跳动 - 飞书场景二: Gerrit 帮助 平均每周自动部署 1200 次 Zadig 可用性极高,没有 Zadig 集成测试完 全没法做。 —— 字节跳动 SRE 工程师卢肇 兴 解决方案: Gerrit + Zadig 实现机器自动验证 扫 码 查 看 案 例 细 节 典型客户:新零售独角兽 用 Zadig 工程师,目前 Zadig ” 的定位是音视频端到端集成测试,战略地位非常高。 —— 字节跳动 飞书 SRE Tech Lead 吴 国华 全面使用: 自动驾驶 7 大集群 / 几十个项目 / 上百服务高频交付 “ 我们通过 Zadig 能更快落地标准化、自动化的0 码力 | 59 页 | 81.43 MB | 1 年前3
Zadig 面向开发者的云原生 DevOps 平台n e 发 版 生 产 环 境 。 字节跳动 - 飞书场景一:主干开发主干发布 工具链: 飞书 + Gerrit + Zadig + 内部发布平台 技术栈: Go +git(yml)+多集群 K8s 分支策略: 单分支 master 开发 环境策略: 4 套同构环境动态分配 测试管理: 500 API+E2E cases 字节跳动 - 飞书场景二: Gerrit + Zadig Zadig 企业落地案例 扫 码 查 看 案 例 细 节 典型案例:Zadig 帮助 平均每周自动部署1200次 Zadig 可用性极高,没有 Zadig 集成测试完全 没法做。 ——字节跳动 SRE 工程师卢肇兴 解决方案:Gerrit + Zadig 实现机器自动验证 扫 码 查 看 案 例 细 节 典型客户:新零售独角兽 用 Zadig 15万家门店周发布7次 “没有 Zadig 持续使用三年: 基于 Zadig 数万次运行自动化测试 “覆盖飞书视频云 250+ 和视频架构团队 RTC 300+ 工程师,目前 Zadig 的 定位是音视频端到端集成测试,战略地位非常高。” ——字节跳动 飞书 SRE Tech Lead 吴国华 全面使用: 自动驾驶 7 大集群/几十个项目/上百服务⾼频交付 “我们通过 Zadig 能更快落地标准化、自动化的 CI/CD, 给研发更好的用户体验,高效稳定地完成服务的构建与0 码力 | 59 页 | 23.57 MB | 1 年前3
高性能 Kubernetes 元数据存储 KubeBrain 的设计思路和落地效果-许辰KubeBrain 字节跳动高性能 K8s 元信息存储 许辰 字节跳动资深研发工程师 许 辰 字节跳动基础架构工程师 本科和硕士毕业于北京大学计算机系 负责大规模 Kubernetes 系统的构建和优化 KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景0 码力 | 60 页 | 8.02 MB | 1 年前3
IPC性能极致优化方案-RPAL落地实践IPC性能极致优化方案-RPAL落地实践 谢正尧 字节跳动 研发工程师 目 录 方案诞生的背景 01 全进程地址空间共享与保护 02 用户态进程切换 03 高效的Go Event Poller 04 RPC框架Kitex集成 05 性能收益与业务展望 06 方案诞生的背景 第一部分 方案诞生的背景 几种常见的同机通信场景: 1. 微服务合并部署(亲和性部署、sidecar 测试,对比 uds 和 rpal 的性能差异: 注:以上仅测试包含序列化开销的性能对比,benchmark测试受影响因素较多,实际收益需结合业务场景。 性能压测 性能收益与业务展望 1. 字节跳动微服务合并部署场景下,部分服务通过接入 RPAL 整体取得了 1-5% 的 CPU 收益, 以及 RPC 链路 1-6ms 的 P99 延迟下降。 2. 将某项 Mesh 提供的治理功能进行同步 RPAL 定制化场景深度优化: 同步 RPAL Call; 请求/响应 Zero Copy; 2. 业务进程与服务网格 IPC 性能优化: 结合用户态协议栈,实现网络 IO 绕过内核 CloudWeGo 是一套由字节跳动基础架构服务框架团队开源的、 可快速构建企业级云原生微服务架构 的中间件集合。 CloudWeGo 项目共同的特点是高性能、高扩展性、高可靠,专 注于微服务通信与治理。 CloudWeGo 包括0 码力 | 39 页 | 2.98 MB | 1 年前3
Rust 是否需要另⼀种“⾊彩”的 Future? - 郭⼦兴第三届中国Rust开发者⼤会 Rust 是否需要另⼀种“⾊彩”的 Future? 郭⼦兴,字节跳动服务框架团队研发⼯程师。 作者 Rust 是否需要另⼀种“⾊彩”的 Future? 标题 Rust 编译器将 async 块翻译成由标准库提供的 Future 类型,⽤户可以⽅便地通过⾃定义 Future 以实现⾮阻塞 的 IO 或并发控制语义。异步执⾏器被允许在任意时刻删除⽣成的 Future io-uring 等异步模型让 Future 的取消不 再⽆副作⽤,这可能导致严重的错误 # 不再是⽆副作⽤的取消 # 最终与折中⽅案 引⼊另⼀种“颜⾊”的 Future 以最终解决 问题,或者基于字节跳动开源的异步驱动 器 monoio 探索的折中⽅案 ⽬录 Rust 中的异步 Rust 基于 Future trait 实现异步编程 pub trait Future { type f2().await; �� This is also OK } monoio 中的解决⽅案 Monoio: https://github.com/bytedance/monoio 是字节跳动开源的 Rust 异步驱动器,它⽀持以 io-uring 驱动 IO。 相较于 Tokio,Monoio 移动 buffer 的所有权以避免 buffer 随着析构 Future ⽽意外释放。0 码力 | 19 页 | 7.77 MB | 1 年前3
2023 中国开源开发者报告的开源协议发布。 目前,Apache DolphinScheduler 项目已应用 于 3000+ 家公司生产实践环境。 成为 ASF 顶级项目 35 / 87 1 1 渠成开源社区成立两周年 字节跳动开源 Shmipc 开源开发者事件回顾 CNCF 社区首个,KubeEdge 达到软件供应链 SLSA L3 等级 Kuasar 是华为云全新的云原生开源项目。 在保留传统容器运行时功能的基础上,Kuasar 开发者可以简单方 便地上手 Apollo 开放平台、投身自动驾驶技术领域。 百度正式推出 Apollo 开放平台 9.0 PolarDB-X V2.3 集中式和分布式 Katalyst 是字节跳动对多年大规模业务云原生化场景中资源管理能力的抽象 和总结,我们期望通过 Katalyst 的开源直接或间接地帮助用户做好资源管理, 实现降本增效。 2023 年 4 月,APUS 大模型正式发布。APUS 的深度性能有大约 50-500%的提升,其中 1 to 5 steps 大约有 600%的提升;Match2HOP_count 的性能有 15%幅度的提升。 字节跳动开源 Katalyst:在离线混部调度 成本优化升级 一体化开源发布 字节跳动发布自研 Web 构建工具 Rspack Rspack 是由 ByteDance Web Infra 团队孵化的基于 Rust 语言开发的 Web 构建工具,拥有高性能、兼容0 码力 | 87 页 | 31.99 MB | 1 年前3
机器学习课程-温州大学-01机器学习-引言共同获得了2018年计算机科学的最高奖项 ——ACM图灵奖。 机器学习界的执牛耳者 Andrew Ng 中文名吴恩达,斯坦福大学副教 授,前“百度大脑”的负责人与百 度首席科学家。 6 李航, 现任字节跳动科技有限公司人 工智能实验室总监,北京大学、南京 大学客座教授,IEEE 会士,ACM 杰 出科学家,CCF 高级会员。 代表作:《统计学习方法》 机器学习界的国内泰斗 周志华,南京大学计算机科学与技 Watson(IBM沃森) 深度学习、智适应学习技术 计算机 美国 1911年 上市 市值1198亿美元 11 松鼠AI 1对1 智适应学习技术、机器学习 教育 中国 2015年 A轮融资 估值11亿美元 12 字节跳动 跨媒体分析推理技术、深度学习、自 然 语言处理、图像识别 资讯 中国 2012年 Pre-IPO轮融资 估值750亿美元 13 Netflix(网飞) 视频图像优化、剧集封面图片个性 化 、视频个性化推荐0 码力 | 78 页 | 3.69 MB | 1 年前3
机器学习课程-温州大学-01深度学习-引言共同获得了2018年计算机科学的最高奖项 ——ACM图灵奖。 深度学习界的执牛耳者 Andrew Ng 中文名吴恩达,斯坦福大学副教 授,前“百度大脑”的负责人与百 度首席科学家。 6 李航, 现任字节跳动科技有限公司人 工智能实验室总监,北京大学、南京 大学客座教授,IEEE 会士,ACM 杰 出科学家,CCF 高级会员。 代表作:《统计学习方法》 国内泰斗 周志华,南京大学计算机科学与技 术系主任 Watson(IBM沃森) 深度学习、智适应学习技术 计算机 美国 1911年 上市 市值1198亿美元 11 松鼠AI 1对1 智适应学习技术、机器学习 教育 中国 2015年 A轮融资 估值11亿美元 12 字节跳动 跨媒体分析推理技术、深度学习、自 然 语言处理、图像识别 资讯 中国 2012年 Pre-IPO轮融资 估值750亿美元 13 Netflix(网飞) 视频图像优化、剧集封面图片个性 化 、视频个性化推荐0 码力 | 80 页 | 5.38 MB | 1 年前3
Build a lightweight logging and tracing tool with Apache Arrow, Parquet and DataFusion 朱霜vision of Duo Content Introduction • ID: Folyd • GitHub: @folyd • 博客: https://folyd.com • ⼯作:字节跳动 (⽕⼭引擎) Duo - Observability duet: Logging and Tracing https://github.com/duo-rs/duo Logging and0 码力 | 26 页 | 11.05 MB | 1 年前3
共 52 条
- 1
- 2
- 3
- 4
- 5
- 6













