KubeCon2020/腾讯会议大规模使用Kubernetes的技术实践0 码力 | 19 页 | 10.94 MB | 1 年前3
腾讯基于 Kubernetes 的企业级容器云实践-罗韩梅腾讯基于kubernetes的企业级容器 云实践 罗韩梅 腾讯 专家工程师 自我介绍 罗韩梅,腾讯 T4 专家工程师,2009 年加入腾讯,现任数据平台部容器云开发组组长。 拥有多年分布式系统研发经验,对大数据、云计算、容器等有深刻理解。从事过自研容 器云平台,大数据云平台,以及面向公司内外的通用容器云平台,从无到有,从自研到 开源生态,从公司内部平台到同时面向To B市场。目前专注于容器云平台领域,负责腾 B市场。目前专注于容器云平台领域,负责腾 讯企业级容器云平台 。 2009年-2013年 2014年-今 2015年-今 自研容器云平台 腾讯大数据云 通用云平台 目录 • 架构简介 • 企业级容器云解决方案 • Next 企业级容器云架构 产品功能 企业级容器云解决方案 企业级 场景 易用 • 全组件自动化部署、统一配置管理、多策略灰度升级 • 提供可视化、自动化的运维能力,降低使用者的人力成本和学习成本 共享云盘:云存储,多容器共享,同时读写 内置云盘:云存储,每容器独享,用户无感知 云存储 • 支持在线扩容、quota管理、权限管理 • 共享云盘基于cephFS • 内置云盘基于cephRBD • 腾讯内部ceph版本,微信同款 能力扩展:GPU支持 分布式存储Ceph 海量小数据读写优化 不同用户配额管理 任务带盘迁移 智能拓扑感知 GPU卡拓扑感知 资源访问代价树决策 资源调度算法解决碎片化0 码力 | 28 页 | 3.92 MB | 1 年前3
腾讯云 Kubernetes 高性能网络技术揭秘——使用 eBPF 增强 IPVS 优化 K8s 网络性能-范建明TKE使用eBPF优化 k8s service Jianmingfan 腾讯云 目录 01 Service的现状及问题 优化的方法 02 和业界方法的比较 性能测试 03 04 解决的BUG 未来的工作 05 06 01 Service的现状及问题 什么是k8s Service • 应用通过固定的VIP访问一组pod,应用对Pod ip变化 无感知 • 本质是一个负载均衡器 centos • 独立开源 • 内核修改在github.com/Tencent/TencentOS-kernel/ THANK YOU 感谢聆听 Jianmingfan 腾讯云 了解更多云原生技术和动态,请关注腾讯云原生公众号0 码力 | 27 页 | 1.19 MB | 9 月前3
谭国富:深度学习在图像审核的应用深度学习在图像审核的应用 腾讯优图实验室 谭国富 http://open.youtu.qq.com SACC2017 优图团队立足于社交网络大平台,借助社交业务积累 的海量人脸、图片、音乐等数据,专注在人脸、图像、 音乐、语音、机器学习等领域开展技术研究,并积极 推动研究成果在业务中落地产生价值。 关于优图实验室 人脸识别 图像识别 音频识别 SACC2017 目录 01 腾讯优图内容审核能力介绍 成本高;迫切需要技术解决方案 SACC2017 图像内容审核技术 OCR技术 图像分割以及超分辨率技术 优图图像技术还包括:图像分类、图像增强、艺术滤镜、图片去水印、图像融合、图像修补等。 图像识别技术 01 腾讯优图图像技术能力 SACC2017 内容审核 - 图片鉴黄解决方案 区分图像中的色情、性感和正常内容 DeepEye可给出图片属于色情、性感和正常 的概率,并结合三者概率给出综合分,通过 – 图像暴恐内容识别 l 识别应用:腾讯云,微云,QQ群 Ø 对于输入的图片,系统将会通过对其内容的识别 分析给出其属于武装份子、管制刀具、枪支弹药、 人群聚集、火灾、血腥、极端主义或恐怖主义标 识的概率,通过其概率最大的类型,判断其图片 性质属于属于暴恐还是正常。 Ø 高准确率: 在内部业务上测试,准确率97%,覆 盖80%以上的案例 Ø 腾讯云,承担每天数亿的图像审核, 已经0 码力 | 32 页 | 5.17 MB | 1 年前3
从推荐模型的基础特点看大规模推荐类深度学习系统的设计 袁镱从推荐模型的基础特点看 袁镱 腾讯 个⼈简介 � ⽆量系统 � 项⽬于17年启动,先后经过了6个主要版本的 迭代 � 覆盖腾讯PCG全部业务的推荐场景,⽀持腾讯 IEG,CSIG,QQ⾳乐,阅⽂等业务的部分推 荐场景 � 袁镱 博⼠,专家⼯程师 � 研究⽅向:机器学习系统,云计算,⼤数据系统 � 负责腾讯平台与内容事业群(PCG)技术中台核 ⼼引擎:⽆量系统。⽀持⼤规模稀疏模型训练, 模型 登记 模型 上线 预测 请求 数据 落地 ⽆量 ⽤户⾏为数据上报 特征 库 内容 获取 请求 � 推荐场景的重要性 � PCG的图⽂,视频推荐(腾讯视频,腾讯新 闻,QQ看点,浏览器,微视, QQ⼩世界等) � 腾讯系内容推荐:阅⽂集团,QQ⾳乐 � Facebook推荐场景推理成本占AI推理成本的 >72% [ISCA2020 RecNMP] � 千亿级推荐模型应⽤ O1 Double Hashing for Recommender Systems 9 千 万 key hash1(key) hash2(key) 千 万 业界⽅案:Double Hashing 腾讯,阿⾥,头条也都⽀持了Double Hashing 场景 内存节省 场景1 88% 场景2 64% 下⼀步的 解空间 未来⽅向—现有推荐架构的问题,算法⼯程协同的解法 � 更基础的复杂模型,场景的快速适应0 码力 | 22 页 | 6.76 MB | 1 年前3
云计算白皮书579 亿元、503 亿元和 361 亿元,增速均超 100%, 远超行业平均水平。据中国信息通信研究院调查统计2,阿里云、天 翼云、移动云、华为云、腾讯云、联通云占据中国公有云 IaaS 市场 份额前六3;公有云 PaaS 方面,阿里云、华为云、腾讯云、天翼云、 百度云处于领先地位。 2 市场规模为 2022 年全年数据统计,主要依据企业财报、人员访谈、可信云评估、历史数据等得出。对于 市场 云计算白皮书(2023 年) 17 灵活便捷的算力资源,一定程度上解决了不同类型芯片的共存问题; 另一方面,它可以满足单一通用云平台无法支撑的复杂业务形态, 从而满足不同场景的用户需求。例如,阿里云、腾讯云、京东云等 厂商均在金融领域有落地实践,通过灵活调度云资源,保障多样化 金融业务在云上平滑运行;中国电子云、天翼云、移动云、联通云、 华为云等厂商均在政务领域有落地实践,利用一云多芯技术打造具 服务、 算力资源、Kubernetes 资源等基础设施进行统一抽象封装;面对多 样化平台能力需求,平台 UI 交互层可按需启用、模块化管理,提供 良好的用户体验等。产业落地方面,目前,阿里云、腾讯云等均积 极落地平台工程,通过平台工程优化开发者体验、提升云应用的研 发效能,并将平台能力赋能金融等行业,满足多场景规模化的研发 需求。 管理层面,FinOps 理念逐步落地,云成本优化技术满足多样化0 码力 | 47 页 | 1.22 MB | 1 年前3
03-基于Apache APISIX的全流量API网关-温铭担任CEO&联合创始人, Apache 顶级项目APISIX的PMC主席, Skywalking开源项目的贡献者(commiter)。在创业之前, 在360做企业安全, 360开源委员会的发起人, 腾讯的TVP, TARS基金会的TOC成员, 在安全领域有四十多个专利, 最近三年全 职在做服务端的开源项目开发。在极客时间专栏著有OpenResty从入门到实战。 我们发现很多应用和服务都在向微服务、容器迁移 有众多信赖的全球领军企业, 带来足够多的新问题, 迭代出更加完美的 产品 行业细分 • 公有云:腾讯、华为、中国移动、DaoCloud • 航天:NASA、中国航信、航天智云 • 物联网:欧盟数字工厂、特斯联 • 租车:大搜车、租租车、优信二手车 • 金融:泰康、同程金服、空中云汇 • 在线教育:好未来、作业帮、腾讯教育、网易有道 APISIX 和 Kong 的对比 对⽐比项 APISIX Kong champion 的评价 • 每个月一个版本,雷打不动,让社区和用户保持习惯和预期 • 当天回复邮件列表和 github issue、PR • 频繁的布道和走访用户:每个月一次 meetup,走访过美团、腾讯、华为、贝壳、平安、又拍云、中 国移动、思必驰、空中云汇、中国航信等几十家企 业 活跃是我们的唯一目标 • 不看 github star • 更关注:如何吸引新的贡献者;如何让贡献者更加活跃 •0 码力 | 11 页 | 6.56 MB | 6 月前3
Docker 从入门到实践 0.9.0(2017-12-31)架构设计 Mesos - 优秀的集群资源调度平台 Mesos 简介 安装与使用 原理与架构 Mesos 配置项解析 日志与监控 常见应用框架 本章小结 容器与云计算 简介 亚马逊云 腾讯云 阿里云 小结 5 1.24 1.24.1 1.24.2 1.24.3 1.24.4 1.24.5 1.25 1.25.1 1.26 1.26.1 1.27 1.27 亚马逊云 303 腾讯云 图 1.23.3.1 - 腾讯云 腾讯云在架构方面经过多年积累,并且有着多年对海量互联网服务的经验。不管是社交、游 戏还是其他领域,都有多年的成熟产品来提供产品服务。腾讯在云端完成重要部署,为开发 者及企业提供云服务、云数据、云运营等整体一站式服务方案。 具体包括云服务器、云存储、云数据库和弹性 web 引擎等基础云服务;腾讯云分析 (MTA)、腾讯云推送(信鸽)等腾讯整体大数据能力;以及 (MTA)、腾讯云推送(信鸽)等腾讯整体大数据能力;以及 QQ互联、QQ 空间、微云、微 社区等云端链接社交体系。这些正是腾讯云可以提供给这个行业的差异化优势,造就了可支 持各种互联网使用场景的高品质的腾讯云技术平台。 腾讯云容器服务是高度可扩展的高性能容器管理服务,用户可以在托管的云服务器实例集群 上轻松运行应用程序。使用该服务,将无需安装、运维、扩展用户的集群管理基础设施,只 需进行简单的API调用,便可启动和停0 码力 | 370 页 | 6.73 MB | 1 年前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)年发布的中国联通云原生安全实践白皮书中[2],对比 分析了不同的组织和企业对云原生安全理念的理解,其中包括 CNCF 认为云原 生安全是一种将安全构建到云原生应用程序中的方法[3]、k8s 提出的云原生 4C 安全模型[4]、腾讯所理解的云原生安全指云平台安全原生化和云安全产品原生化 [5],并给出我们对于云原生安全的理解,即云原生安全是云原生理念的延伸,旨 在解决云原生技术面临的安全问题。 CSA 发布的《云原生安全 云网构成越来越严重的威胁。 例如企业云、5G 核心网和边缘计算、工业互联网等场景如今都面临着云原生安 全风险。 在企业云环境方面,容器化基础设施和云原生应用广泛应用。2023 年 9 月, 腾讯研究院发布的《2023 年上半年云安全态势报告》显示[7],在云环境中容器 资产占比达到 45.06%,攻击者通过攻击容器,就可以进一步获取宿主机系统权 限,威胁宿主机上的其他容器和内网安全。另外,随着各个企业云上业务的快速 io/docs/concepts/security/overview/ [5] 腾讯云计算(北京有限责任公司),中国信息通信研究院等.“云”原生安全 白皮书,2020 年. [6] CSA 云安全联盟标准. 云原生安全技术规范(CSA GCR C002-2002), 2022 年 5 月. [7] 腾讯安全,腾讯研究院. 2023 上半年云安全态势报告,2023 年 9 月. [8] Harbor0 码力 | 72 页 | 2.44 MB | 1 年前3
《TensorFlow 2项目进阶实战》1-基础理论篇:TensorFlow 2设计思想Friendly to TensorFlow 生产级 AI 方案 TensorFlow 2 落地应用 TensorFlow 与移动互联网的结合 TensorFlow 与企业服务的结合 - 腾讯互娱 来源:《案例分享 | 腾讯互娱基于 CPU 环境的分布式 YOLOv3 实现》 魂斗罗游戏中识别角色 K8s Pod K8s Pod K8s Pod Horovod(CPU) on Kubernetes0 码力 | 40 页 | 9.01 MB | 1 年前3
共 24 条
- 1
- 2
- 3













