Introduction to Modern Data Science Sam Kreter Code and Slides github.com/samkreter/KubeconAsia2018 The Process Business Need / Problem Discovery The Process Business Need / Problem Discovery Business Need / Problem Discovery Development Production / Actual User Impact The Data Science Pipeline Pipelines The Data Science Pipeline Principles 1. Autonomy I HAVE A VERY PARTICULAR SET OF SKILLS 1. Single Operations per Container 2. Use Parameterize Data Flow • Data Inputs • Data Outputs Distributing Workloads 2. Reproducibility Data Versioning Reproducibility For Developers Reproducibility

0) consul集群搭建 consul agent -data-dir /tmp/node0 -node=node0 -bind=192.168.64.59 -datacenter=dc1 -ui - lient=192.168.64.59 -server -bootstrap-expect 1 consul agent -data-dir /tmp/node1 -node=node1 -bind=192 -bind=192.168.64.94 -datacenter=dc1 -ui consul agent -data-dir /tmp/node2 -node=node2 -bind=192.168.64.249 -datacenter=dc1 -ui client=192.168.64.249 consul join 192.168.64.59 consul members -rpc-addr=192 249:8400 192.168.64.59 agent -data-dir /tmp/node0 -node=node0 -bind=192.168.64.59 -datacenter=dc1 -ui -server bootstrap-expect 1 consul agent -server -bootstrap-expect 3 -data-dir /tmp/consul -node 192.168

proxy_golang，类似 proxy_wasm ，方便 Nginx、OpenResty 等也能够支持 GoLang 扩展。 MoE 方案介绍 — 功能职责 Envoy MOSN MoE Data Plane HTTP(L7) HTTP Filter GoLang L7 extension Filter HTTP Filter Stream filter GoLang L7 State Upstream&C onnpool Pilot SOFARegistry Consul Nacos Consul Others Control Plane MCP Data flow Control flow xDS Discovery Client Metrics Admin REST API Request Request MOSN 做业务扩展 1 2 Envoy MOSN Data flow Control flow GoLang L7 extension SDK GoLang L7 extension filter 5 Other http filter(via GoLang) CGO 1 2 xDS Control Plane Data Plane MoE 2 4 3 Request Rest Http

标准化能力-承载无忧-E2E云原生纵深安全保障DevSecOps-1 Applications Data Runtime Middleware OS Virtualization Servers Storage NetWorking PaaS 硬件与虚拟化厂商提供，如果是HCI架构， 作为总体集成方，会降低安全集成成本 可信计算环境：OS安全、TPM加密、TEE可信环境 p s 效 率 。 依 赖 于 人 员 个 人 经 验 来 先 验 的 进 行 实 施 ， 而 很 多 入 侵 风 险 是 不 可 预 知 的 ！ 标准化能力-承载无忧-E2E云原生纵深安全保障-3-与传统安全方案的差 异 安全问题左移一个研发阶段，修复成本就将 提升十倍，所以将安全自动化检查和问题发 现从运行态左移到研发态，将大大提高效率 和降低成本 默认安全策略，可以天然的规避大部分 安全问题，使得人员配置和沟通工作大 Read Write DB Server User Space File system Data Router&Cache DB Server User Space File system Data Router&Cache DB Server User Space File system Data Router&Cache RDMA Read Only Read Only R/W

1、信息管理 MIS、ERP… 2、流程规范 BPM、EAI… 3、管理监控 BAM、BI 4、协作平台 OA、CRM 5、数据化运营 SEM、O2O 6、互联网平台 AI、IoT 数据化运营 大数据 智能化管控 互联网平台 跨企业合作 稳态IT：安全、稳定、性能 敏态IT：敏捷、弹性、灵活 无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时、按需扩展/收缩所 用资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 加入集群 恢复正常 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时按需扩展/收缩所用 资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前

如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列，队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化，并结合 Kubernetes 提供扩展性、吞吐、网络、运行时的 labels: "volcano.sh/job-type": "MPI" spec: # minimum number of pods need to be started minAvailable: 3 schedulerName: volcano plugins: # job level ssh trust ssh: [] # define network relevant info for running 用户案例：荷兰ING银行大数据平台云原生化改造 • Platform Entry-point • Project Management Data Science in a box (Advanced analytics toolbox) • Data Discovery • Metadata engine • SQL+BI toolset • Dashboarding Information

Compliance Development & Programming Models Data Placement & Governance Operational & Application Management IBM Cloud Private 3rd Party Private Clouds 3rd Party Public Clouds IBM Public Cloud Service Infrastructure Application Development, Integration, Operations & Management Next Generation Middleware, Data, Integration & Analytics IBM MQ IBM Cloud private Platform Kubernetes-based Platform Multiple driven Network & Storage Microservices z Systems Vulnerability Advisor to prevent risk Middleware, Data, management & Analytics Content Integration Content Solution Architectures & Best Practices Core

DistSQL API P D P D P D PD Cluster Pum p Pum p Pum p Draine r TiDB Binlog DM Worker DM Worker Data Migratio n DM Master Upstream Database Downstrea m Database Backup & Recovery Lightnin g KV consensus algorithm to replicate data and provide fault-tolerance ○ Kill one TiDB instance, if the instance has a leader replica, the QPS may drop because the client can’t write data into the replica now ○ Other ● Testing components(redis rabbitmq scheduler) ● Testing bugs 3+ 20 ! Active User Community Stars 3,400+ Contributors and growing 90+ Cloud Native Computing Foundation

构建统一的云原生应用 可观测性数据平台 DeepFlow在混合云中的实践总结 向阳@云杉网络 2022-04-09 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity the growing complexity. 挑战：数据孤岛、资源开销 数据 孤岛 资源消耗 telegraf 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity commitId deployId Level ... 网络资源 VPC 子网 CIDR IP地址 NATGW ALB … 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity

Fatalf("Failed to register: %v\n", err) } } Function Build ⽤ Tekton 管理镜像制作流⽔线 1. 获取源代码 2. 制作镜像 3. 上传镜像 如何管理 Build pipeline？ K8s 弃⽤ Docker 作为 Container Runtime 不能再以 Docker in docker 的⽅式以 Docker build metadata: name: nebula spec: graphd: resources: requests: cpu: "500m" memory: "500Mi" replicas: 3 image: vesoft/nebula�graphd version: v2.5.0 ��� reference: version: v1 schedulerName: default�scheduler Kind，⼀键 单机玩转 Nebula K8s 集群 siwei.io 5�24 PM · Sep 1, 2021 3 Copy link t… roadmap of nebula-operator Nebula Landscape Deployment, Monitoring Data Visualization Algorithm, Analytic Clients, Connectors