(Vasia) Kalavri
 vkalavri@bu.edu Spring 2020 4/28: Graph Streaming ??? Vasiliki Kalavri | Boston University 2020 Modeling the world as a graph 2 Social networks friend follows The web Actor-movie results for the search term “graph” ??? Vasiliki Kalavri | Boston University 2020 Basics 1 5 4 3 2 “node” or “vertex” “edge” 1 5 4 3 2 undirected graph directed graph 4 ??? Vasiliki Kalavri Kalavri | Boston University 2020 Graph streams Graph streams model interactions as events that update an underlying graph structure 5 Edge events: A purchase, a movie rating, a like on an online post

Plugin orchestration Demo How to implement？Step 1 • use DAG（Directed acyclic graph） for GUI • JSON of DAG Step 2 • use JSON schema to parse DAG，generate AST(Abstract Syntax Tree) • Generate Lua

Vasiliki Kalavri | Boston University 2020 Distributed dataflow systems • Computations as Directed Acyclic Graphs (DAGs) • nodes are operators and edges are data channels • operators can accumulate state Vasiliki Kalavri | Boston University 2020 source sink input port output port dataflow graph Dataflow graph • operators are nodes, data channels are edges • channels have FIFO semantics • streams

Cluster 有這麼大？Task 有這麼 多？ 11 / 74 我們對 Hadoop 的期許： Batch Job Interactive Query Real-Time Processing Graph Processing Iterative Modeling 人心不足蛇吞象 Hadoop 的體質 (Batch Processing) 問題： 每次就是一個 Batch Job，一個接著一個 processing Inspired by Microsoft Dryad，是 Stinger Initiative 的一部分 Dataflow model on a directed acyclic graph (DAG) of nodes 能夠 讓 Query Plan 更簡單、更有效率 48 / 74 UC Berkeley AMPLab 2009 年的研究計畫，2010 年 Open Source，由

computations used to define f, and finally to the output y • The model is associated with a directed acyclic graph describing how the functions are composed together • E.g., we use a chain to represent f(x) =

cincinnati-graph-data.tar.gz https://github.com/openshift/cincinnati-graph- data/archive/master.tar.gz CMD exec /bin/bash -c "tar xvzf cincinnati-graph-data.tar.gz -C /var/lib/cincinnati/graph-data/ - com/openshift/graph-data:latest： 3. 将上一步中创建的 graph-data 容器镜像推送到 OpenShift Update Service 可以访问的存储库， 如 registry.example.com/openshift/graph-data:latest： 注意 注意 要将图形数据镜像推送到受限网络中的本地 registry，请将上一步中创建的 graph- data $ podman build -f ./Dockerfile -t registry.example.com/openshift/graph-data:latest $ podman push registry.example.com/openshift/graph-data:latest x509: certificate relies on legacy Common Name field

configuration https://bugzilla.redhat.com/show_bug.cgi?id=2111817#c22 $ oc get clusterversion version -o json | jq '.status.availableUpdates' OpenShift Container Platform 4.14 更新集群 更新集群 8 输出示例 出示例 类似的命令可用于检查条件更新： com/errata/RHBA-2023:3213", "version": "4.11.41" }, ... ] $ oc get clusterversion version -o json | jq '.status.conditionalUpdates' [ { "conditions": [ { "lastTransitionTime": ccoctl 命令会发出 AWS API 调用来创建或修改 AWS 资源。您可以 使用 --dry-run 标志来避免 API 调用。使用此标志可在本地文件系统中创建 JSON 文件。 您可以使用 --cli-input-json 参数查看和修改 JSON 文件，然后使用 AWS CLI 工具应用它 们。 先决条件 先决条件 您已从 OpenShift Container Platform 发行镜像中提取

Kiali 图形的布局会根据应用程序构架和要显示的数据（图形节点数目及其交互）的不 同而有所变化。因为创建一个统一布局的难度较大，所以 Kiali 提供了几种不同布局的选择。要选 择不同的布局，可从 Graph Settings 菜单中选择一个不同的 Layout Schema。 首次从 Kiali 控制台访问相关服务（如分布式追踪平台和 Grafana）时，必须使用 OpenShift Container 控制台中，'istio-ingressgateway' 和 'jaeger-query' 服务的服务详情页面中没 有显示 Traces。Jaeger 中存在 trace。 OSSM-287 在 Kiali 控制台中没有显示 Graph 服务中的 trace。 OSSM-285 试图访问 Kiali 控制台时会收到以下错误消息："Error trying to get OAuth Metadata"。 临时解决方案：重启 Kiali 服务器，可以集中并显示与多个服务间单一请求关联的 trace。利用分布式追踪平台，您可以监控 基于微服务的分布式系统并进行故障排除。 Elasticsearch - Elasticsearch 是一个开源、分布式、基于 JSON 的搜索和分析引擎。分布式追踪 平台使用 Elasticsearch 进行持久性存储。 Grafana - Grafana 为网格管理员提供用于 Istio 数据的高级查询和指标分析和仪表板。另

Kiali 图形的布局会根据应用程序构架和要显示的数据（图形节点数目及其交互）的不 同而有所变化。因为创建一个统一布局的难度较大，所以 Kiali 提供了几种不同布局的选择。要选 择不同的布局，可从 Graph Settings 菜单中选择一个不同的 Layout Schema。 1.4.1. Red Hat OpenShift Service Mesh 已知问题 Red Hat OpenShift 控制台中查看内嵌的追踪页面。 KIALI-3118 当对 ServiceMeshMemberRoll 进行修改后（例如，添加或删除了项目），Kiali pod 会 重新启动，并在 Kiali pod 重新启动的过程中在 Graph 页中显示错误信息。 KIALI-2206 当您第一次访问 Kiali 控制台时，浏览器中没有 Kiali 的缓存数据，Kiali 服务详情页面 的 Metrics 标签页中的 “View in 缩放。 分布式上下文发布 – 允许您通过不同的组件连接数据以创建完整的端到端的 trace。 与 Zipkin 的后向兼容性 – Jaeger 通过使用 Zipkin 格式（Thrift 或 JSON v1/v2）通过 HTTP 提供 与 Zipkin 的后向兼容性。 2.4. SERVICE MESH 和 ISTIO 的比较 Red Hat OpenShift Service Mesh 安装与上游

# Unmarshaller is identified by data format. The default is json, but you can use another unmarshaller unmarshaller.target=(dataFormat=json) • the port property contains the port number where the network the data (coming from the collectors) into an Elasticsearch instance. It transforms the data as a json document, stored into Elasticsearch. The Decanter Elasticsearch appender uses the Elasticsearch Rest the marshaller to use. By default, the marshaller used is the CSV one. But you can switch to the JSON one using the marshaller.target property in etc/org.apache.karaf.decanter.appender.file.cfg