通过Oracle 并行处理集成 Hadoop 数据Oracle 白皮书 2011 年 1 月 通过 Oracle 并行处理集成 Hadoop 数据 1 Oracle 白皮书 — 通过 Oracle 并行处理集成 Hadoop 数据 取对业务用户有价值的信息。 本文详细介绍了如何从 Oracle 数据库访问存储在 Hadoop 集群里的数据。请注 意,本文选择了 Hadoop 和 HDFS 作为示例,但这里的策略同样适用于其他分 布式存储机制。本文中介绍了各种访问方法,还通过一个具体示例说明了其中一 种访问方法的实现。 2 Oracle 白皮书 — 通过 Oracle 并行处理集成 Hadoop 数据 外部 Hadoop 数据的访问方法 要从 Oracle 数据库里访问某个文件系统中的外部文件或外部数据,最简单的方法莫过于使用 外部表。请参阅这里了解外部表。 外部表以表的形式展示存储在文件系统中的数据,并且可在 SQL 查询中完全透明地使用。 因此,可以考虑用外部表从 Oracle 数据库中直接访问 HDFS(Hadoop 文件系统)中存储的 数据。遗0 码力 | 21 页 | 1.03 MB | 1 年前3
Java 应用与开发 - 异常处理异常的概念及分类 Java 异常处理机制 Java 应用与开发 异常处理 王晓东 wangxiaodong@ouc.edu.cn 中国海洋大学 October 30, 2018 大纲 异常的概念及分类 Java 异常处理机制 学习目标 1. 掌握 Java 异常的概念和分类 2. 深入理解 Java 异常处理机制 大纲 异常的概念及分类 Java 异常处理机制 大纲 异常的概念及分类 Java 异常处理机制 大纲 异常的概念及分类 Java 异常处理机制 C++ 中的异常处理 O 《The C++ Programming Language》 ▶ 一个库的作者可以检测出发生了运行时错误,但一般不知道 怎样去处理它们(因为和用户具体的应用有关); ▶ 另一方面,库的用户知道怎样处理这些错误,但却无法检查 它们何时发生(如果能检测,就可以再用户的代码里处理 了,不用留给库去发现)。 了,不用留给库去发现)。 提供异常处理机制的的基本思想 让一个函数在发现了自己无法处理的错误时抛出(throw)一个 异常,然后它的(直接或者间接)调用者能够处理这个问题。 O 《C++ primer》 将问题检测和问题处理相分离。 (Exceptions let us separate problem detection from problem resolution.) 大纲 异常的概念及分类0 码力 | 33 页 | 626.40 KB | 1 年前3
Go在工程实践的错误处理Golang在工程实践中的错误处理 彭友顺 石墨文档 产研负责人 目 录 为什么我们处理错误会这么慢 01 如何完善错误信息 02 优雅处理错误信息 03 分布式错误处理 04 错误信息手册的必要性 05 为什么我们处理错误 会这么慢 第一部分 错误信息不够完善 why 原因 出现 错误 定位 慢 恢复 慢 效率低 为什么我们处理错误会这么慢 错误处理不够优雅 分布式错误难以串联 对接起来会非常麻烦 优雅处理错误信息 第三部分 为什么定位慢?-- 错误处理 不要透传错误 错误码唯一性 记录一次错误 假设用户反馈了无法打开一个文件 我们的程序员非常认真 记录了文件不存在的错误日志 • 同样的错误信息,非常多的杂音 • 每个Error,都去查看一次对应代码,排查效率低 • 占用存储空间 • 最外层入口处只记录一次错误日志 为什么定位慢?-- 错误处理 带来新的问题,无法定位整个代码执行链路 日志分析不出是哪个service 调用了MySQL 为什么定位慢?-- 错误处理 带来新的问题,无法定位整个代码执行链路 不要透传错误 错误码唯一性 记录一次错误 • 不能透传错误,fmt.Errorf • 如果不考虑性能 • 日志开启Stack • 错误追加Stack 为什么定位慢?-- 错误处理 不要透传错误 错误码唯一性 记录一次错误 文件不存在 数据表里不存在0 码力 | 30 页 | 3.11 MB | 1 年前3
Rust并行编译的挑战与突破Rust并行编译的挑战与突破 李原 2022年5月28日 • 相关浅谈 • Rust并行编译的挑战与突破 • 从并行编译到并行程序设计 • Rust社区与并行编译 目录 相关浅谈 Rust编译速度之殇 编译器设计造成编译速度缓慢 · 单态化 · 借用检查 · 宏展开 · MIR优化 ... Rust规模编译速度慢于C++ Rust编译速度之殇 提升编译效率成为近年社区重点工作 提升编译效率成为近年社区重点工作 并行编译或成下一代编译效率突破利器 2017-2021,Rust编译速度已提升一倍以上 Rust社区编译器性能工作组 Rust编译器并行化 Cargo多crate并行 二进制生成并行 更多更好的并行化? Rust编译器架构 语法树生成 宏展开 命名解析 泛型解析 类型检查 借用检查 单态化 二进制生成 增量编译系统 底层数据 结构 Rust语言编译器结构总览 考虑内部编译流程并行化 考虑内部编译流程并行化 Rust并行并发 编译时线程安全检查 一些常见线程安全数据结构 常用Rust并行并发库 Rust并行并发 增加程序复杂度 线程安全数据结构造成效率损失 Mutex与RwLock rustc profileing 数据 · 代码复杂度及健壮性 · benchmark资源限制 · profileing成本 ... 收益 > 代价? Rust并行编译的挑战与突破0 码力 | 25 页 | 4.60 MB | 1 年前3
强大的音视频处理工具: FFmpeg7 1.8 1.8.1 1.9 ⽬录 前⾔ FFmpeg概览 FFmpeg相关 FFmpeg安装 ⾳频处理 提取⾳频⽚段 视频处理 视频属性 获取 调整 尺⼨调整 动图gif 视频转动图 动图转视频 ⽔印 去除⽔印 提取⾳频 字幕处理 背景知识 字幕分类 字幕格式 编辑字幕 Aegisub 提取字幕 转换字幕 嵌⼊字幕 指定字幕位置 指定字幕⽂字属性 强⼤的⾳视频处理⼯具:FFmpeg 最新版本: v1.0 更新时间: 20210914 简介 介绍⾳视频处理⼯具FFmpeg有哪些强⼤的功能。先对ffmpeg进⾏概览, 包括可以⽤来⼲什么,与之相关的ffprobe、ffplay、ffserver等⼯具;再介 绍如何安装ffmpeg;如何⽤ffmpeg处理⾳频,⽐如从⾳频中提取某段⾳频 ⽚段;以及各种视频处理,包括视频属性的获取和调整,包括调整视频宽 ⽚段;以及各种视频处理,包括视频属性的获取和调整,包括调整视频宽 ⾼尺⼨⼤⼩;以及动图gif处理,包括视频转动图、动图转视频;以及⽔印 处理,包括去除视频⽔印;从视频中提取完整⾳频和⾳频⽚段;字幕相关 处理,包括字幕的背景知识,包括软字幕和硬字幕、常⻅字幕格式ass和 srt;以及如何⽤Aegisub编辑字幕;从视频中提取字幕、从srt转换出ass 字幕;嵌⼊字幕,包括⽤流拷⻉模式嵌⼊软字幕、⽤vf模式烧录嵌⼊硬字 幕、且0 码力 | 73 页 | 11.57 MB | 1 年前3
Java Chassis通信处理详解 - 通信优化实践Java Chassis通信处理详解 通信优化实践 议题 问题不挑战 整体线程模型 Consumer Producer 问题不挑战 消费者 编程 模型 透明 RPC Spring MVC Transport Highway Vertx REST Servlet REST 生产者 编程 模型 透明 业务线程 Eventloops Executor 线程 …… 线程 队列 Executor 线程 …… 线程 队列 …… Consumer 消费端,主要需要处理的问题是如何更 高效地将请求推送到对端去,然后拿到 应答信息。 透明RPC Consumer业务线程 Consumer Eventloop 连接 业务线程 hello 业务线程 Socket.write(composite buffer) Producer 丌同于消费者,生产者主要的工作就是等待消费者 的请求,在处理之后,返回应答 在这一端我们更加关注:“如何高效地接收和处理 数据”这件事情 同步模式下,业务逻辑不IO逻辑分离,且根据 “隔离仓”原则,为了保证整个系统更加稳定和高 效地运行,业务逻辑本身也需要在丌同的隔离的区0 码力 | 17 页 | 2.22 MB | 1 年前3
【05 计算平台 蓉荣】Flink 批处理及其应⽤Flink 批处理理及其应⽤用 What is Apache Flink * Apache Flink 是⼀一个分布式⼤大数据处理理引擎 * 可对有限数据流和⽆无限数据流进⾏行行有状态计算 * 可部署在各种集群环境 * 对各种⼤大⼩小的数据规模进⾏行行快速计算 为什什么Flink能做批处理理 Table Stream Bounded Data Unbounded Data ⽣生态 实时计算 StreamC ompute 1 3 4 2 Flink 实时计算 商业化版本 阿⾥里里云实时计算产品⽅方向 存储计算分离 架构 ⾼高性能 全托管架构 全功能⼤大数据 处理理能⼒力力 Thanks0 码力 | 12 页 | 1.44 MB | 1 年前3
Java EE 企业应用系统设计 - HTTP 请求处理编程大纲 HTTP 请求内容 Java EE 请求对象 Java EE 企业应用系统设计 HTTP 请求处理编程 王晓东 wangxiaodong@ouc.edu.cn 中国海洋大学 November 17, 2018 大纲 HTTP 请求内容 Java EE 请求对象 学习目标 1. 理解 Web 的工作模式,掌握 HTTP 协议的特点以及 HTTP 请求中包含哪些信息。 2. 理解 Web 工作模式 Web 通常使用请求�响应模式。 ▶ 客户端(浏览器)向服务器发出 HTTP 请求,在 HTTP 请 求中包含传递到服务器的数据; ▶ Web 服务器接收到请求,对请求进行处理。 ▶ Web 服务器使用 HTTP 向客户端发送响应。 ▶ 客户端接收到响应后,进行显示或页面跳转。 大纲 HTTP 请求内容 Java EE 请求对象 HTTP 请求中包含的信息 HTTP Referer 浏览器是从哪个页面来的 Cookie 浏览器保存的 cookie 对象 Java EE Web 组件 Servlet 和 JSP 中可以使用请求对象的方法 读取这些请求内容,进而进行相应的处理。 大纲 HTTP 请求内容 Java EE 请求对象 HTTP 请求中包含的信息 O 请求体 每次 HTTP 请求时,在请求头之后会有一个空行,接下来是请 求中包含的提交数据,即请求体。0 码力 | 27 页 | 565.27 KB | 1 年前3
深度学习下的图像视频处理技术-沈小勇深度学习下的图像视频处理技术 沈小勇 优图X-Lab视觉AI负责人 专家研究员 自我介绍 自我介绍 2006.9 – 2012.7 浙江大学数学系本科硕士 2012.8 – 2016.6 香港中文大学博士 2016.6 – 2017.5 香港中文大学 Research Fellow 2017.5 – 现在 腾讯优图X-Lab 视觉AI负责人,专家研究员 个人主页:http://xiaoyongshen0 码力 | 121 页 | 37.75 MB | 1 年前3
在 JavaScript 中的并行语言特性-周爱民在JavaScript中的 并行语言特性 周爱民 @aimingoo https://github.io/aimingoo 上海南潮信息科技有限公司/ruff.io R/W {range} {range} {range} R W Lock Unlock 声明一个变量/标识 符,使之在确定的上 下文中占有存储位 置。 有变量 1 使存储位置中有值。 绑定值 3 绑定值 3 Result State { { 4 2 置值之前该怎么办? 怎么避免被意外置值? 置值之后该怎么办? 如何处理理重写? ⼀一次置值的变量量 { 置值之前该怎么办? 怎么避免被意外置值? 置值之后该怎么办? 如何处理理重写? State Result Reactions1 Reactions2 Resolve 实例例 置值器器 Reject Resolving0 码力 | 41 页 | 8.61 MB | 1 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100













