互联网科技列表
-
hadoop HA 配置文件
fs.defaultFS hdfs://rongxinhadoop这里的 mycluster为HA集群的逻辑名，与hdfs-site.xml中的dfs.nameservices配置一致 hadoop.
2022-06-03 配置 目录 故障 数据 切换 存储 集群 一致 数量 端口 逻辑 三台 主机 之间 位置 分号 前缀 副本 地址 奇数 -
Travis CI eval ./gradlew assemble 错误
问题在进行 Travis CI 进行集成编译的时候出现错误。<-------------> 0% WAITINGThe command "eval ./gradlew assemble " faile
2022-06-03 错误 脚本 问题 信息 文件 时候 编译 配置 -
Spark的函数式编程
Spark是近年来发展较快的分布式并行数据处理框架，了解和掌握spark对于学习大数据有着至关重要的意义。但是spark依赖于函数单元，它的函数编程过程是怎样的呢？我们怎么来应用呢？一、Spark的函
2022-06-03 函数 数据 编程 代码 单元 示例 学习 应用 重要 参数 只是 过程 发展 处理 输入 不错 成熟 近年来 一次性 公众 -
软件测试基本价值观笔记
一、测试是获取信息的技术调查1.测试是为了发现错误而执行程序的过程2.测试是一个获取信息的过程，用来降低决策风险测试是服务性的工作低质量的信息无助于决策 ，还可能浪费团队的时间，甚至作出错误的决策团队
2022-06-03 测试 信息 软件 人员 产品 技术 设计 方法 服务 项目 工作 调查 程序 系统 过程 错误 风险 决策 迭代 不同 -
c语言二分查找的实现
二分查找也称折半查找（Binary Search），它是一种效率较高的查找方法。但是，折半查找要求线性表必须采用顺序存储结构，而且表中元素按关键字有序排列。通常在查找数组的时候，会发现一个一个查找很浪
2022-06-03 关键 关键字 成功 位置 递归 有序 元素 结构 顺序 进一 存储 两个 升序 大小 思维 效率 数组 方法 时候 条件 -
python光荣之路测试开发班list学习笔记
# coding=utf-8book_list_in_library = []ready_borrow_book_list = []borrowed_book_list = []menu_info =
2022-06-03 功能 心得 方法 笔记 之路 学习 开发 测试 -
软件架构设计的目的
软件架构设计的目的简单说就是在保持软件内在联系的前提下，分解软件系统，降低软件系统开发的复杂性，而分解软件系统的基本方法无外乎分层和分割。但是在保持软件内在联系的前提下，如何分层分割系统，分层分割到什
2022-06-03 模块 耦合 数据 软件 之间 内容 控制 设计 环境 系统 两个 全局 语言 独立 联系 高级 信息 参数 变量 数据结构 -
视觉智能引擎+数据决策引擎——打造商业“智能沙盘”
众所周知，线上商家可以通过淘宝平台的大量前端"埋点"轻松获取商品的加购率、收藏率、转化率、成交额等大量基础信息，甚至商家能够在更精细的层面，获取商品关键字变化或者上新/爆款带来的流量变化数据，更甚者商
2022-06-03 数据 店铺 商场 广告 智能 结构 分析 结构化 区域 视频 画像 商家 转化率 处理 推荐 平台 系统 时间 消费 引擎 -
大数据学习路线-甲骨文高级技术总监思维图
最近有很多人问我如何学习大数据？我也是思考了很多时日才动笔写下此文。一方面我自己还只是大数据学习中的一个小学生，贸然动笔怕贻笑大方；另一方面大数据本身领域博大精深，其涵盖领域之广技术种类之多确实很难用
2022-06-03 数据 学习 框架 分析 工程 处理 笔者 角色 分布式 数据分析 语言 建议 存储 数学 系统 领域 一致 一致性 知识 算法 -
负载产品性能测试——新建测试
1，网络拓扑：2，测试仪客户端端配置1）占用端口2）load配置3）action配置4）客户端网段5）选择端口6）联合配置3，服务器端配置1）http服务器策略2）http传输数据配置3）服务器端网段
2022-06-03 配置 测试 服务器 测试仪 端口 服务 使用率 客户 策略 网段 网络 设备 联合 选择 内存 客户端 报文 拓扑 数据 状态 -
Apache Flink 零基础入门（一）：基础概念解析
作者：陈守元、戴资力一、Apache Flink 的定义、架构及原理Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对
2022-06-03 状态 数据 处理 运算 结果 时间 引擎 快照 实时 应用 事件 分布式 场景 容错 数据流 数据处理 过程 输出 就是 精确 -
device-mapper 块级重删(dm dedup) <3>代码结构(4)
六、代码结构(4) I/O "小"写流程上一篇，介绍了dm dedup的写流程，这一篇，介绍它的一个特殊流程如果我们接收到的对齐bio但是它的size < block_size，那么这时候是不能直接进
2022-06-03 代码 内容 就是 情况 流程 函数 数据 上一 存储 结构 复杂 特殊 相同 接下来 个人 也就是 位置 作者 公众 内核 -
Spark入门及安装与配置
以下是老男孩教育编写的大数据资料，转载请注明出处：http://www.oldboyedu.comHadoopHadoop是分布式计算引擎，含有四大模块，common、hdfs、mapreduce和y
2022-06-03 节点 集群 变量 引擎 文件 环境 运行 数据 模式 流程 目录 应用 配置 高级 内存 分布式 命令 多个 能力 复杂 -
TEZ MRR optimize to MR？
https://issues.apache.org/jira/browse/HIVE-2340select userid,count(*) from u_data group by userid or
2022-06-03 -
解决 Mac OS X 11无法copy文件问题
1、升级Mac OS X 11之后，想要copy文件到系统目录下。sudo cp -f test.txt /usr/bin/2、发现即使用权限sudo，也有权限问题。cp: /usr/bin/test
2022-06-03 机制 权限 目录 升级 文件 问题 使用权 原因 恶意 拷贝 时候 模式 程序 系统 路径 保护 抵抗 输入 -
回顾 | Apache Flink X Apache RocketMQ · 上海站（PPT下载）
7 月 6 日，Apache Flink Meetup X Apache RocketMQ · 上海站，来自阿里巴巴、网易的 Flink 技术专家与 Apache RocketMQ 社区大咖一起分享关
2022-06-03 消息 应用 技术 队列 音乐 实践 网易 巴巴 阿里 阿里巴巴 高级 周边 工程 工程师 社区 过程 问卷 上海 上海站 专家 -
pg 10 wal 归档同步配置
一.rsync server(172.16.3.226)CentOS 7.2 X64# yum install -y rsync# mkdir -p -m 0700 /db/wal_archive#
2022-06-03 配置 同步 数据 数据库 目录 脚本 办法 小时 文件 权限 软件 问题 e.g. 传输 服务 查询 -
centos7 hadoop-2.7.3完全分布式安装配置
操作系统版本：centos7 64位hadoop版本：hadoop-2.7.3hbase版本：hbase-1.2.4机器：192.168.11.131 master1 Namenode Resourc
2022-06-03 节点 配置 验证 文件 目录 命令 机器 注释 用户 数据 版本 环境 管理 主机 客户 客户端 格式 界面 系统 集群 -
新手必备：大数据框架Hadoop主要模块解析
hadoop Common: 包括Hadoop常用的工具类，由原来的Hadoop core部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象
2022-06-03 数据 分布式 系统 数据库 应用 存储 程序 管理 功能 分析 学习 支持 应用程序 结构 工具 处理 服务 开发 框架 文件 -
autotest 设置时间
vim /usr/local/autotest/frontend/settings.pysettings.py里:TIME_ZONE = 'Asia/Shanghai'更改系统时区: cp /usr/
2022-06-03 时区 系统 时间