互联网科技列表
-
DataPipeline在大数据平台的数据流实践
文 | 吕鹏 DataPipeline架构师进入大数据时代，实时作业有着越来越重要的地位。本文将从以下几个部分进行讲解DataPipeline在大数据平台的实时数据流实践。一、企业级数据面临的主要问题
2022-06-03 数据 同步 文件 机制 传输 保证 企业 时间 实时 方式 问题 任务 时候 一致 一致性 节点 增量 数据传输 线程 支持 -
Zookeeper 跨区高可用方案
最近由于业务需求，测试各种组件的高可用性。由于我们的环境在AWS 北京部署。只有两个Aviable Zone（可用区）。注释：有两个数据中心，相互需要做容灾的需求，和本文测试的情况是相同的。而Zook
2022-06-03 节点 两个 服务 配置 数据 信息 文件 测试 输出 情况 命令 环境 只有 备份 路径 进程 宁夏 运行 服务器 机器 -
ElasticSearch入门学习-基础示例(1)
基于 ElasticSearch-6.1.2关于文档元数据参考官方权威指南 文档元数据一个文档有三个必须的元数据元素：_index：表示文档存放在哪个 index 中；_type：文档表示的对象类型；
2022-06-03 文档 索引 字段 生成 数据 字符 自动生成 检索 字符串 模式 版本 状态 类型 更新 三个 之间 例子 信息 元素 全新 -
折腾Java设计模式之单例模式
博文原址：折腾Java设计模式之单例模式单例模式Ensure a class has only one instance, and provide a global point of access t
2022-06-03 模式 线程 静态 同步 实例 对象 方法 安全 检查 时候 只有 懒汉 第一次 成员 方式 延迟 装载 变量 情况 类型 -
jenkins的discover权限
discover 权限，是对Job的URL对匿名用户的权限设定的。如果一个job对应的url ，给一个匿名用户，设定了discover权限的话，这个匿名用户将被强制重定向到登录页，登陆后，将看到这个J
2022-06-03 权限 用户 强制 登录 登陆 -
保险行业历史保单关联业务跑批性能优化
某省车险每天新增保单 1-2 万，三年历史保单 2 亿条数据。跑批时要计算新增保单对应的历史保单，计算复杂、数据量大、耗时很长。点击保险行业历史保单关联业务跑批性能优化，去乾学院看看集算器如何比存储过
2022-06-03 保单 历史 数据 业务 性能 行业 关联 复杂 学院 时间 案例 车险 过程 存储 提速 -
好程序员大数据学习路线之大数据自学路线二
好程序员大数据学习路线之大数据自学路线二lambda表达式比较lambda表达式和匿名内部类：lambda表达式就是简单的匿名内部类匿名内部类可以为任意接口创建实例，不管接口有多少抽象方法；lambd
2022-06-03 方法 表达式 接口 参数 数据 代码 实例 安全 底层 类型 线程 形参 一致 子类 对象 语句 限制 上限 变量 数据结构 -
生产SparkStreaming数据零丢失最佳实践(含代码)
MySQL创建存储offset的表格mysql> use testmysql> create table hlw_offset( topic varchar(32), gr
2022-06-03 数据 消费 程序 信息 输出 主题 数据统计 结果 偏移 存储 统计 代码 成功 从头 参数 工具 控制台 处理 控制 测试 -
搭建部署Hadoop 之Yarn
Yarn 集群资源管理系统Yarn 角色及概念•Yarn 是 Hadoop 的一个通用的资源管理系统• Yarn 角色- Resourcemanager- Nodemanager- Applicati
2022-06-03 资源 节点 管理 程序 应用 配置 任务 应用程序 系统 角色 监控 命令 环境 管理系统 分配 处理 运行 主机 客户 客户端 -
为什么我们生产上要选择Spark On Yarn模式？
为什么我们生产上要选择Spark On Yarn？开发上我们选择local[2]模式生产上跑任务Job，我们选择Spark On Yarn模式 ，将Spark Application部署到yarn中，
2022-06-03 模式 资源 服务 运行 管理 选择 隔离 生产 同时 多个 客户 客户端 应用程序 弹性 机制 用户 程序 集群 应用 开发 -
HDFS的Shell操作（笔记）
*基本操作（单集群）：***1、创建文件夹命令[hadoop@master ~]$ hadoop fs -mkdir -p /201910212、上传文件命令[hadoop@master ~]$ ha
2022-06-03 文件 命令 正在 状态 检查 运行 安全 文件夹 模式 目录 集群 信息 名字 基本操作 常用 管理员 作业 管理 笔记 -
xhprof 安装
1、首先，先创建一个文件夹，专门用于管理xhprofcd /tmpmkdir xhprof && cd xhprof2、安装xhprofwget http://pecl.php.net/get/xhp
2022-06-03 文件 位置 文件夹 生成 模块 用户 目录 平滑 接下来 三部曲 代码 信息 内容 命令 地址 就是 怎么办 拷贝 时候 权限 -
架构师必须知道的数据
作为一名合格的架构师，有些数据是必须要牢记在心的，在设计系统的时候，能够通过定量计算，预测出系统的负载，以及各个组件单元之间的协作关系，哪里是瓶颈，如何改进，都是非常重要的。在与其他团队谈协作的时候，
2022-06-03 数据 数据库 微妙 最大 事务 内存 时候 系统 网络 网络传输 传输 协作 架构 重要 胸有成竹 仅供参考 不好 不断 之间 以太网 -
JMeter非GUI模式、分布式压测遇到的问题
问题1：windows机作为master，1台linux虚拟机作为slave不论是GUI模式运行，还是非GUI模式运行，TPS都是对的windows机作为master，２台或者３台linux虚拟机作为
2022-06-03 模式 运行 问题 命令 数据 分布式 参数 文件 线程 还是 循环 支持 -
消息中间件概述
1 消息中间件概述消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如
2022-06-03 消息 数据 队列 处理 系统 消费 中间件 订阅 消费者 支持 服务 不同 通信 模式 传输 应用 开发 生产 分布式 业务 -
pandas的索引操作
Pandas的索引操作索引对象Index1. Series和DataFrame中的索引都是Index对象示例代码：print(type(ser_obj.index))print(type(df_obj
2022-06-03 索引 代码 示例 结果 运行 位置 对象 标签 类型 可变 支持 混合 高级 参数 列索 不同 安全 混乱 也就是 作用 -
ElasticSearch的基本使用
1.rest基本介绍REST全称Representational State Transfer。是一种软件的架构风格，而不是标准，只是提供了一组设计原则和约束条件。它主要用于客户端和服务器交互类的软件
2022-06-03 资源 数据 文档 索引 版本 更新 时候 信息 对象 数据库 标记 状态 控制 查询 普通 属性 工具 软件 合适 一行 -
关于selenium中断言判断url获取错误解决
在判断url中，我使用assertEquals(期望值,driver.getCurrentUrl())来进行断言，但是始终是获取url判断时灵时不灵，因为这个是获取有时间差，如果使用等待页面元素出现再
2022-06-03 时间 不灵 有效 元素 时间差 期望值 问题 页面 帮助 期望 错误 -
设计模式（结构型）之桥梁模式
GOF 在《设计模式》中给桥梁模式的定义为：将抽象部分与它的实现部分分离，使它们都可以独立地变化。这里的抽象部分和实现部分不是我们通常认为的父类与子类、接口与实现类的关系，而是组合关系。也就是说，实现
2022-06-03 角色 部分 接口 就是 关联 功能 精确 组合 代码 动态 形状 时期 桥梁 模式 三角形 实体 实线 底层 指向 方法 -
性能测试策略整理
1、基准测试在系统无压力下，单用户迭代执行连续时间或次数，取得事物平均相应时间，作为分析衡量的标准。目地在于---->衡量性能测试环境是否异常---->验证脚本和参数的正确性---->获取系统处理事物
2022-06-03 系统 测试 性能 情况 指标 最大 容量 数据 服务器 资源 处理 服务 事物 时间 瓶颈 用户 脚本 混合 验证 业务