互联网科技列表
-
8、Yarn资源调度系统架构与原理分析
@[TOC]1、Yarn介绍 Apache Hadoop YARN 是 apache Software Foundation Hadoop的子项目，为分离Hadoop2.0资源管理和计算组件而引入
2022-06-03 资源 应用 运行 程序 任务 应用程序 信息 调度 分配 节点 管理 集群 状态 队列 数据 监控 系统 命令 容器 过程 -
Spark Streaming 实现数据实时统计案例
Spark 是一个基于内存式的分布式计算框架。具有高性能，高效可扩展，容错等优点。今天讲解一下spark的流计算，其实它也不完全是实时的流计算，算是一种准实时的流计算。上图讲解运行环境:需要linux
2022-06-03 实时 数据 环境 运行 代码 原理 程序 结果 容错 输入 统计 一连串 上图 优点 光盘 内存 分布式 字符 字符串 就是 -
高数重要极限证明原创中英文对照版
高数重要极限证明原创中英文对照版重要极限Important Limit作者 赵天宇Author:Panda Zhao我今天想在这里证明高等数学中的一个重要极限：Today I want to prov
2022-06-03 极限 二项式 定理 法则 重要 接下来 数列 数学 帕斯 单调 二项式定理 系数 中英 两个 五行 代数 作者 准则 多项式 归纳法 -
shell实现hive自动化测试
本程序主要实现hive权限测试。系统中有管理员用户single和测试用户test。在路径/home/test/下，将用例的预置条件写在input文件夹内，每个用例对应一个input文件，命名为x-y~
2022-06-03 文件 测试 文件夹 内容 用户 结果 右边 字符 权限 语句 作用 变量 命令 程序 自动化 繁杂 不好 数字 条件 版本 -
VBScript读取XML文件
虽然现今数据大部分都是使用数据库存储，但是停电断网等不可抗拒因素经常中断着automation的进行，这时若这些非业务的配置数据用xml来存储就显得方便很多了，下面是用VBScript脚本读取XML文
2022-06-03 文件 数据 版本 系统 脚本 存储 最大 信息 函数 因素 多个 大部分 数据库 方法 组件 节点 非业务 非业 备忘 测试 -
高可用高性能分布式文件系统FastDFS进阶keepalived+nginx对多tracker进行高
在上一篇 分布式文件系统FastDFS如何做到高可用 中已经介绍了FastDFS的原理和怎么搭建一个简单的高可用的分布式文件系统及怎么访问。高可用是实现了，但由于我们只设置了一个group，如果现在有
2022-06-03 文件 服务 配置 服务器 均衡 节点 端口 存储 缓存 两个 集群 模块 内容 文件夹 目录 就是 插件 架构 防火墙 代理 -
光猫手机自动激活系统-开发指南-001- OLT ONU信息（LST-ONU）
例如：查询名称为10.78.217.109的设备0框6槽0端口下ONU信息。l 下发命令LST-ONU::OLTID=10.24.202.114,PONID=NA-0-3-6:CTAG::;
2022-06-03 信息 名称 命令 端口 设备 查询 开发指南 手机 指南 激活 系统 开发 -
ambari 搭建hadoop大数据平台系列3-搭建本地仓库
ambari 搭建hadoop大数据平台系列3-搭建本地仓库1.官方参考https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_amba
2022-06-03 仓库 实例 更新 配置 平台 数据 官方 工程 文件 时间 目录 至此 路径 速度 部分 建好 参考 演示 -
Spark 的Core深入（二）
Spark 的 Core 深入（二）标签（空格分隔）： Spark的部分一： 日志清洗的优化二：Spark RDD三：SparkContext三大功能四：Spark on YARN五： spark R
2022-06-03 数据 运行 过程 方式 应用 结果 资源 处理 之间 任务 模式 管理 输出 功能 就是 性能 框架 算法 结构 节点 -
部署zookeeper分布式节点
用2台服务器，低资源，部署3个zookeeper分布式节点：1.准备环境系统已经配置好了JAVA环境；下载某个版本的zookeeper压缩包，下载链接：http://apache.claz.org/z
2022-06-03 服务 服务器 配置 实例 端口 分布式 环境 之间 信息 文件 目录 节点 相同 三个 代表 内容 含义 地址 所在 数据 -
python爬取携程和蚂蜂窝的景点评论数据\python爬取携程评论数据\python旅游网站评论数
本人长期出售超大量微博数据、旅游网站评论数据，并提供各种指定数据爬取服务，Message to YuboonaZhang@Yahoo.com。同时欢迎加入社交媒体数据交流群：99918768前言 为
2022-06-03 数据 景点 评论 携程 页面 分析 蚂蜂 动态 传输 网站 两个 内容 参数 就是 接口 结构 不同 元素 图片 数据库 -
namenode ha切换优化
一、背景目前namenode使用了ha的部署模式，但系统会经常出现ha的自动切换（namenode节点其实正常）。经过调研发现可能的原因如下：HealthMonitor check本地namenode
2022-06-03 任务 切换 注释 登陆 文件 节点 配置 重要 事项 原因 参数 只有 备份 机器 模式 步骤 注意事项 状态 程序 端口 -
到底什么是IT服务管理
作者：易仔阿克 时间：2014-08-11标题：到底什么是IT服务管理经过近三十年的发展演进，以ITIL（IT基础设施库）为基础发展而来的IT服务管理成为企业主流的参考框架。那么，为什么IT服务管理具
2022-06-03 服务 管理 企业 信息 部门 问题 职能 职能部门 就是 需求 业务 同时 成本 系统 角度 重要 之间 产品 价值 前台 -
为什么我的eclipse怎么没有新建java project选项
为什么我的Eclipse怎么没有新建java project选项解决方法：打开Eclipse，选择空白处右击，选择New-->Other里面有java project
2022-06-03 选择 方法 空白 -
Appium自动化测试之微信元素识别和代码实战
视频地址：http://www.xqtesting.com/blog/weixin-213.html引子总会有人问微信的自动化测试怎么做。其实我不太明白，为啥你要对ta做自动化测试啊，除非你们公司产品
2022-06-03 元素 测试 就是 语句 面的 切换 自动化 手机 文章 开发 代码 必要 前提 名称 地址 模式 页面 输入 输出 配置 -
以性能测试谈河北科大餐厅就餐
Vuser max：40000Min：10000Middle：25000餐厅个数：4区共11个餐厅整体上，就餐时间较短，瞬时就餐同学数量过大，餐厅餐桌数量固定，吞吐量达到顶峰，导致餐厅超负荷。下面以午
2022-06-03 餐厅 学生 时间 吞吐量 部分 餐桌 吞吐 同学 数量 方面 午饭 院系 营业 适当 杯水车薪 不堪重负 上下 个数 书籍 夜宵 -
大规模微服务实战经验
作者 | 李林锋《Netty 进阶之路》、《分布式服务框架原理与实践》作者李林锋分享大规模业务团队实施微服务的经验和教训。引言--背景对于一些复杂的业务系统(例如CRM)进行服务化改造，涉及到多个业务
2022-06-03 服务 业务 经验 团队 技术 教训 接口 一致 一致性 故障 框架 统一 设计 不同 事务 架构 可靠性 场景 细节 语言 -
测试报告模板范例
1. 简介1.1 编写目的本文档用于记录测试过程，总结各轮次的测试情况，分析测试数据，归纳测试工作进行过程中暴露的问题与遗留的风险，给出相应的测试建议以供后续项目参考。1.2 项目背景xx需要一个拥有
2022-06-03 测试 缺陷 需求 系统 过程 项目 用户 产品 版本 情况 问题 一轮 权重 模块 环境 接口 阶段 功能 数据 策略 -
testNg 关闭浏览器异常解决办法
执行testNg关闭浏览器方法一直报错，报错信息如下：Process refused to die after 10 seconds, and couldn't taskkill it引起该问题的原因
2022-06-03 浏览器 浏览 变量 方法 环境 系统 办法 信息 原因 文件 问题 检查 -
如何设计实时数据平台（设计篇）
导读：本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论，即"实时数据平台"。在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待
2022-06-03 数据 处理 支持 平台 实时 架构 统一 能力 设计 技术 数据处理 代数 方式 问题 服务 范围 协作 整体 话题 资源