互联网科技列表
-
7.spark core之数据分区
简介 spark一个最重要的特性就是对数据集在各个节点的分区进行控制。控制数据分布可以减少网络开销，极大地提升整体性能。 只有Pair RDD才有分区，非Pair RDD分区的值是None。如果R
2022-06-03 数据 方式 两个 数量 结果 情况 哈希 相同 函数 样本 用户 算子 抽取 抽样 之间 大小 所属 方法 类型 节点 -
卸载CDH5.10.0
集群中每个节点都要执行：停止服务service cloudera-scm-server stopservice cloudera-scm-agent stop卸载安装包yum remove -y cl
2022-06-03 数据 进程 数据库 文件 监督者 组件 节点 集群 服务 监督 -
IPFS打破传统经济流通特性
一、传统中心化企业的特点与弊端我国古代的社会体系是典型的中心化组织，以皇帝为权力中心，统治全国，一切经济、政治、文化等活动都要以此为基础，才算合法合规。"溥天之下，莫非王土；率土之滨，莫非王臣"这句话
2022-06-03 数据 经济 中心化 服务 数字 企业 方式 星际 服务器 权益 模式 魔方 管理 流通 有效 安全 产权 价值 体系 分布式 -
为什么我从 Git Flow 开发模式切换到了 Trunk Based 开发模式？
我已经使用 Git Flow 构建我的 Git 分支有几年了。但是，我遇到了 Git Flow 的一些问题，其中大部分来自长期存在的分支。解决这些问题的方案就是 Trunk Based Develop
2022-06-03 功能 分支 开发 代码 问题 测试 切换 主干 冲突 不同 时间 两个 人员 团队 新功能 准备 影响 东西 就是 手动 -
太平洋保险家园大数据项目DSG应用（30多个Oracle等实时同步到KAFKA）
太平洋保险集团"家园项目"大数据平台DSG应用（oracle&kafka）项目背景根据太平洋保险集团的IT建设规划，在2017年年底，需要完成"一个太保，共同的家园"项目（简称家园项目），旨在给客户提
2022-06-03 数据 同步 平台 项目 系统 业务 家园 生产 数据库 服务 多个 实时 应用 方案 核心 成都 带宽 格式 支持 太平洋 -
Hadoop常用的操作命令(2)
Hadoop常用的操作命令列出目录清单[root@centos67 ~]# hdfs dfs -ls /递归列出目录清单[root@centos67 ~]# hdfs dfs -lsr /创建目录[r
2022-06-03 文件 目录 内容 大小 递归 统计 命令 清单 常用 件数 信息 回收站 文件名 时间 权限 正在 目录名 类型 长度 永久 -
军规14 增量升级必不可少
作为一个用户，测试过程中要注意APP升级时是否必须先卸载，才能安装；还有就是安装了最新版的，却发现之前的登陆信息全没了，还需要重新登陆；还有这就是最新版的安装后会不会崩溃。14.1 测试APP的增量升
2022-06-03 用户 测试 升级 数据 版本 信息 功能 登陆 就是 缓存 保证 文件 增量 全新 同时 应用程序 数据库 最新版 程序 过程 -
做大数据分析时的几个技巧
现在数据已经成为了一些企业的"天"。近年来，越来越多的公司意识到数据分析的价值，跳进了大数据旅行车。事实上，现在所有的东西都在被监控和测量，产生了大量的数据流，通常比公司处理的更快。问题是，按照定义，
2022-06-03 数据 分析 数据分析 公司 业务 信息 客户 企业 部门 问题 决策 管理 重要 质量 价值 技术 时间 系统 错误 存储 -
SPL 的序号思维及定位计算
SPL中的集合都是有序的，可以用序号来引用成员，灵活运用序号可以使运算更为简捷高效。1 成员访问SPL的某些函数中可以使用序号或序号数列作为参数，最简单的应用是直接用序号访问成员，这和一般编程语言中的
2022-06-03 成员 序列 序号 结果 函数 数列 位置 排序 员工 参数 子集 循环 分组 多个 数据 运算 定位 信息 基准 次序 -
如何使用Hive集成Solr?
（一）Hive+Solr简介Hive作为Hadoop生态系统里面离线的数据仓库，可以非常方便的使用SQL的方式来离线分析海量的历史数据，并根据分析的结果，来干一些其他的事情，如报表统计查询等。Solr
2022-06-03 数据 查询 分析 命令 字段 组件 面的 数据源 方式 索引 存储 代码 接口 版本 搜索 服务 统计 编程 运行 一致 -
RDD编程
1.RDD基础：Spark中RDD是不可变的分布式对象集合。每个RDD被分为多个分区，这些分区运行在集群中的不同节点上。RDD可以包含任意类型的对象（甚至可以是自定义的）。前面讲到，Spark包含转化
2022-06-03 函数 对象 类型 行动 数据 接口 方法 不同 基础 多个 方式 谱系 运行 两个 中用 之间 例子 内存 分布式 到时 -
vim find bash 文件系统
一 vimvi visual interface 全屏文本编辑器行文本编辑器sed全屏：vi/vim nanovim = vi improved模式：编辑模式，命令模式输入模式末行模式编辑模式--》输
2022-06-03 文件 字符 光标 权限 命令 用户 模式 系统 目录 条件 进程 设备 配置 内容 所在 位置 变量 程序 空白 符号 -
AutoRunner 的在录制脚本过程中发现对象录制不下来如何解决
有时候，我们在使用AR进行自动化测试的过程中会发现，有的对象无法通过常规的方法录制下来，这个时候我们可以利用AR强行获取对象的功能来实现对象的获取。然后通过视图模式下的拖拽方法把对象添加到脚本的编辑区
2022-06-03 对象 脚本 方法 时候 成功 视图 过程 位置 功能 同时 密码 常规 情况 手动 有时候 模式 注释 系统 鼠标 库里 -
oData（开放数据协议）【可以不应用，但不能不了解】
古人云，博学多识，闻过则喜！开放数据协议（Open Data Protocol，简称OData），是一种描述怎么创建和访问Restful服务的oasis标准。1、协议的组成部分？答：①核心协议：主要定
2022-06-03 数据 格式 模型 服务 标准 组件 应用 开放 互联网 方式 核心 范式 语言 资源 巴科斯 巴科 互联 移动 博学 闻过则喜 -
【虚拟化实战】存储设计之七Block Size
作者：范军 （Frank Fan）新浪微博：@frankfan7 微信：GetToCloud在实战存储设计之六Latnecy我们介绍Latency过高的原因和一些建议。本文重点分析Block Size
2022-06-03 存储 影响 数据 性能 应用 不同 常规 案例 设计 架构 闪存 处理 很大 上图 大小 客户 情况 控制器 是在 砖块 -
大数据生态之zookeeper（API）
在使用maven项目编写zookeeper程序时导入相关的jar包： org.apache.zookeeper zookeeper
2022-06-03 节点 路径 监听 事件 信息 参数 版本 顺序 内容 对象 类型 集群 数据 权限 状态 永久 一次性 之间 代码 入口 -
.Net异常：未处理BadImageFormatException
解决办法：点击项目-》属性2、把目标平台的any cpu 改成x86保存再编译即可。
2022-06-03 办法 属性 平台 目标 项目 编译 处理 -
libcurl第二课 编译静态库
1 编译libcurl静态库确保C/C++页面下代码生成/运行库确保跟解决方案保持一致，确保常规下输出路径和目标文件名称（d）2 C/C++属性页面中的预处理器属性页设置定义_DEBUGBUILDIN
2022-06-03 编译 属性 符号 静态 两个 函数 文件 链接 页面 分析 一致 类型 错误 应用 预处理 不同 代码 代码生成 作用 动态 -
堆排序 和 堆的大数据应用
//本次练习的是 堆排序 和 堆的大数据应用//堆排序的时间复杂度为 O（n）//堆的大数据应用应选择 小堆 进行处理//但 当数据超过100000时速度明显变慢，可能是建立小堆的时候慢 》》》》》有
2022-06-03 数据 应用 排序 明显 最大 最小 个数 方法 选出 速度 循环 复杂 内层 原因 参数 复杂度 外层 大堆 就是 数组 -
五款轻量型bug管理工具横向测评
最近正在使用的本地bug管理软件又出问题了，已经记不清这是第几次了，每次出现问题都要耗费大量的时间精力去网上寻找解决方案，劳心劳力。为了避免再次出现这样的情况，我决定从线下转到线上，使用轻量型的在线b
2022-06-03 任务 管理 功能 项目 团队 软件 工具 版本 时间 开发 标签 模式 状态 看板 在线 进展 管理工具 成员 文件 文档