互联网科技列表
-
Apache Spark 黑名单(Blacklist)机制介绍
在使用 Apache Spark 的时候，作业会以分布式的方式在不同的节点上运行;特别是当集群的规模很大时，集群的节点出现各种问题是很常见的，比如某个磁盘出现问题等。我们都知道 ApacheSpark
2022-06-03 问题 黑名单 黑名 机制 数据 节点 机器 磁盘 执行器 任务 可以通过 状态 作业 调度 场景 面的 信息 分布式 参数 实验性 -
Spark 系列（七）—— 基于 ZooKeeper 搭建 Spark 高可用集群
一、集群规划这里搭建一个 3 节点的 Spark 集群，其中三台主机上均部署 Worker 服务。同时为了保证高可用，除了在 hadoop001 上部署主 Master 服务外，还在 hadoop00
2022-06-03 集群 服务 配置 环境 节点 命令 备用 变量 位置 服务器 单机 地址 得了 数据 文件 状态 目录 三台 保证 一致 -
Jstack查看耗CPU的线程
1、top -查看最耗费cpu的进程2、先输入top H -p pid，查看具体的某个线程信息3、把线程号转换成16进制 jstack查找这个线程的信息jstack [进程]|grep -A 10 [
2022-06-03 线程 信息 进制 进程 输入 -
几个个用于大数据分析的最好工具
大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志
2022-06-03 数据 平台 处理 应用 分析 系统 软件 项目 开发 技术 数据挖掘 研究 信息 服务 运行 流程 工具 分布式 方案 网络 -
大数据零基础学习路线,新人记得保存收藏哦
有很多人对这个东西感兴趣，但是对编程语言也不太了解不过大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，零基础的朋友也是完全可以掌握大数据的。我个人总结了一下 零基础学习大数据的话大概分为
2022-06-03 数据 学习 语言 课程 C++ 编程 基础 技术 编程语言 实际 对大 部分 开发 时间 机构 概念 海量 经验 计算机 语句 -
kafka故障排查-consumer处理超时导致的异常
最近遇到一个kafka方面的问题，大致就是由于consumer处理业务超时，导致无法正常提交Offset，进而导致无法消费新消息的问题。下面我想从以下几个方面对此次故障排查进行复盘分析：业务背景、问题
2022-06-03 消息 消费 处理 业务 时间 问题 日志 配置 故障 背景 变化 最大 信息 名称 思路 教训 方面 经验 要么 顺序 -
openstack和Hadoop区别
openstack是一个开源的云计算框架，而Hadoop是一个开源的大数据框架，二者的侧重点不同。区别：云计算是在云平台上提供存储和计算资源。而以Hadoop为模型的大数据是提供了一种分布式的存储（H
2022-06-03 平台 数据 框架 模型 存储 不同 侧重点 分布式 多台 是在 计算机 资源 -
神器：REST测试工具[wiztools.org restclient]客户端Jar依赖Java安装环境
![神器：REST测试工具[wiztools.org restclient]客户端Jar依赖Java安装环境](https://www.qianjiagd.com/uploadfile/thumb/30/db7a8884.jpg)
背景使用Spring Boot开发集群应用，架构风格启用RestFul之后表单Post请求无法Url测试，必须使用专用工具测试主题经过亲身感受，测试发现最靠谱的工具非[wiztools.org res
2022-06-03 测试 选择 工具 支持 输入 专用工具 主题 内容 再次 区域 地址 引号 报头 架构 格式 特色 箭头 绿色 背景 表单 -
纺织行业管理系统软件_毛织ERP_指点纺织ERP
深圳市指点科技有限公司成立于2011年6月，致力于为纺织行业提供专业纺织贸易ERP信息管理系统及一站式运营服务，助力中国纺织企业实现信息化、智能化发展，推动纺织企业智能化转型升级。指点科技自成立以来，
2022-06-03 管理 纺织 样品 加工 企业 订单 模块 价格 功能 商品 客户 查询 采购 报价 销售 系统 专业 坯布 成品 环节 -
国内电脑ip地址如何隐藏，切换本地网络IP地址
国内电脑ip地址如何隐藏，切换本地网络IP地址
2022-06-03 地址 电脑 网络 切换 -
区块链快速入门（四）——BFT（拜占庭容错）共识算法
区块链快速入门（四）--BFT（拜占庭容错）共识算法一、BFT简介1、拜占庭将军问题简介拜占庭将军问题（Byzantine Generals Problem）是Leslie Lamport（2013年
2022-06-03 节点 消息 算法 副本 区块 拜占 拜占庭 问题 网络 共识 客户 将军 难度 时间 视图 容错 客户端 状态 系统 验证 -
架构设计杂谈001-软件开发人员的成长之路
软件开发人员的成长路线-1从技术方面来看，基本上就三条主要路线：1、纯技术路线：高级开发人员 →系统设计人员→架构师→资深技术专家／资深架构师2、技术管理路线：研发型技术管理高级开发人员→ 系统设计人
2022-06-03 人员 技术 开发 高级 设计 架构 系统 路线 管理 总监 技术管理 顾问 测试 软件 软件开发 咨询 经理 创业 之路 必经之路 -
hdfs namenode HA高可用方案
2019/2/18 星期一hdfs namenode HA高可用方案1、hadoop-ha 集群运作机制介绍所谓HA，即高可用（7*24 小时不中断服务） //hadoop 2.x 内置了 HA 方案
2022-06-03 节点 数据 状态 机制 脚本 切换 防御 服务 管理 方案 成功 时候 程序 集群 更新 两个 信息 内存 差异 方法 -
Apache Flink官方文档中文版--Flink是什么？
架构原文链接 Apache Flink是一个用于对无边界和有边界数据流进行有状态计算的框架和分布式处理引擎。Flink设计为运行在所有常见的集群环境中，并且以内存速度和任意规模执行计算。 在这里，
2022-06-03 应用 程序 应用程序 状态 处理 时间 数据 事件 边界 运行 故障 检查 模式 一致 检查点 特性 算法 函数 结果 管理 -
MMJ-Spring Boot(Java)获取小程序Openid
背景开发小程序，想使用微信账号唯一码，API是这么说的wx.login...code 换取 session_key接口地址：https://api.weixin.qq.com/sns/jscode2s
2022-06-03 程序 参数 服务 配置 接口 地址 域名 字段 工具 拷贝 开发 输入 验证 健壮 合法 之间 代表 办法 后台 实际 -
Spark笔记整理（十二）：日志记录与监控
1 Standalone模式下按照香飘叶子的文档部署好完全分布式集群后，提交任务到Spark集群中，查看hadoop01:8080，想点击查看某个已完成应用的历史情况，出现下面的提示：Event lo
2022-06-03 配置 日志 历史 程序 服务 服务器 模式 节点 信息 应用 应用程序 集群 面的 任务 位置 可以通过 地址 情况 文件 目录 -
Git 代码管理以及问题
libcdio: Existing folder found. Checking for updates...fatal: unable to access 'https://github.com/S
2022-06-03 代码 版本 历史 切换 主线 分支 场景 方案 时候 状态 应用 管理 不合理 危险 处在 手动 指针 是的 误区 尝试 -
hadoop install
1.Hadoop安装步骤将Hadoop文件拷贝到/usr/local目录下并解压Tar -zxvf hadoop-3.0.0.tar.gz将解压后文件重命名hadoop mv hadoop-3.0.0
2022-06-03 配置 节点 文件 目录 集群 公钥 拷贝 登录 份数 基本配置 引擎 权限 用户 服务 检查 生成 调度 通信 健康 主机 -
大数据分布式平台Hadoop2.7.7 + Spark2.2.2搭建
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapRedu
2022-06-03 集群 配置 文件 环境 机器 数据 目录 变量 命令 页面 模式 节点 分布式 不同 两个 权限 框架 工作 迭代 公钥 -
数平精准推荐 | OCR技术之系统篇
导语：如果说算法和数据是跑车的发动机和汽油，那么系统则是变速箱，稳定而灵活的变速箱，是图像识别服务向前推进的基础。算法、数据、系统三位一体，随着算法的快速发展和数据的日益积累，系统也在高效而稳定地升级
2022-06-03 算法 系统 框架 服务 更新 运行 动态 快照 业务 图像 模块 路由 不同 集群 静态 图片 接入 技术 模型 复杂