互联网科技列表
-
Spark笔记整理（六）：Spark高级排序与TopN问题揭密
[TOC]引入前面进行过wordcount的单词统计例子，关键是，如何对统计的单词按照单词个数来进行排序？如下：scala> val retRDD = sc.textFile("hdfs://
2022-06-03 排序 数据 方式 问题 对象 需求 代码 版本 就是 比较性 测试 元素 算子 结果 原始 相同 同时 大小 思想 接口 -
提高程序员开发效率的必备工具
如果您是初级开发者或者您根本就不会编程那也不要紧，系统可以根据开发向导直接进行功能开发，不需要编写一行代码也无需编译就个完成开发过程。如果您是一名专业的开发人员，需要编写复杂的业务逻辑那么您也可以使用
2022-06-03 开发 框架 报表 代码 设计 权限 流程 表单 生成 功能 敏捷 组件 基础 系统 管理 业务 用户 菜单 项目 复杂 -
zookeeper部署
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功
2022-06-03 文件 内容 分布式 用户 服务 登录 文件夹 集群 应用 重要 一致 一致性 两个 功能 命令 域名 应用程序 源码 状态 程序 -
Docker镜像构建的优化总结
Docker镜像构建的优化总结随着我们对docker镜像的持续使用，在此过程中如果不加以注意并且优化，镜像的体积会越来越多。很多时候我们在使用docker部署应用时，会发现镜像的体积至少有1G以上。镜
2022-06-03 镜像 指令 文件 命令 目录 缓存 容器 体积 用户 功能 引擎 时候 权限 应用 参数 情况 端口 过程 工具 时间 -
jenkins环境搭建步骤
1、下载jenkins.war包2、在war包所在的目录按住shift键右击打开命令行窗口执行下面两条命令来启动jenkins：jar -jar jenkins.warjava -Xms1024m -
2022-06-03 命令 成功 代表 所在 目录 如图 提示 步骤 环境 -
Lintcode16 Permutations II solution 题解
【题目描述】Given a list of numbers with duplicate number in it. Find all unique permutations.给出一个具有重复数字的列
2022-06-03 题目 时候 链接 不同 个数 就是 数字 数组 答案 解法 排序 题解 -
DMP用户画像系统（SparkGraphX SparkCore SparkSQL）
DMP用户画像系统（SparkGraphX SparkCore SparkSQL）课程观看地址：http://www.xuetuwuyou.com/course/221课程出自学途无忧网：http:/
2022-06-03 任务 用户 标签 画像 统计 系统 需求 上下 上下文 报表 行为 课程 项目 思路 案例 流程 类型 开发 演示 运行 -
spark-yarn 模式 jar包优化
在yarn模式下，会上传jar包到yarn来执行spark程序，如果每次都上传，很耗时间，而且如果是阿里云的机器，上传很慢，180m的jar要上传十几分钟，所以要提前上传到hdfs中去。spark支持
2022-06-03 写法 支持 模式 参数 只有 大堆 小包 文件 文件夹 是在 机器 程序 过后 错误 阿里 -
《从Lucene到Elasticsearch：全文检索实战》
今天我给大家讲讲倒排索引。索引是构成搜索引擎的核心技术之一，它在日常生活中是非常常见的，比如我看一本书的时候，我首先会看书的目录，通过目录可以快速定位到具体章节的页码，加快对内容的查询速度。文档通常保
2022-06-03 文档 数据 索引 搜索 引擎 搜索引擎 数据库 频率 中国 美国 人工 智能 系统 记录表 词语 互联网 人工智能 内容 工具 德国 -
Spring Boot/Angular整合Keycloak实现单点登录
本文介绍了Keycloak基础知识、ADFS和Salesforce IDP配置、Spring Boot和Angular集成Keycloak实现单点登录的方法。本文代码以Angular 8集成Sprin
2022-06-03 配置 用户 管理 登录 支持 认证 选择 流程 验证 应用 参数 客户 客户端 属性 方式 角色 认证流程 控制 不同 成功 -
virtualenv在windows上打开
选择一个文件架，打开cmdvirtualenv envname # 创建一个名字为envname的虚拟环境dir # 查看当前目录可以知道一个envname的文件已经被创建virtualenv -p
2022-06-03 环境 文件 名字 多个 文件夹 版本 目录 文件架 选择 -
Thrift第四课 连接中断异常处理
场景Thrift框架采用了异常处理机制，当客户端异常断开连接，服务端这个时候尝试发送数据给客户端，Thrift库会抛出异常，导致进程中断。这种情况是非常正常的，服务器端应该捕获异常的发生，但是不应该异
2022-06-03 时候 函数 用户 处理 服务 客户 客户端 服务器 循环 代码 套接字 数据 框架 成功 机制 线程 两个 事件 代表 参数 -
kafka详细介绍，安装，配置
1、简介Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不
2022-06-03 集群 消息 文件 配置 数据 机器 消费 多个 系统 三台 订阅 文件夹 服务器 存储 服务 之间 内存 实例 性能 模式 -
做好软件项目的验收的方法
1、积极主动地与客户进行沟通(1）、项目中一定要有沟通策略,和高管如何汇报工作进展,取得支持?和中层如何就业务目标不断确认,逐步清晰?和基层如何就项目应用操作模式达成一致,持续改进?都需要通过沟通反馈
2022-06-03 项目 工作 备忘 备忘录 验收 内容 汇报 阶段 认可 企业 用户 约定 目标 进展 清楚 双方 过程 问题 项目组 培训 -
为什么很多公司都在招测试开发？
看到很多人解释为什么公司都要招聘测试开发，在说效率，在说岗位职责，没有人从这个行业发展的变化去说的。在开始正文之前，我先抛出一个观点，做80%的做测试的，都称不上为测试工程师。好的，带着这个观点，咱们
2022-06-03 测试 开发 质量 公司 工程 工程师 行业 自动化 代码 问题 体系 就是 保证 时候 语言 人员 技术 观点 质量保证 东西 -
创业公司如何实施研发绩效管理 | X-Developer案例
创业公司经历了种子期、死亡谷，终于来到了成长期。对创始团队来说，技术业务上的接连挑战还好应对，头疼的是随着公司的发展，一个个新名词、新概念的不断到来，消化确定需要时间。其中最头疼的名词之一，就是：绩效
2022-06-03 绩效 员工 考核 管理 公司 结果 就是 目标 企业 问题 评价 不断 团队 过程 工作 影响 代码 标准 能力 案例 -
数据分析与大数据分析的区别
数据分析是指采用恰当的统计分析方法对收集来的大量数据进行分析，提取出有用信息同时形成结论，即对数据加以详细研究和概括总结的过程。数据分析需要掌握数学知识和分析工具，数学知识包含统计学、概率论和数理统计
2022-06-03 数据 分析 数据分析 处理 方法 信息 工具 统计 不同 数据挖掘 时间 海量 软件 决策 不用 业务 分析师 序列 报告 数学 -
MAPREDUCE原理篇（2）
3.1 mapreduce的shuffle机制3.1.1 概述：v mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shu
2022-06-03 序列 程序 运算 资源 文件 过程 机制 流程 排序 数据 运行 方法 结果 缓冲区 缓冲 对象 框架 用户 处理 调度 -
sparkStreaming的编程步骤
（1）StreamingContext 与spark core的编程类似，在编写SparkStreaming的程序时，也需要一个通用的编程入口----StreamingContext。Streami
2022-06-03 数据 方法 程序 线程 运行 数据源 处理 系统 对象 文件 逻辑 编程 数据流 数量 时候 用户 关联 工作 支持 输入 -
Jenkins构建后发送邮件
我们首先安装Jenkins邮件扩展插件"Email Extension Plugin"。Jenkins和插件的安装方法见上一篇文章：http://qicheng0211.blog.51cto.com/
2022-06-03 配置 邮件 项目 日志 成功 收件人 选择 内容 地址 插件 服务器 用户 系统 邮箱 服务 认证 标题 端口 测试 高级