互联网科技列表
-
jdbc实现事物管理并搬表
本文实现旧库中的数据搬到新库中1、获取jdbc连接package com.transferdata;import java.sql.DriverManager;import java.sql.SQLE
2022-06-03 外层 数据 不用 目的 驱动 实体 数据库 测试 事物 管理 -
16、Hive数据倾斜与解决方案
数据倾斜1、什么是数据倾斜由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点2、数据倾斜的现象在执行任务的时候，任务进度长时间维持在99%左右，查看任务监控页面，发现只有少量（1个或几个）re
2022-06-03 数据 处理 结果 类型 时候 任务 情况 关联 不同 特殊 相同 均衡 业务 场景 两个 办法 字段 字符 字符串 差异 -
Spark修炼之道（进阶篇）——Spark入门到精通：第四节
本节主要内容Spark重要概念弹性分布式数据集（RDD）基础1. Spark重要概念本节部分内容源自官方文档：http://spark.apache.org/docs/latest/cluster-o
2022-06-03 程序 运行 集群 函数 应用 应用程序 任务 数据 方法 资源 内容 分布式 模式 资源管理 管理 输入 元素 方式 结果 不同 -
Centos7配置Docker Swarm及安装Portai
一、创建集群1、初始化manager节点（xxx为manager的ip地址）docker swarm init --advertise-addr xxx.xxx.xxx.xxx会输出以下内容，注意加粗
2022-06-03 集群 命令 服务 均衡 内容 地址 密码 情况 文件 斜体 服务器 界面 节点 控制 管理 输出 运行 配置 -
Hive lateral view 与 explode
explode（官网链接）explode 是一个 UDTF（表生成函数），将单个输入行转换为多个输出行。一般和 lateral view 结合使用，主要有两种用法：输入类型使用方法描述Texplode
2022-06-03 输入 多个 子句 一行 数组 多行 生成 输出 代表 函数 基础 实例 链接 页面 应用 使用方法 元素 别名 单个 名称 -
大数据学习心得
一、 概述1大数据简介1.1起源"大数据"，近几年来最火的词之一。虽然大数据这个词的正式产生也就10年左右，但对大数据分析却早就有之。早在互联网初期，就有很多公司通过计算机技术对大量的分析处理，比如各
2022-06-03 数据 互联网 互联 移动 分析 数据分析 社会 服务 方法 机遇 处理 矛盾 产业 信息 技术 需求 领域 研究 安全 价值 -
spark union 特别注意
今天遇到一个很诡异的问题。表Auseridhousecoderesctimeu1code111301表Buseridhousecoderesctimeu2code201302表Cuseridnamet
2022-06-03 数据 问题 一致 感觉 顺序 很大 诡异 诧异 前因后果 原来如此 乖乖 事情 位置 函数 后来人 大海 对象 方法 是在 注释 -
键入网址按回车发生了什么
键入网址，按回车，发生了什么???第一步：浏览器从地址栏的输入中获得服务器的 IP 地址和端口号如果键入的是域名，首先要进行域名解析，把域名解析为服务器的IP地址。解析的过程如下，在解析过程中会有多级
2022-06-03 服务 服务器 缓存 浏览 浏览器 均衡 地址 域名 报文 设备 资源 数据 来源 系统 网络 过程 静态 应用 网址 频繁 -
记客户端请求超时分析过程
请求处理过程描述服务端 使用 框架 加载 业务so,并未业务so创建协程处理，处理完成后给出 响应。so入口函数接收(const Type&in, Type &out,Type &extend)，是否
2022-06-03 业务 框架 日志 处理 问题 函数 消息 服务 输出 分析 代码 接口 资源 客户 客户端 入口 司机 级别 结果 a. -
从国考大数据看中国哪个省的人最爱当官
道路千万条，公务员之路最拥挤！一个职位有成百上千人竞争的现象屡见不鲜然而每年都有100多万勇士敢于直面国考的惨烈说起公考全国那么多人到底哪个省份的人最爱当官呢？看数据分析就知道了▼先看下刚结束的202
2022-06-03 山东 竞争 人数 数据 地方 经济 广东 浙江 文化 云南 北京 贵州 分析 公务 公务员 地区 山东人 职位 四川 发达 -
36 字典中的items方法和key pop方法popite
第十课 获取字典中的key和value（items方法和key方法）# items方法和keys方法 # items 方法用于返回字典中所有的key value 对 获得的每一个kv对用一个元组来
2022-06-03 字典 方法 中国 自行车 飞机 帮助 元素 学院 课程 在线 循环 更新 销售 一方 中值 博客 参数 工具 工具软件 摩托 -
在Windows下Kafka的基本配置及简单使用
首先下载zookeeper（版本zookeeper-3.4.13）和kafka（版本kafka_2.12-2.0.0），解压就可以使用了。1、zookeeper：在config目录下，有zoo.con
2022-06-03 配置 公众 消息 命令 日志 消费者 生产者 消费 生产 订阅 版本 目录 面的 成功 主题 分布式 性能 文件 文章 状态 -
RMI加载类异常
场景：写数据到solr，应用调的是经过封装好的jar里面的方法，连接是正常的，但是写json数据时 抛出异常。错误如下：Caused by: java.rmi.ServerException: Rem
2022-06-03 数据 一致 安全 场景 方法 错误 问题 封装 应用 -
大数据运营之产品数据模型设计
本文摘自：李福东《大数据运营-服务型企业架构新思维》3.4.1.1产品是企业的核心载体，集中反映了市场需求和资源供给。一方面，产品反应了企业对市场需求的满足，包括产品销售区域、产品满足的客户群、产品营
2022-06-03 产品 企业 市场 营销 资源 数据 模型 阶段 客户 需求 销售 设计 产品销售 供给 保证 服务 测试 评价 区域 效果 -
SpringBoot学习（二）—— springboot快速整合spring security组件
Spring Security简介spring security的核心功能为认证（Authentication），授权（Authorization），即认证用户是否能访问该系统，和授权用户可以在系统中
2022-06-03 用户 角色 登录 系统 密码 输入 权限 浏览器 用户名 浏览 组件 地址 这是 认证 验证 代码 界面 项目 内存 内容 -
Hbase数据备份案例讲解
HBase的数据备份1.1 基于HBase提供的类对表进行备份使用HBase提供的类把HBase中某张表的数据导出到HDFS，之后再导出到测试hbase表中。(1) ==从hbase表导出到HDFS=
2022-06-03 数据 备份 快照 文件 方式 时候 时间 数据备份 信息 原地 增量 就是 拷贝 指针 目标 差不多 下图 业务 原理 参数 -
【从0开始Web开发实战】SpringBoot集成LogBack和LogStash
目录：1. SpringBoot集成和配置LogBack2. 封装LogUtil，集中处理日志3. SpringBoot集成LogStash4. 单独安装配置LogStash5. docker-com
2022-06-03 日志 配置 文件 输出 信息 系统 处理 运行 代码 目录 问题 一键 封装 功能 容器 属性 格式 脚本 项目 服务 -
你真的懂JAVA吗
宏观方面一、JAVA。要想成为JAVA（高级）工程师肯定要学习JAVA。一般的程序员或许只需知道一些JAVA的语法结构就可以应付了。但要成为JAVA（高级） 工程师，您要对JAVA做比较深入的研究。您
2022-06-03 原理 项目 技术 开发 高级 数据 工具 工程师 框架 设计 工程 数据库 系统 熟练 代码 常用 模式 知识 工作 程序 -
Visual Studio 2019教程：如何将Web API添加到ASP.NET Core应用程序
打开项目在Visual Studio 2019中打开ASP.NET Core应用程序。添加一个API控制器右键单击该项目，然后添加一个名为Api的新文件夹。然后，右键单击此文件夹，然后选择Add >
2022-06-03 方法 控制器 数据 路由 控制 应用程序 程序 应用 数据库 属性 选择 文件 模型 端点 顶部 项目 更新 生成 有效 接下来 -
ApplicationContextAware快速获取bean
ApplicationContext的BeanFactory 的子类， 拥有更强大的功能，ApplicationContext可以在服务器启动的时候自动实例化所有的bean,而 BeanFactory
2022-06-03 对象 实例 时候 容器 文件 生成 代码 服务器 服务 配置 强大 一句话 事实 事实上 冗余 办法 功能 变量 只有 子类