互联网科技列表
-
Hadoop初体验:快速搭建Hadoop伪分布式环境
0.前言本文旨在使用一个全新安装好的Linux系统从0开始进行Hadoop伪分布式环境的搭建,以达到快速搭建的目的,从而体验Hadoop的魅力所在,为后面的继续学习提供基础环境。对使用的系统环境作如下
2022-06-03 配置 目录 命令 环境 地址 登陆 版本 主机 数据 面的 变量 密码 系统 页面 口号 用户 防火墙 防火 分布式 体验 -
软件生命周期及模型之我见
所谓的软件生命周期,顾名思义,就是指软件从生产到停止使用的生命周期。SDLC, Software Development Life Cycle is a process used by softwar
2022-06-03 开发 软件 模型 过程 软件开发 周期 生命 瀑布 设计 原型 产品 成品 测试 迭代 不同 直观 实际 就是 是在 理论 -
DKH大数据整体解决方案的优势介绍
大数据技术的发展与应用已经在深刻地改变和影响我们的日常生活与工作,可以预见的是在大数据提升为国家战略层面后,未来的几年里大数据技术将会被更多的行业应用。相信很多人对于大数据技术的应用还是处于一个非常陌
2022-06-03 数据 技术 企业 方案 解决方案 搜索 应用 管理 中小 优势 全文 基础 可视化 支持 整合 中小企业 中小型 人工 功能 嫌犯 -
在sqlplus的command窗口执行sql语句
SQL> @F:\数据库创建\create.sql回车即可
2022-06-03 数据 数据库 语句 -
ES集群修改index副本数报错 :index read-only / allow delete
ES集群修改index副本数,报错 :index read-only / allow delete (api)原因:es集群数据量增速过快,导致个别es node节点磁盘使用率在%80以上,接近%90
2022-06-03 集群 数据 节点 副本 磁盘 索引 工具 切换 原因 开发工具 数量 方案 步骤 空间 开发 粗暴 下文 使用率 信息 内容 -
scala
模式匹配在jdk1.7之前,Java的 switch 关键字只可以处理原生类型(int 、short 、byte 、char)和枚举类型。在jdk1.7以后,switch新增了对String类型的处理
2022-06-03 函数 参数 变量 类型 方法 处理 闭包 应用 自由 元素 关键 关键字 多个 成员 模式 过程 柯里 复杂 一行 两个 -
python学习list笔记
python学习list笔记List(列表) 是 Python 中使用最频繁的数据类型;支持字符,数字,字符串甚至可以包含列表(所谓嵌套)1、定义:list = [1,3,4,5,'goog','we
2022-06-03 方法 序号 偶数 函数 奇数 字符 笔记 学习 频繁 下标 从中 位置 使用方法 字符串 数字 数据 类型 结果 长度 utf-8 -
M9连接器照片图画集合
本文展示M9连接器照片图画集合:本图集免费使用,使用请说明出处,谢谢。
2022-06-03 图画 照片 连接器 出处 图集 -
记一次Grpc接口压力测试&性能调优
〇、经验总结:如果在压测过程中,压力始终上不去,可以考虑是施压机器并发上不去,或者被压机器请求处理不过来。施压上不去或者被压机器请求处理不过来,是因为机器CPU瓶颈?内存瓶颈?端口数量瓶颈?逐步排查定
2022-06-03 压力 测试 机器 端口 配置 内存 接口 年代 服务 数量 指标 情况 新生 新生代 服务器 现象 线程 过程 性能 问题 -
Elasticsearch集群
1、两台机分别安装好Elasticsearch其中为192.168.1.110,设为master节点,elasticsearch.yml配置如下cluster.name: my-application
2022-06-03 文件 示例 节点 配置 原因 数据 文件夹 装好 集群 -
创建HDFS的FileSystem对象的小心得
FileSystem fs = FiileSystem.get(new URI("hdfs://hadoop1:9000"),new Configuration() );以这种方式可以创建fs对象,但
2022-06-03 形式 文件 参数 文件名 方式 对象 属性 时候 程序 路径 必要 单个 同时 多个 实际 实际上 情况 方法 是在 有用 -
从Hive导入数据到ES
大数据方兴未艾,Hive在业界,是大数据的标配了。因此hive数据添加到ES的应用场景还是比较常见的。学习ES官方的es-hadoop, 有从hive导数据到ES. 实验可行。hive的版本: hiv
2022-06-03 数据 集群 索引 场景 问题 应用 参数 性能 接口 版本 还是 实验 可行 最大 方兴未艾 首当其冲 业界 任务 作者 信息 -
Flask send_from_director 抛异常
最近在做某厂产品开发时调用到了Flask里的send_from_directory接口,调用方法如下:send_from_directory(dirpath, filename, as_attachm
2022-06-03 产出 接口 文件 参数 过程 测试 干净 相同 产品 产品开发 内容 怎么办 新产 新旧 方法 时调 结果 问题 保证 开发 -
在pandas的unstack时报ValueError: duplicate entries 错误
pandas是python中用于数据分析和处理的一个基于numpy的基本库工具,是从事python语言数据领域的一个基本入门工具,常见用途有:a提供高级的数据结构和相当丰富的数据操作APIb提高了对复
2022-06-03 数据 索引 代码 字母 对象 工具 数据结构 数组 方法 标识 矩阵 类型 结构 一维 分析 处理 复杂 重要 高级 两个 -
大数据处理之流式计算简介
简介Strom是一个开源的分布式流式计算系统,用来处理流式的数据,被称作为流式的hadoop,在电信行业,可以用来做大流量预警、终端营销、访问竞争对手产品从而做挽留等业务。本文将从storm在hado
2022-06-03 数据 处理 组件 分组 分配 任务 函数 不同 相同 字段 来源 程序 系统 进程 数据处理 位置 应用程序 术语 架构 消息 -
Hadoop2.6.0学习笔记(二)MapReduce通过Eclipse运行
欢迎访问:鲁春利的工作笔记,学习是一种信仰,让时间考验坚持的力量。系统:Win7 64位JEE版本的Eclipse:Luna Release (4.4.0)Hadoop:2.6.0Hadoop-plu
2022-06-03 配置 程序 目录 集群 参数 插件 一致 成功 环境 笔记 运行 内容 文件 版本 系统 b. 准备 工作 学习 清楚 -
hadoop生态的大体介绍
重点组件:HDFS:Hadoop 的分布式文件存储系统MapReduce:Hadoop 的分布式程序运算框架,也可以叫做一种编程模型Hive:基于 Hadoop 的类 SQL 数据仓库工具HBase:
2022-06-03 数据 工具 分布式 程序 定制开发 框架 开发 产品 仓库 流程 组件 调度 运算 预处理 生态 工作流 引擎 技术 数据库 数据统计 -
基于SpringMVC、Maven以及Mybatis的环境搭建 【转】
搭建环境1、IDE用的是Eclipse的J2EE版本,要保证装上了Maven,可以使用Eclipse的Install New Software来安装然后点击Next,安装好后重启一次。注意:使用最新版
2022-06-03 文件 配置 服务 项目 管理 用户 信息 栏目 文章 查询 支持 数据 如图 监控 任务 平台 结构 路径 调度 文件夹 -
hadoop一 ---- 我对hadoop的理解
大数据:海量数据结构化数据:即行数据,能够存储在二维表中的数据非结构化数据:无法使用数据的二维逻辑表示数据。如word,ppt,图片半结构化数据:在结构化与非结构化之间,自我描述,将结构与数据本身存储
2022-06-03 数据 存储 处理 结构 文件 结构化 任务 多个 单个 故障 程序 系统 结果 集群 二维 保证 运行 不同 松散 平滑 -
Hadoop2.6.0学习笔记(一)MapReduce介绍
鲁春利的工作笔记,谁说程序员不能有文艺范?Hadoop是大数据处理的存储和计算平台,HDFS主要用来实现数据存储,MapReduce实现数据的计算。MapReduce内部已经封装了分布式的计算功能,在
2022-06-03 数据 处理 输出 函数 文件 单词 输入 业务 任务 程序 逻辑 分组 不同 两个 内容 多个 形式 方法 目录 结果