互联网科技列表
-
apache-kafka集群部署
前提:zk什么是kafka百度百科Kafka是一个分布式的、分区的、多复本的日志提交服务。它通过一种独一无二的设计提供了一个消息系统的功能。目标是为处理实时数据提供一个统一、高通量、低等待的平台。ka
2022-06-03 日志 文件 配置 大小 数据 缓存 节点 消费 适量 分布式 平台 机器 环境 目录 服务 集群 独一无二 两个 主机 前提 -
kafka manager 搭建
安装kafka manager[root@emm-kafka01-10--174 ~]# cd /opt/ins/[root@emm-kafka01-10--174 ins]# lltotal 292
2022-06-03 维度 集群 偏移 排序 小时 速度 消费 最大 内容 变量 字节 指标 数据 浏览器 版本 环境 脚本 链接 参考 支持 -
device-mapper 块级重删 (dm dedup) <2>设计
二、dm dedup的原理dmdedup在github上面的代码：https://github.com/dmdedup/dmdedup4.13设计文档http://www.fsl.cs.stonybr
2022-06-03 数据 情况 内容 代表 概率 逻辑 设计 三个 原理 文档 物理 程序 空间 也就是 代码 作者 副本 就是 思想 文件 -
ELK5.4 修改分片数及分片分配方式
一、修改分片数elasticsearch默认分片数为5，副本数为1.如果需要修改分片数有两种方式1、修改索引settings查看索引状态：curl -GET "http://localhost:920
2022-06-03 模板 索引 方式 分配 信息 均衡 状态 副本 参数 情况 节点 集群 变动 统一 -
hadoop强制删除
hadoop忽略回收站删除指定目录或文件/dirhadoop fs -rmr -skipTrash /dir
2022-06-03 回收站 文件 目录 强制 -
目前流行的缺陷管理工具
缺陷管理工具：1. Bugzilla2. Bugfree3. TestDirector （Quality Center）4. ClearQuest5. JIRA6. Mantis7. Bugzero8
2022-06-03 管理 跟踪 测试 功能 系统 软件 项目 流程 问题 开发 缺陷 工作 强大 同时 管理系统 过程 处理 数据 需求 商业 -
Spark 报错解决--Error initializing SparkContext
在提交spark作业的时候，spark出现报错./spark-shell 19/05/14 05:37:40 WARN util.NativeCodeLoader: Unable to load na
2022-06-03 日志 路径 文件 时候 空间 作业 分析 测试 原因 原因分析 只有 界面 目录 服务 -
多线程爬取都挺好链接并保存到mongodb
一个比较简单，python3多线程使用requests库爬取都挺好，并使用正则提取下载链接，保存到mongodb#!/usr/bin/env python# -*- coding:utf-8 -*-"
2022-06-03 线程 链接 成功 正则 utf-8 存储 -
只有自身跟上时代，offer就会如期而至
【官宣】只有自身跟上时代，offer就会如期而至最近对求职者来说，似乎颇不太平，各种裁员扑面而来，许多企业（易车、滴滴等）相继官宣裁员信息，包括阿里缩减校招，百度减少社招等，都让人不禁打嗦。但我们华清
2022-06-03 华清 招聘 企业 学员 经理 科技 笔试 如期而至 只有 时代 专业 人才 就是 技术 技能 行业 开发 优秀 产品 信息 -
多来源数据采集、处理的数据流程
数据平台数据处理流程图数据准备：主要分为几个来源：FTP数据来源，合作方推送的数据，从携程对外开放的API接口获取数据，酒店管理系统日志数据以及在线旅行社网站的数据源。数据接入：针对数据多来源的特性开
2022-06-03 数据 合作方 合作 来源 处理 数据处理 开发 推送 任务 接口 方式 日志 网站 存储 查询 流程 平台 数据查询 文件 消费者 -
Python-7 多继承函数调用注意点
例：class Base(object):def test(self):print("---------Base")class A(Base):def test(self):print("------
2022-06-03 方法 相同 优先级 处所 此方法 顺序 函数 -
真格量化入门课程——②真格量化Python策略编写思路
四、如何在真格平台上做到这一切现在我们想在真格量化上实现自己的策略，需要怎么做呢？首先，真格量化使用Python语言编写策略。我们需要对Python语言有一些初步的了解。与C++或Java语言相比，P
2022-06-03 函数 事件 真格 周期 行情 策略 时间 交易 监听 驱动 账户 订阅 选择 数据 不同 可以通过 程序 委托 查询 代码 -
Spark机器学习
Spark机器学习Pipelines中的主要概念MLlib 提供的API可以通过Pipelines将多个复杂的机器学习算法结合成单个pipeline或者单个工作流。这个概念和scikit-learn里
2022-06-03 数据 机器 学习 阶段 类型 多个 概念 标识 案例 模型 特征 结构 工作 检查 代码 单个 向量 多种 就是 工作流 -
app渲染性能专项测试之show GPU view update
这个工具目前还不是很了解，后面完善。
2022-06-03 工具 专项 性能 测试 -
goalng下的快速排序
一直觉得自己的数据结构学习的不是很好, 抽空练习练习下基础算法.先来张图,了解下算法cdn2.b0.upaiyun.com/2012/01/Visual-and-intuitive-feel-of-7
2022-06-03 算法 数据 排序 代码 基础 就是 数据结构 结构 节点 j++ 先来 学习 -
Drools stream integration
This passage discusses how to integrate a provided drools package into datastream application.Packag
2022-06-03 -
关于短视频平台开发框架结构以及界面设计分析
一、框架结构分析界面设计首页：短视频平台把视频放在了首页，界面则相对简洁，顶部导航栏只有菜单，关注，发现，同城录像等按钮。短视频是随机呈现的，用户只能够刷新页面更换想看的视频。但好在用户对所观看的短视
2022-06-03 界面 视频 功能 用户 设计 内容 不同 按钮 色彩 文字 比例 拍摄 简洁 生产者 领域 频道 颜色 搜索 生产 平台 -
linux中 $符号连接数字的含义 linux 比较操作符
linux中$#,$0,$1,$2,$@,$*,$$,$?的含义$# 是传给脚本的参数个数$0 是脚本本身的文件名$1 是脚本后接的第一个参数$2 是脚本后接的第二个参数$@ 是传给脚本的所有参数列表
2022-06-03 脚本 参数 含义 操作符 中用 逻辑 错误 运行 相同 个数 命令 字符 字符串 小结 文件 文件名 状态 进程 链接 参考 -
好程序员大数据学习路线分享高阶函数
好程序员大数据学习路线分享高阶函数，我们通常将可以做为参数传递到方法中的表达式叫做函数高阶函数包含：作为值的函数、匿名函数、闭包、柯里化等等。定义函数时格式：val 变量名 = (输入参数类型和个数)
2022-06-03 函数 方法 模式 参数 类型 变量 个数 闭包 柯里 代理 包装 实例 就是 高阶 作用 文件 案例 结果 门面 输入 -
浅析《大数据运算》-加减乘除以及模除运算
WAY?为什么会有大数据运算？缘由？在c++中常用的数据类型有 char:1 bit,short 2 bit，int 4 bit，long long 8 bit等等，以上数据类型标识的数据大小非常有限
2022-06-03 运算 数据 范围 结果 运算符 测试 函数 字符 字符串 文件 除数 代码 名称 形式 接口 符号 输出 不同 功能 情况