Storm中的URLInjector该怎么理解
发表于:2025-02-04 作者:千家信息网编辑
千家信息网最后更新 2025年02月04日,今天就跟大家聊聊有关Storm中的URLInjector该怎么理解,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。介绍: URLInjector
千家信息网最后更新 2025年02月04日Storm中的URLInjector该怎么理解
今天就跟大家聊聊有关Storm中的URLInjector该怎么理解,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。
介绍: URLInjector,我封装了的一个简单的客户端,我们将要放URLs,到一个分片队列里面 【sharded queue】,只有放置到分片队列的数据才会被Storm的管线所处理。
package com.digitalpebble.storm.crawler;import java.io.BufferedReader;import java.io.File;import java.io.FileReader;import com.digitalpebble.storm.crawler.util.Configuration;import com.digitalpebble.storm.fetchqueue.ShardedQueue;public class URLInjector { private ShardedQueue queue; URLInjector() throws Exception { Configuration config = StormConfiguration.create(); queue = ShardedQueue.getInstance(config); } public void add(String url) { try { queue.add(url); } catch (Exception e) { e.printStackTrace(); } } public void close() { queue.close(); } public static void main(String[] args) throws Exception { String messages = args[0]; URLInjector client = new URLInjector(); BufferedReader reader = new BufferedReader(new FileReader(new File( messages))); String line = null; while ((line = reader.readLine()) != null) { client.add(line.trim()); } reader.close(); client.close(); }}
看完上述内容,你们对Storm中的URLInjector该怎么理解有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注行业资讯频道,感谢大家的支持。
内容
队列
只有
客户
客户端
数据
更多
知识
管线
篇文章
行业
资讯
资讯频道
频道
进一
处理
封装
支持
有关
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
奇安信的网络安全所有产品
会员服务器主机
网络技术真题视频
芯片操作系统服务器国产替代计划
奉化游戏软件开发平台
用友通系统管理连不上服务器
服务器对网络配置的要求
网络安全自主宣传
c 软件开发面试题库
数据库避免幻影现象
浪潮服务器上怎么开管理口
小型科技互联网靠谱吗
数据库应用题库
杨浦区软件开发补贴
徽盾网络安全南北对抗赛
数据库有几个层
软件开发任务描述
邮箱服务器域名配置
数据库查询显示整个表数据
迷你世界服务器看花语程行
网络技术真题视频
初中网络安全基础知识
网络安全规划论文5000字
监控视频什么时候有云服务器的
软件开发一方违约
天下3 79服务器
网络安全情景剧天网恢恢
线下服务器的端口申请过程
数据库有几个层
十大网络安全准则