阿里古古
ganliang13 · 共 57 篇文章
linux ISO本地源
在这里用iso或者光盘做本地yum源的方法是差不多的,只是用光盘的话Linux系统会自动挂载,用iso镜像的或需要手动挂载,这里就说挂载iso的方法吧。 【一】用本地文件创建本地yum源 1. 创建iso存放目录和挂载目录 1 2 mkdir /mnt/iso mkdir /mnt/cdrom 2. 将iso镜像文件上传到/mnt/iso文件夹下 3. 将/mnt/iso/下的iso文件挂载到/mnt/cdrom目录 1 mount -o loop /mnt/iso/XXXXX.iso /mnt/cdrom <注:挂载完之后对其操作会提示设备繁忙,此时需要umount解开挂载才行> 查看是否…
2019-05-08 18:25 · linux · 评论(0)
kafka之java编程模型
package com.ganglia.kafka; import java.util.Date; import java.util.Properties; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; public class ProducerTest2 { public static void main(String[] args) { Properties props = new Properties();…
spark streaming JavaQueueStream实例改造测试数据流
为了搞清楚Spark Streaming处理数据流,改造了以有的例子来进行测试数据在Spark内部的流向。 package org.apache.spark.examples.streaming; import java.util.LinkedList; import java.util.List; import java.util.Queue; import scala.Tuple2; import com.google.common.collect.Lists; import org.apache.spark.SparkConf; import org.apache.spark.api.…
2014-08-29 10:31 · spark · 评论(0)
mapreduce编程模型之hbase输入hdfs多路输出
import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Date; import java.util.Iterator; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.KeyValue; import org.apac…
2014-01-14 14:43 · hadoop · 评论(0)
mapreduce编程模型之hbase表作为数据源输入输出
package cn.luxh.app; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.client.Result; import org.apache.hadoop.hbase.…
2013-12-18 15:15 · hadoop · 评论(0)
mapreduce编程模型之HDFS数据到HBASE表数据
package com.bfd.util; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.KeyValue; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.i…
2013-12-18 15:06 · hadoop · 评论(0)
hbase关于对表操作API实现
package com.gan.hbase; import java.io.IOException; import java.math.BigInteger; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescrip…
2013-12-18 14:48 · hbase · 评论(0)
Weka入门实例之KMean聚类实现
/*上次我介绍了分类器的使用方法,这次我来介绍一下聚类算法。聚类算法在数据挖掘里面被称之为无监督学习(unsupervised learning),这是与分类算法(supervised learning)相对的。在它们两者之间还一种叫做半监督学习(semi-supervised learning)这个我会在后面的文章中重点介绍。所谓无监督学习就是在预先不知道样本类别的情况下,由聚类算法来判别样本的类别的一种学习方法。 聚类算法的一般过程分为: 1. 读入需预测样本 2. 初始化聚类算法(并设置参数) 3. 使用聚类算法对样本进行聚类 4. 打印聚类结果*/ package com.gump.…
2013-10-21 20:15 · KDD · 评论(0)
mapreduce 求最大值最小值问题
import java.io.File; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.JobConf; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.ap…
2013-09-16 21:43 · hadoop · 评论(0)
hive基于UDAF的编写
------------- select concat(account,'\t',bfdutmb,'\t',page_url) from ( select account,bfdutmb,actionPath(page_url,'->') page_url from ( select create_time,account,bfdutmb,page_url page_url from ods_action_event order by account,bfdutmb,create_time)c group by account,bfdutmb)b import org.apache.hado…
2013-07-23 10:31 · hive · 评论(0)
ubuntu在Virtualbox全屏显示问题及文件共享
1. 安装增强功能包(Guest Additions) 安装好Ubuntu 9.10后,运行Ubuntu并登录。然后在VirtualBox的菜单里选择"设备(Devices)" -> "安装增强功能包(Install Guest Additions)"。 你会发现在Ubuntu桌面上多出一个光盘图标,这张光盘默认被自动加载到了文件夹/media/cdom0。进入命令行终端,输入: cd /media/cdrom0 sudo ./VboxLinuxAdditions.run 开始安装工具包。安装完毕后会提示要重启Ubuntu。 2. 设置共享文件夹 重启完成后点击"设备(Devices)" -…
2013-07-20 19:51 · linux · 评论(0)
基于hadoop的多个reduce 输出
import java.io.File; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.NullWritable; import org.a…
2013-07-17 19:11 · hadoop · 评论(0)
mapreduce编程模型之mysql 输入数据至hbase表数据
1.Hbase shell中创建表 create 'tab1','f','i'/*表名,行名,列族*/ 2.导出mysql数据到文本 select gid,a,b,c,d,e,f,g from itemprofile where a='1234' into outfile '/tmp/data' FIELDS TERMINATED BY '\t'; 2.1.将导出的文件放入hdfs的/user/aaa/ 3.转存文件为Hfile格式 hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=HBASE_ROW_…
2013-06-25 11:19 · hadoop · 评论(0)
mapreudce 通过读取hbase表删除hbase 数据
package foo.bar.MR; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.KeyValue; import org.apache.hadoop.hbase.client.Delete; import org.apache…
2013-06-17 16:15 · hbase · 评论(0)
基于mapreduce 读文件直接入 hbase
hbase(main):002:0> describe 'tab1' DESCRIPTION ENABLED {NAME => 'tab1', FAMILIES => [{NAME => 'f1', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'NONE', REPLICA true TION_SCOPE => '0', VERSIONS => '3', COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL => '2147483647', KEEP_ DELETED_CELLS => 'false',…
2013-06-09 16:47 · hbase · 评论(0)