10:48

老板：嗨，艾德，苏在底特律说，“产品历史屏幕”上经常出现错误的发票号码（Invoice Part Number）。你能帮我们搞定这个问题么？

艾德： 我现在在忙其他事。你到我的任务队列中提交一个ticket吧。

老板： 这事10分钟就够了。

艾德： 你确信么？

老板： 嗯，确定。我一会开个网络会议。苏会演示给你看，然后你有空的时候再仔细看看。

艾德： 好的。

老板： 嗯。去你的 Outlook 中查收（会议）邀请吧。

11:05

收到 11:30 的网络会议的 Outlook 邀请，接受。

11:25

从我的IP电话呼叫了网络会议的800号码。拨了两次，都占线。从IP电话打我手机，同样是忙。哎，IP电话系统再次坏了。从我手机呼叫了网络会议的号码。我是第一个上线了，然后又挂掉了。在浏览器中点击链接进入了网络会议，还是第一个。

（艾德开始在浏览器的另一个选项卡中看 Hacker News。）

11:38

老板进入会议，问：苏在哪里？

艾德： 我不知道。

老板： 你能看到我的屏幕么？

艾德： 不能。

老板： 哦，等一下。我来做主（Let me be the host）。现在能看到了么？

艾德： ?嗯，可以了。但我想苏是不是去展示问题了。

老板： 对。我一会让她做主。

（艾德开始在浏览器的另一个选项卡中看 Hacker News。）

11:47

苏进入会议：我们怎么在这里呢？

老板： 来这儿的目的就是让你给艾德展示“产品历史屏幕”出什么问题了。

苏： 展示“产品历史屏幕”的问题？

老板： 你知道的，你不说发票部分号码有时候会出错么？

苏：你指 mil-spec 订单？

老板： 我真的不知道。你不发送了ticket么？

苏： ticket 号码是多少呢？

老板：稍等，我查一下。

（艾德开始在浏览器的另一个选项卡中看 Hacker News。）

11:53

老板： ticket 号码是 13827。记住了吧？

苏： 我怎么在我电脑上查看 ticket。

老板： 点击内网中的 IT 控制板。

苏： 我点不了啊。网络会议软件全屏了。

老板： ?那你在键盘敲击Alt+F4，然后去内网。

（艾德开始在浏览器的另一个选项卡中看 Hacker News。）

11:57

苏： 搞定，ticket 号码是多少呢？

老板： 我应该写下来了。我再找找……

老板： 13827.

苏： 嗯，我看到了。 这个问题出现过几次。没人知道为什么。通常在 R27-83 这个号码时出问题了。

老板： 好，给艾德看吧。

苏： 我怎么回到网络会议界面呢？

老板： 你得重启了。刚才Alt+F4给关闭退出了。

（艾德开始在浏览器的另一个选项卡中看 Hacker News。）

12:04

苏： 好了，网络会议软件打开了。你能看到我么？

老板：不能，你得点击“Host”按钮。

苏：在哪里？

老板： 在右上角的小方框中。

苏：是“History”框么？

老板： 不是，是“Attendees”框。

苏： 好的。现在你能看到我了么？

老板：不能。再试。

苏： 我试了。好像你得退出主模式吧。

老板： 哦，我忘了。

（艾德开始在浏览器的另一个选项卡中看 Hacker News。）

12:14

老板： 我退出主模式了。你再试试。

苏： ?好的。现在你能看到我的屏幕了吧？

老板： 可以看到。

艾德： 我也可以。

苏： 好的，如果我进入主菜单，点击“Operations”，然后点击“Sales”，再点击“History”，我到了“Sales History”菜单。看到了吧？

老板：嗯。

艾德： 看到了。

苏： ?然后我按“Part”点击“Sales History Display”。输入”R27-93″，主屏幕弹出来了。然后我点击“Invoices”，我摁 F5，再 F3，再 F7，发票号码（Invoice Part Number）就变成了”GT548″。不应该这样的。

艾德：好，让我查看一下，再答复你。

老板： OK，再见。

苏： OK，拜拜。

艾德现在陷入了主模式，因为其他两位退出了。他不能退出。窗口锁定了。他重启电脑了。

12:38

艾德登录，进入开发系统。进入主屏幕，点击“Operations”，然后点击“Sales”，再点击“History”，到了“Sales History”菜单。然后按“Part”点击“Sales History Display”。他输入”R27-93″，主屏幕弹出。他然后点击“Invoices”，摁 F5，再 F3，再 F7，发票号码（Invoice Part Number）还是”R27-93″，本该就如此。在开发系统中工作正常。

12:46

艾德通过他的秘密后门登录产品。进入主屏幕，点击“Operations”，然后点击“Sales”，再点击“History”，到了“Sales History”菜单。然后按“Part”点击“Sales History Display”。他输入”R27-93″，主屏幕弹出。他然后点击“Invoices”，摁 F5，再 F3，再 F7，发票号码（Invoice Part Number）变成了”GT548″。苏没说错。

12:57

艾德查看了版本控制系统。这个问题弗瑞德（Fred）在11月11日已经 check out。艾德运行了一个 diff，看到弗瑞德已经发现他更改后的第425行的代码有问题，并修正了。

1:03

艾德呼叫弗瑞德，看他在忙啥。Voice mail。

1:07

艾德给弗瑞德发电子邮件，解释问题。

艾德继续看 Hacker News。

1:17

弗瑞德回拨艾德。艾德告诉他去看邮件。

（艾德开始在浏览器的另一个选项卡中看 Hacker News。）

1:28

弗瑞德回拨：OK，我想起来了。程序出错，是因为一个离岸外包的程序员改变了“Operations”目录下所有程序的header。他在重新编译前不小心删了一行代码。不知怎么地，还通过了QA，现在苏发现了这个Bug。

艾德： 那么你现在能修复么？

艾德：不行吧。这个模块中还有12个其他的改动。我先看看，再打给你。

（艾德开始在浏览器的另一个选项卡中看 Hacker News。）

1:36

弗瑞德回拨：在 XL500 模块通过之前，我是改不了这些变动。模块被冻结（on hol），必须得让QA先批准。所以我们只能等了。

艾德：好的，谢谢弗瑞德。我一会就给老板发邮件告诉他。

艾德给老板发了解释邮件。

（艾德开始在浏览器的另一个选项卡中看 Hacker News。）

1:48

老板： 好，这个看起来是个问题。貌似我不得不升级指导委员会了（Steering Committee）。艾德，很高兴你能分出10分钟来。谢谢。

（艾德开始在浏览器的另一个选项卡中看 Hacker News。）

英文原文：Ed Weissman      编译：伯乐在线 – 黄利民

LangDetect support 53 languages, awesome! We can check the support language list from here: http://code.google.com/p/language-detection/wiki/LanguageList.

And we can use it as simple as the sample show in it’s project homepage.

import java.util.ArrayList;
import com.cybozu.labs.langdetect.Detector;
import com.cybozu.labs.langdetect.DetectorFactory;
import com.cybozu.labs.langdetect.Language;

class LangDetectSample {
    public void init(String profileDirectory) throws LangDetectException {
        DetectorFactory.loadProfile(profileDirectory);
    }
    public String detect(String text) throws LangDetectException {
        Detector detector = DetectorFactory.create();
        detector.append(text);
        return detector.detect();
    }
    public ArrayList<Language> detectLangs(String text) throws LangDetectException {
        Detector detector = DetectorFactory.create();
        detector.append(text);
        return detector.getProbabilities();
    }
}

When I test it, I found I need to add jsonic-1.2.x.jar into the project’s build path. Which is not contain in the package when I downloaded langdetect. So I have to download jsonic by myself and add it to build path of the project. After all, everything goes on the track now. Enjoy it!

By the way, langdetect provide a build of nutch’s plugin, we can integerate it with our cluster conviniently.

Ganglia的强大在于：ganglia服务端能够通过一台客户端收集到同一个网段的所有客户端的数据，ganglia集群服务端能够通过一台服务端收集到它下属的所有客户端数据。这个体系设计表示一台服务器能够通过不同的分层能够管理上万台机器。

操作系统环境：Ubuntu 11.10 Server x64

集群环境:

namenode 192.168.1.1

datanode1 192.168.1.2

datanode2 192.168.1.3

ganglia的服务端安装在namenode上

$ sudo apt-get install  ganglia-monitor ganglia-webfront gmetad

安装脚本可能会出错，解决方法是执行以下语句在ganglia用户组下添加用户ganglia:

$ sudo useradd ganglia -g ganglia

在/etc/ganglia/下会产生一个gmond.conf的配置文件。

在这个配置文件中先找到setuid = yes,改成setuid =no;然后找到在cluster块中的name，改成name =”hadoop-test”;

其他都不用改了，保存以后重启gmond服务；

二、安装服务器端

1.首先安装rrdtool

$ sudo apt-get install rrdtool

修改/etc/ganglia/gmetad.conf配置文件。

在这个配置文件中主要是增加一些datasource，即被监控的机器的列表。在文件末行加入

data_source “hadoop-test” namenode:8649 datanode1:8649 datanode2:8649

其中”hadoop-test”是集群名称，呆会要和客户端的gmond中配置的name要一致，后面多个机器名的话用空格隔开就可以了

配置过配置文件以后，需要重启gmetad来应用配置。

$ sudo /etc/init.d/gmetad restart

$ sudo /etc/init.d/ganglia-monitor restart

3.配置web

将ganglia的文件链接到apache的默认目录下

$ sudo ln -s /usr/share/ganglia-webfront /var/www/ganglia

现在重启动apache

$ sudo /etc/init.d/apache2 restart

启动成功后，通过访问http://namenode/ganglia就可以看到ganglia的首页了。

三、配置hadoop文件

找到hadoop根目录下的conf文件夹下的hadoop-metrics.properties文件

改成如下内容

# Configuration of the “dfs” context for ganglia

dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext

dfs.period=10

dfs.servers=239.2.11.71:8649

# Configuration of the “mapred” context for ganglia

mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext

mapred.period=10

mapred.servers=239.2.11.71:8649

# Configuration of the “jvm” context for ganglia

jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext

jvm.period=10

jvm.servers=239.2.11.71:8649

注：239.2.11.71这个是ganglia用的多播的地址，不需要改成gmetad的服务器地址

如果需要监控hbase的话，也一样找到hbase目录下的这个文件，改法一样就不重复了。 改完以后将配置文件分发到各个datanode节点的${HADOOP_HOME}/conf目录下，重启Hadoop集群即可。

本文参考了http://www.cnblogs.com/lijun4017/archive/2011/08/11/2135031.html，将服务器环境改为在Ubuntu Server上进行配置。

Preparation

First of all, download Apache Nutch 1.4 from

http://nutch.apache.org/

and Hadoop 0.20.2 from

http://hadoop.apache.org/common/releases.html#Download.

Create user “nutch” ont both cluster1 and cluster2:

$ sudo adduser nutch

Input the password for user “nutch”, after that  configure the server to use ssh to access slaves from master without password. We use cluster1 as master and cluster2 as slave. I will configure the work environment on cluster1 and then copy them to cluster2. Now configure the SSH first, I assume that the OpenSSH and JDK has been installed on the servers. Login to cluster1 with user “nutch” and create a SSH key, then copy the public key to cluster2:

$ ssh-keygen -t rsa -P “”

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ scp ~/.ssh/authorized_keys nutch@cluster2:/home/nutch/.ssh/authorized_keys

Now edit /etc/hosts file on servers, add two lines like:

x.x.x.x    cluster1
y.y.y.y    cluster2

Install Hadoop 0.20.2

I configured Hadoop following this two post:

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

The difference was I put hadoop in my /home/nutch/hadoop folder and my conf/master file’s content:

cluster1

My conf/slaves file’s content:

cluster1

cluster2

Now change the contents of conf/core-site.xml, conf/hdfs-site.xml and conf/mapred-site.xml

conf/core-site.xml

<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>

<configuration>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/nutch/hadoop/tmp</value>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://cluster1:9000</value>
</property>
</configuration>

conf/hdfs-site.xml

<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>

<configuration>

<property>
<name>dfs.name.dir</name>
<value>/home/nutch/filesystem/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/nutch/filesystem/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

conf/mapred-site.xml

<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>

<!– Put site-specific property overrides in this file. –>

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>cluster1:9001</value>
</property>
<property>
<name>mapred.map.tasks</name>
<value>2</value>
</property>
<property>
<name>mapred.reduce.tasks</name>
<value>2</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/home/nutch/filesystem/mapreduce/system</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/nutch/filesystem/mapreduce/local</value>
</property>
</configuration>

After configuring hadoop on cluster1, I copied the hadoop folder to cluster2:

$ scp -r ~/hadoop nutch@cluster2:/home/nutch/

Install Nutch 1.4

Unpack nutch 1.4 to /home/nutch/nutch:

$ tar xvf apache-nutch-1.4-bin.tar.gz -C ~/nutch

Copy conf/nutch-default.xml to conf/nutch-site.xml and edit conf/nutch-site.xml:

$ cd ~/nutch

$ cp conf/nutch-default.xml conf/nutch-site.xml && vim conf/nutch-site.xml

Search the http.agent.name key and set value to your crawler name.

Then copy the hadoop-env.sh, core-site.xml, hdfs-site.xml, mapred-site.xml, master, slaves from hadoop/conf to nutch/conf, after that, copy nutch/conf to nutch/runtime/local/conf.

$ cd ~/hadoop/conf

$ cp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml master slaves ~/nutch/conf/

$ cd ~/nutch

$ cp conf/* runtime/local/conf/

Here is the key point

We have to rebuild nutch 1.4 with ant, or we’ll get an error which tell us something like the http.agent.name doesn’t work even we have edit our nutch-site.xml file. Now run ant to rebuild nutch:

$ export CLASSPATH=.:/home/nutch/nutch/runtime/local/lib

$ ant

After ant finishing, copy the nutch-1.4.job and nutch-1.4.jar to the deploy and local workspace.

$ cp build/nutch-1.4.job runtime/deploy/

$ cp build/nutch-1.4.jar runtime/local/lib/

Now the cluster has been built successfully and we can use it just as what we did in Nutch 1.2. The only different operation is that the start-all.sh of hadoop is not placed in nutch’s bin folder anymore. We could execute it from $HADOOP_HOME/bin.

location / {

        ……
if (!-e $request_filename) {

rewrite ^(.*)$ /index.php?q=$1 last;
break;

        }

}