需求是现在有80G的日志，需要把这些日志按照某个规则，分类放到另外的8个文件里面去，每个文件代表一种类型的日志。
我的做法是起8个线程a[8]分析日志，8个线程b[8]写文件。这样a和b就是一个多对多的关系。对每一个a[i]，b[0]到b[7]都回向它发送数据。如果使用vector或者是数组之类的结构的话，还得自己考虑锁的问题。
而如果使用pipe的话，a[i]负责往对应的pipe中写，b[i]在8个pipe上select或者epoll，就能很好避免掉自己管理各种竞态条件或者死锁。
唯一需要注意的问题是：每次读写的数据必须是小于PIPE_BUF的，这样才能保证读写的原子性。linux2.6.11之后PIPE_BUF的大小是65536。（参看 man 7 pipe）
另外，具体设计的时候，还需要考虑读写是否需要设置非阻塞等等。因为如果pipe的容量只有PIPE_BUF，如果满了，而且是阻塞式的写的话，当前线程式会阻塞在write操作上的。
--
caosuwei <caosuwei@gmail.com>
· 重构自己的代码如果是开发人员，随时要记得的事情是如何改善自己的代码质量。要让自己成为更好的技术人，重构或许是是随手可作的并且切实可以提高自己能力的一件事情。有好的代码为基础，才有可能随时面对更大的系统压力。要记住小网站有可能发展为大网站，技术人需要的是提前做好准备，为你的代码，为你自己，为你的团队。
· 自动化日常工作有人说，萝卜快了不洗泥，团队什么事情都要我做，我怎么有时间去搞什么重构？那么，是否可以将一些日常需要重复做的事情尽可能的自动化，比如日常发布是否 可以自动化？测试工作是否可以自动化？安全检查是否可以自动化？有了这些为前提，你肯定有足够的时间去做你想要做的事情。
· 良好的开发习惯在一个团队中，如果养成良好的开发习惯会让你节省时间和精力。比如对版本工具的掌握程度，如果连 SVN 都缺少使用意识的话，很难想象团队协作开发的时候会搞成什么样的局面。也不要抱怨团队的同事没有好习惯，他们或许正需要你的帮助呢...用你的行动，去带 动他们。顺便问一下，你平时为代码写注释么？
· 改进自己的产品复杂未必是最大的竞争力，细致和精致有的时候是更好的竞争力。很多技术人员做到最后发现自己做了很多对用户并不重要的功能和产品，而最重要的产品反而疏于改进。这未必都是别人的错，如果自己能够对产品和业务有足够的了理解的话，你或许会驱动团队少走弯路，做更正确的事情。
· 提高资源使用率别人用数台机器支撑的访问量，换了你，能否用更少的硬件支撑？这些方案是可扩展的么？是可验证的么？遗憾的是，我看到多数小团队硬件利用率甚至比一些大团队更低。如果听任低效的代码、冗杂的产品功能不去改变，那么可能的确要面临资源利用率相对较低的窘境。
· 规划资源的能力团队小的时候，整个产品架构、整个网站架构的信息收集并不难，让你建立起一个全局的观念相对更为容易一些。注意分析整体架构的演变，根据自己的理解，一步一步预期将来可能出现的问题。这是非常难得的锻炼自己的机会。顺便问一下，你给自己的网站画过架构示意图么？
· 保持学习的热情我在前面说到了网络上的技术资源的丰富性，你是否能够持之以恒的去学习、吸收这些技术经验，是否养成了评估某项技术成熟度的能力? 什么，学了用不上？问题是再大的公司在技术上也是要有取舍的，更多的时候都是在用更为合适的技术而不是看起来更"先进"的技术。
而我当时碰到这个问题的情形是找不到core文件。那时我想也没想，随手就在根目录下面 find了一把，一下子就找到了原因。
另外再说一句，今天看到LWN上说Linux kernel的2.6.37版有针对prof的更新。针对有动态链接的程序，还是得靠prof和Oprofile了。
--
caosuwei <caosuwei@gmail.com>
1. 如果数组长度够小,那么对数组整体排序,取第K个
2. 如果数组长度太长,那么对数组做切分,对切分的每个部分排序,取出这个部分的中间元素.
3. 在中间元素中递归的取中间值,直到取出整个数组A中间值M.
4. 将整个数组A跟据这个中间值M划分为三个部分,大于M的,小于M的,和等于M的.
5. 根据这三个部分的大小来判断第k大的元素在哪个部分,对该部分递归的做上面的操作.
--
caosuwei <caosuwei@gmail.com>
lambda表示并不是一个必须的东西,跟它有相同作用的还有function object和函数指针.函数指针的缺点在于没办法保存中间状态,但是效率相对较高.而function object作为一个自定义类型当然能保持中间状态,但是写起来也太繁琐了.
lambda表达式算是综合了这个两个的优点.
这儿有一个例子
#include <algorithm>
#include <iostream>
#include <vector>
using namespace std;
int main()
{
// Create a vector object that contains 10 elements.
vector<int> v;
for (int i = 0; i < 10; ++i)
{
v.push_back(i);
}
// Count the number of even numbers in the vector by
// using the for_each function and a lambda expression.
int evenCount = 0;
for_each(v.begin(), v.end(), [&evenCount] (int n) {
cout << n;
if (n % 2 == 0)
{
cout << " is even " << endl;
// Increment the counter.
evenCount++;
}
else
{
cout << " is odd " << endl;
}
});
// Print the count of even numbers to the console.
cout << "There are " << evenCount
<< " even numbers in the vector." << endl;
}
总的来说,基本规则就是
1. [=], [&] 表示在lambda函数里可以访问当前所有变量，其中=隐含了this
2. [=, &a, &b] 表示除ab按引用传递，其他均按值传递
3. [a, &b] a按值传递，b按引用传递
这儿有个参考: http://msdn.microsoft.com/en-us/library/dd293599.aspx
g++ 4.5版本之后才支持这个东西, vc我没有查过,貌似也是vc2010才支持
--
caosuwei <caosuwei@gmail.com>
翻了翻libssh2的开发邮件列表,发现还有别人很烦这个东西,并且提供了一个patch,可以用NULL的public key而不会报错了.
链接在这里
--
caosuwei <caosuwei@gmail.com>
弄断一半卡笋,弄明白了按键的结构,也算有得有失吧 -_-!
--
caosuwei <caosuwei@gmail.com>
select name from (SELECT name, sum(score) as sum_score FROM `grade` group by Name) as temp where sum_score > 100;
--
caosuwei <caosuwei@gmail.com>
最近看boost的文档，才发现原来1.41和以后的版本的thread库里面已经有相关的东西做这件事了
这个就是 boost::unique_future 和 boost::shared_future.
用起来很方便，下面是示例
#include <boost/thread.hpp>
#include <string>
using namespace std;
using namespace boost;
int calculate_the_answer_to_life_the_universe_and_everything(int par, string aaa)
{
if(aaa == "hello")
return par-1;
else
return par+1;
}
int main(void)
{
int a = 33;
string b = "hello";
boost::packaged_task<int> pt(boost::bind(calculate_the_answer_to_life_the_universe_and_everything, a, b));
boost::unique_future<int> fi=pt.get_future();
boost::thread task(boost::move(pt)); // launch task on a thread
fi.wait(); // wait for it to finish
assert(fi.is_ready());
assert(fi.has_value());
assert(!fi.has_exception());
assert(fi.get_state()==boost::future_state::ready);
// assert(fi.get()==42);
int aaa = fi.get();
return 0;
}
--
caosuwei <caosuwei@gmail.com>
1. 首先是安装mysql
这个简单,直接 apt-get install mysql-server就行了.
然后 mysql -u root -p
create database weblog, 建立一个叫weblog的数据库,等会儿给wordpress用.
mysql的配置文件在/etc/mysql/my.cnf
2. 安装php
我最初只是 apt-get install php5
后来发现这样php连不上数据库,访问apache服务器的时候会报连不上mysql的错误,
后来才知道应该再装一个 apt-get install php5-mysql.
php.ini文件的位置是/etc/php5/apache2/php.ini
安装这个的时候会顺便把apache一起装上的,apache的配置文件在/etc/apache2/
这个配置文件的嵌套层数很多,如果要修改DocumentRoot的话,这个设置在/etc/apache2/sites-available/default文件里面.
3. 安装wordpress
修改好DocumentRoot后,就可以把wordpress放到指定位置了.只需要修改wordpress配置文件中的DB_NAME, DB_USER, DB_PASSWORD这几个就行了.
4. apache
如果修改了apache的配置文件,可以用 /etc/init.d/apache2 restart 这个来重启apache服务器.
--
caosuwei <caosuwei@gmail.com>
为了取thread调用的函数的返回值，以前要么是弄个函数包起来，用一个外部变量记录返回值，要不就是在类里面加个public的变量做记录，感 觉很不地道，而且麻烦
最近看boost的文档，才发现原来1.41和以后的版本的thread库里面已经有相关的东西做这件事了
这个就是 boost::unique_future 和 boost::shared_future.
用起来很方便，下面是示例
#include <boost/thread.hpp>
#include <string>
using namespace std;
using namespace boost;
int calculate_the_answer_to_life_the_universe_and_everything(int par, string aaa)
{
if(aaa == "hello")
return par-1;
else
return par+1;
}
int main(void)
{
int a = 33;
string b = "hello";
boost::packaged_task<int> pt(boost::bind(calculate_the_answer_to_life_the_universe_and_everything, a, b));
boost::unique_future<int> fi=pt.get_future();
boost::thread task(boost::move(pt)); // launch task on a thread
fi.wait(); // wait for it to finish
assert(fi.is_ready());
assert(fi.has_value());
assert(!fi.has_exception());
assert(fi.get_state()==boost::future_state::ready);
// assert(fi.get()==42);
int aaa = fi.get();
return 0;
}
今天上网搜了一下这个问题.搞定了,在这里记录一下.
我的host系统换了之后,guest虚拟出来的网卡的mac地址也变了.结果guest启动的时候,就自动在/etc/udev/rules.d /70-persistent-net.rules里面加了一个网络接口,依次是eth0,eth1,eth2,eth3...
这几个接口唯一的区别就是mac地址不一样.
但是/etc/network/interfaces中默认启动并并配置dhcp的仍然是eth0,结果,当然eth3就分配不到ip,当然上不了网.
解决办法就是要么改网络接口名称,要么配置新接口的ip获得方式.
1.改网络接口名称
这个方法就是修改 /etc/udev/rules.d/70-persistent-net.rules 文件,把多余的项目删掉,或者注掉.只留下当前有用的.
2.配置新接口的ip获得方式
修改/etc/network/interfaces文件,加上
auto eth3 #自动启动eth3接口
allow-hostplug eth3 #eth3这个接口只有在插上网线的时候才回去连线
iface eth3 inet dhcp #这句就是设置dhcp了
以上配置文件路径是以debian 5.0.4为准.供参考.
--
caosuwei <caosuwei@gmail.com>
ls ./*.[^c,h]*
一个简单的正则,取出所有不是用c或者h开头,并且后缀是一个或者多个字符的文件,一般就是 .o文件, .la文件, .lo, .y文件这些编译的中间文件.
我的诺基亚手机没有秒表,总要找同事借,干脆自己写了一个
精度是 microsecond
