9. "用Python来抓取网页"

   最近有些工作要用到Python来抓取网页的内容。就在博客上记篇笔记吧。因为是笔记，所以就比较零散...

   主要用到的Python库是requests，ggithub上有些很些Nice的人，在我遇到问题的时候热心帮助我，比如说被python和json坑了的帖子...Requests这个库最大的好处就是，封装的很人性化，就像它号称的for humans。很多的项目都用这个库，它在github上已经有9000多个star了。

   另外，主要的教程是这位同学的博客，是山东大学软件工程的一位同学。不过他的教程中用的是urllib2之类的库，比requests底一个层次，写起来也要麻烦一点。但看看他对抓取过程的分析，还是非常有帮助的。教程就应该像他这样写，写的具体一些，看起来更明白。其中给出的代码，我试过的都能运行。

   抓取过程

   Python抓取网页的过程，和我们用浏览器打开网页的过程是一样的，都是通过HTTP协议来通信。也就是说，发一个请求过去，收到一些数据回来。我们要抓取的东西，也就是网页的源代码，在Chrome之类的浏览器中，直接右键就有查看源代码的选项。

   但有些时候，会遇到Ajax的情况。也就是说，我们直接抓取到的，是含有ajax的js代码，浏览器的真实数据，是不时的通过这些js代码，来发送新的请求 …

   read more

10. "写在SIGMOD Undergrad Poster 2014投稿后"

    其实两天前就已经投稿了，但还是想写点东西，来纪念下这次投稿。毕竟下次再投就不是Undergraduate了。

    Sigmod对于搞database的人来说，是最顶级的，也是最难的会议了。因此尝试一下Sigmod也是我本科的梦想之一。二月份的时候，就已经在想应该怎么做了，但因为三月的时候要来法国，就先放着了，老板给我了个idea，但我一直没搞明白到底是什么意思...他的想法是对现有的大数据的框架进行改进，但他访问过两个顶尖的做大数据框架的组，每次都访问一年，而对他们做的框架，我了解的，几乎只有名字...到了法国之后，日子一天天的接近deadline了。我到法国是报着度假的目的来的，但是这可是Sigmod啊，放弃总有那么一点不甘心。后来师兄们又喊我出去玩，毕竟我们拿的申根签证是世界上最适合旅行的签证了，欧洲这么大点地方却有着十几个国家，都可以随意去。我的签证只有三个月，因此每次出去玩都是很珍贵的机会。很痛苦的思考了两天，还是不去了，安心 干活...但活也干不下去啊...

    日子一天天临近deadline了，但我还是不清楚要做什么...每天都找老板讨论，每天都有进展，但每天都觉得进展的太少...毕竟自己的资历太浅，对要做的东西了解的不够...能做的就是把论文写个框架出来，然后再也写不下去，让老板来补充，然后再讨论，再改动...最后一天终于定下来怎么写了(最后一天啊 …

    read more

11. "写在reject之后"

    中欧标准时间的下午两点半，收到某高校的邮件，让我上网查看自己的申请状态(能不要这么高贵冷艳吗...)，于是乎，

    With regret, I must inform you that it will not be possible to offer you admission to the Computer Science program.
    

    看到reject的第一感觉，是希望的破灭。在漫长的等待，面试，以及忐忑之后，终于知道，这一切都白费了。第二感觉，则是无尽的自责。如果当初再努力一点，如果再多利用一点时间，结果，应该会是不一样吧。我多么用以前的付出与努力，来换取现在的好一点的结果。最后的最后，则是无比的烦躁。书看不进去，电影也不想看，饭，我估计倒是能吃下...

    细细想来，虽然这是北美高校的第一所的reject，但是 …

    read more

12. "Movie:中国合伙人"

    作为一个大一暑假在新东方打工当助教，大二开始刷单词，大三开始搞论文，大四开始申请并且现在在等录取结果的人，看了这部电影，还是有些想说的东西。

    这部电影拍的看起来比较假。中国的很多电影拍出来我都觉得假...比如说，你要拍一个大学校园的故事，为什么要找一个毕业了二十年的人来拍，黄晓明这几个人看起来就是留级了很多年没能毕业的样子好吗...

    接下来来讲讲梦想。在新东方打工的时候，我跟堂的第一节课我都很感动，但第二次跟的时候，就发现，怎么还是上个班讲过的段子...有些东西讲起来非常的酷炫，但经历起来，并不是那样，只有事后，才能笑的出来。我不愿意将梦想定义为一个高端大气上档次的词汇。梦想，应该是具体的。就像美食，美景，以及美丽的姑娘们，这些，都是支撑我在这么艰难的人生中一步步走过来的理由。

    再然后，是人生的艰难...我大一的时候，特别不喜欢喝酒，但有些情况，比如说和新东方的领导和同事们一起吃饭时，就比较纠结了。我曾经说，我不想喝，然后那位领导直接问，你工资要不要了。我纠结了一下，喝掉了...之后，那位领导讲起他在新东方总部年会的时候，那喝的就没边了，现在他已经喝出来了。至于新东方总部的那位领导，老俞 …

    read more

13. "去法国的路上~"

    在一天天的懒散生活中，时间渐渐来到了2014年的2月28日。这一天，是我，大师，还有小黑三个人一起去法国UBP学校交换三个月的起点。在28号的早上，在照例刷了几次邮件，发现我的学校申请并没有新动向后，我又来回打滚了好多次，做出了一个艰难的决定，起床！

    之前的两天，已经把该洗的衣服洗好晒干，应该采购的都购买齐全了，但是28号我依然忙碌的各种收拾，并且不断回忆还有什么应该带上。最后收拾到我都不想去法国了...下午四点半，出发去机场前，大师还告诉我，突然有那么一点点不想去，因为在寝室的日子实在太安逸了。深有同感...每天最发愁的是吃什么，这样的日子真是舍不得...

    在国内登机

    这部分经历比较无聊，不过可能对其它同学有帮助，我就写到这节里吧。

    三个人，从哈尔滨一起飞到北京后，按计划，是从北京坐晚上1：55的俄罗斯航空的飞机，飞莫斯科，在莫斯科等候9小时后，再坐上飞往巴黎的航班，到巴黎再等上四个小时，最终飞往UBP所在的城市克莱蒙。为什么这么折腾呢，因为便宜...28号的晚上8点半我们到达北京机场，休整过后，在排队领登机牌时，有位机场经理模样的人问，有没有经莫斯科中转去巴黎的，我们三个就应了一声。经理说，如果俄罗斯航空柜台对面的法国航空1 …

    read more

14. "旅途心情"

    此时，是2014年2月14日，元宵节，也是情人节的早上七点半。天一点点的亮起来了。我正一个人坐在太原火车站边上的德克士。刚才从运城坐了6小时卧铺来到太原，在这里再等待6小时后，是下一段28小时的卧铺回到哈尔滨开学。旅途的总时间超过40小时。

    也许，这就是我最后一次从太原坐火车返回哈尔滨吧。毕业之后，就不知道下一次是什么时候。即使有，我相信那个时候我也不会因为心疼机票贵出来的三四百块钱而坐这么久火车了。

    太原火车站，一个熟悉的地方。从高中起，几乎每年都会来到这里，或进行考试，或倒车接着北上。既然离上车时间还早，我的电脑的电力也充足，那么，就来回忆一下历次来太原的经历吧。

    印象中第一次来太原，似乎是在高二，来太原参加NOIP比赛。当时的我，觉得我们伟大省份的省会，太原，是一个特别遥远与神圣的地方。当时是由老师带着，到太原理工去比赛。比赛完的当天晚上，可以说是我人生中至今为止最大起大落的一个晚上了。晚上七点多，进行比赛结果的初测，当时我正在太原理工的某座楼下的台阶上玩NOKIA自带的贪吃蛇，正高兴破了记录，同学下来喊我上楼。我第一反应是，你逗我？半信半疑的上了楼，然后评测的人告诉我，恭喜你，你的成绩刚好拿到保送生资格。这一个保送生资格，意味着就不用参加高考了 …

    read more

15. "记一次心跳的抢票历程"

    上周拿到了签证，之后我们三个拖延症患者一直想着，明天把机票买了吧，于是就拖到了现在...

    最后的结果是，小黑买到了4718块的从北京到巴黎的往返机票（在莫斯科中转），我和大师买到了5312块的。

    在某个坑爹的订票网站上买的。为了不让本文显得像软文我就不提是哪家网站了。它显示的这个航班的余票数量，一直是7，直到我再也找不到这个航班。定的时候，显示的永远是，只有一张票了，因此，不能同时订三个人的票。于是我们在两台机子上订了三张票，其中小黑开了两个浏览器来订。这时我刷了下，余票还是7张。付款的时候，是先输入信用卡的信息（还要用VISA之类的信用卡来付钱），然后就等待扣款成功。等了几分钟，接到一个杭州的坐机。我还以为是在杭州的大师。然后发现是卖机票的。他告诉我，我第一张订单，已经订上了，可是，我因为不想买飞机延误的保险（因为是买的同一家航空公司的两段机票，真延误了航空公司会负责的），就退了，再订。于是，为了省那200块保险，我第二张订单就没订上...我当时因为余票还是7张，觉得这家网站，肯定是吓我玩的，然后就退了又订了...解决的办法是，加上近600块，因为之前这个价钱的机票，已经没了 …

    read more

16. "写给21岁~"

    今天，是21岁的第一天~许个愿吧~

    1. 吃饱喝好~
    2. 有学上~
    3. 找对象~

    世界很大，而我现在还很渺小...享受21岁的第一天，以及之后的每一天~

    PS: 其实已经过了零点了，现在并不能算是生日了...但是，我可以把生日那天，称为21岁的第0天~

    晚安~~

    PS: 这篇日志竟然没能成功的发到github page上。原因是，这篇日志的标题中有一个波浪号~，导致路径中也有一个波浪号。虽然在本地preview时是可以正常打开这篇日志的，但因为Github page的编码的问题，deploy后却不能打开。与此相似的还有用url编码的汉语路径，同样是本地可以访问但deploy后不行。解决办法很简单，把~从路径中删了就好了，而文章的题目不需要进行改动。

    read more

17. "读观止"

    《观止》，全称是《观止-微软创建NT和未来的夺命狂奔》 (Show Stopper!: The Breakneck Race to Create Windows NT and the Next Generation at Microsoft)。花了一周的时间读完此书。我的心情，就像下面这张照片一样：

    

    为了做个操作系统，做的妻离子散，家破人亡，还一连做了五年，何苦啊！再牛逼也是听别人吹的，而作痛，则是自己的。十分怀疑在选专业之前看到这本书，我还会不会投入这个苦海。十分庆幸的是，在看完这本书之后，我暂时还没有出家的打算。

    《观止》中记录了Windows NT框架的开发历程。可以说，从九十年代，一直到Windows 7之前的时代，NT占据了计算机历史上最最重要的部分。多么可歌可泣的历史地位。可是，对于开发它的程序员，那段开发的日子，也就是可泣了吧。在书的最后章节，也就是进入开发周期后的第五年，进行发布的冲刺的时候 …

    read more

18. "毕业设计的那些破事"

    记录下毕业设计中遇到的各种问题...

    一切的一切，还是清楚。写清楚自己要做什么，做了什么，以及怎么做的，让大家都了解你为什么做，做的怎么样，就足够了。

    开题的感受

    第四次开题，终于过了...回想一下，之前的报告，都是没有注意到层次。报告本身，是分好几个层次的，每一层有哪些内容，它之下又有哪些内容。传统的报告，总体上是一个树状的结构。之前一口气列了十几项功能，每一章都加入不同的功能，搞的十分的混乱。写好层次，大家也就能看清楚报告的结构了。

    但实际操作中，各个功能之间是有重叠的。对于写不明白的功能，我最后还是删掉了。

    模块划分

    报告中，具体的系统结构，是通过模块来体现的。每个模块的功能一定要写清楚。实际开发中，一个模块不一定会有很多代码，比如说，数据库的读取就是一行代码，但是它的功能是很重要的，所以说要单独列一个数据存储的模块出来。

    论文规范

    首先是在教务处网站上下载本科生毕业论文撰写规范。

    毕业论文只有word模板，没有LaTeX模板，好忧伤 …

    read more

« Page 10 / 14 »