2024年网页设计杂文荟萃 篇1
这里简单示例，涉及 http，requests，html，正则表达式，lxml，beautiful soup 相关知识请自行学习。
1：根据你要爬取的网页构造http头。关于http头的详细解释请看《http权威指南》。
比如你要爬取豆瓣读书，先打开谷歌浏览器，按F12打开开发人员工具，输入https://book.douban.com/tag/，见下图
headers下面的Request Headers就是你需要构造，一般来说，User-Agent是必须。Cookie许多网址也是需要的。具体哪些需要视不同网页的需求。这里豆瓣读书，仅需要 User-Agent，那么构造如下：
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36",}
2：利用requests模块发送请求（请在代码的最前面导入，即import requests）。
url ="https://book.douban.com/tag/"
r = requests.get(url,headers)
r就是网页的回复，网页的源码就在r.text里面,print（r.text）即可看到网页的源码，如下图
3：利用正则表达式/lxml/beautiful soup提取文本,效率依次从高到低，难度依次从高到低。这里以lxml为例提取所有的图书标签
from lxml import etree
html = etree.HTML(r.text)
taglist = html.xpath("//table[@class='tagCol']/tbody/tr/td/a/text()")
print(taglist)
即可看到：
['小说', '外国文学', '文学', '随笔', '中国文学', '经典', '日本文学', '散文', '村上春树', '诗歌', '童话', '儿童文学', '古典文学', '王小波', '杂文', '名著', '余华', '张爱玲', '当代文学', '钱钟书', '外国名著', '鲁迅', '诗词', '茨威格', '米兰·昆德拉', '杜拉斯', '港台', '漫画', '推理', '绘本', '青春', '东野圭吾', '科幻', '言情', '悬疑', '武侠', '奇幻', '日本漫画', '韩寒', '耽美', '亦舒', '推理小说', '三毛', '网络小说', '安妮宝贝', '郭敬明', '穿越', '金庸', '阿加莎·克里斯蒂', '轻小说', '科幻小说', '几米', '青春文学', '魔幻', '幾米', '张小娴', 'J.K.罗琳', '古龙', '高木直子', '沧月', '落落', '张悦然', '校园', '历史', '心理学', '哲学', '传记', '文化', '社会学', '艺术', '设计', '社会', '政治', '建筑', '宗教', '电影', '数学', '政治学', '回忆录', '中国历史', '思想', '国学', '人文', '音乐', '人物传记', '绘画', '艺术史', '戏剧', '佛教', '军事', '二战', '西方哲学', '近代史', '考古', '自由主义', '美术', '爱情', '旅行', '生活', '成长', '励志', '心理', '摄影', '女性', '职场', '教育', '美食', '游记', '灵修', '健康', '情感', '手工', '两性', '养生', '人际关系', '家居', '自助游', '经济学', '管理', '经济', '商业', '金融', '投资', '营销', '创业', '理财', '广告', '股票', '企业史', '策划', '科普', '互联网', '编程', '科学', '交互设计', '用户体验', '算法', '科技', 'web', 'UE', '通信', '交互', 'UCD', '神经网络', '程序']
以上是提取单个网页文本的源码，在需要大量爬取的时候，推荐使用scrapy框架，爬虫神器。祝您学习愉快
2024年网页设计杂文荟萃 篇2
百度世界大会和G20峰会中的屡次表态，让外界看清了李彦宏押宝“人工智能”的决心。
对于技术出身的理工男李彦宏，用人工智能这样的下一代技术去巩固百度的传统优势并缔造百度又一次的腾飞，或许是未来几年最重要的任务。
纵览百度世界大会，看到了百度在“人工智能+”领域许多的探索，比如无人车、比如度秘、比如地图。但很奇怪的是，作为百度起家的领域，关于“人工智能+搜索”，似乎并未太多笔墨
可惜啊，要知道，对于我这样的信息饥渴症患者，用人工智能辅助我更好的获取信息，这才是最期盼的百度科技进步啊!
搜索引擎该进入3.0的时代了
说起搜索引擎这东西，老网民应该都是经历过从1.0到2.0时代飞跃的。
说起搜索1.0，这个荣誉应该是归于雅虎的。最老的“分类目录”搜索数据库，有评论如此称呼雅虎。
这个评论很贴切，因为当年起家的雅虎，并不是我们眼下使用的那种搜索引擎，而是一个类似电话黄页的玩意儿，将互联网上本就不多的网页按照科技、娱乐等属性分门别类，而且全部网页都是人工编辑加入的。
即使如此简陋，但是在当时一片荒芜的网络世界，依旧是一个伟大的创新，所以缔造了当时庞大的雅虎帝国。
但是伴随着互联网的快速发展，网站越来越带多，雅虎这样的黄页模式显然已经难以满足互联网海量网页索引的需求。
于是，谷歌崛起了，百度崛起了。这些沿用至今的2.0搜索引擎，以机器抓取+基于网页搜索，取代了雅虎人工收录+基于网站的模式，使用户可以直达有用的网页，不需要进入网站后缓慢寻找——而采用类似学术论文交叉引用确定权重的方式，也使得优质的网页可以被放在更前面的位置显示。
但是，伴随互联网上的页面越来越多，这样2.0形态的搜索引擎也不可避免承受着“信息过载”的问题，大量收录的网页往往雷同或者低质量，再加上SEO的存在，搜索者要找到主要的内容并不容易。更何况，要真正用好搜索引擎，许多CLI风格的参数使用也让普通人难以精通。
是的，我很期待搜索引擎能够早日进入3.0时代，也就是不再基于目前搜索返回网页，而是返回搜索结果的新型搜索互动模式。
人工智能可以让wolframalpha更进一步
其实，对于熟悉搜索引擎发展的人，相信对于这个趋势不会陌生。
因为这其实都不需要未来，而是早就有了实践者——wolframalpha，一个我视之为2.5时代的搜索引擎。
之所以视之为2.0后的2.5，就因为wolframalpha已经是一个返回结果而非网页的引擎了。
像普通搜索引擎那样返回一堆网页让你自行寻找结果，而是会直接返回最新的美国预期寿命数值，同时还会给出逐年的曲线。当然你要添加更多国家比如日本，也能轻松对比。
但之所以wolframalpha只能视作一个2.5时代的搜索引擎就在于，虽然其返回结果的理念是改变了搜索引擎的传统，但是适用的范围依然是有限的。
是的，wolframalpha之所以可以做到返回结果，就在于其纳入了许多可信的数据库，大多数时间的搜索是在这些数据库中进行，所以能够搜索的内容大多局限在自然科学、历史、统计数据等数据标准化比较高的领域。
但是对于社会科学或者普通新闻等结构化不强的内容，这类方式就无能为力了。
要解决这个问题，显然人工智能是一个重要的突破口。显然只有依赖人工智能能对非结构化的数据做一个分析和领汇，才有希望去由机器去分析网页，然后根据你的需求分析汇总，给出更为易读的结果，而不是一堆网页的荟萃。
从目前的百度搜索来看，利用搜索框下面的位置，其实一定程度上已经有了返回结果的思维模式。比如你在百度搜索“刘德华的老婆是什么星座的”，百度已经智能的可以判断刘德华的老婆叫朱丽倩，并告知你她是白羊座的。
如果你搜索类似“中国GDP”，也能立刻出现来自国家统计局的走势图数据。
但和wolframalpha类似，百度目前能够返回的结果还是有限的。比如我输入“郑渊洁主要作品”，百度就只能返回传统的网页，即使在百度给出的第一页网页中有不少郑渊洁作品大全书籍的链接，但百度暂时无法从中找出作品名录。
越来越智能，可以识别图片等的百度大脑，未来是否能够更聪明的学习非结构化数据，贡献更智能的搜索结果?这显然值得期待。
其实，作为搜索用户，也不需要百度大脑掌舵下的百度搜索能够智能到还判断出哪一些是主要作品，即使只是将类似的作品目录从网友中抓取出来去重呈现，也是更优质的体验。
看广告一样可以人工智能
要说未来的搜索引擎，也许广告也是同样绕不过的问题。毕竟搜索业务的主营模式还是广告。
但是，互联网广告显然不应该只有这样一种思路，作为用户也未必真希望这样简单粗暴的模式。
是的，作为普通用户，我并不反感广告。事实上，在我的知乎关注主题中，就有一个叫“导购类问题”，而在我关注的微信号中也不乏“清单”这样每天给出一堆广告推荐或者文章傻傻分不清楚的——在这个消费主义时代，对于给我提供花钱消费的建议我是不抗拒的。
但是，如果仅仅停留在搜索关键词这样的广告，显然是不够的。
我搜索机械键盘，就给我推送一堆机械键盘或卖机械键盘的商城，这是目前广告的形态。
但其实，我搜机械键盘，可能因为我是一个游戏玩家，我除了机械键盘，同样希望看到的是游戏鼠标的推荐是游戏笔记本电脑的推荐。
很可惜，这样基于人群画像的广告形式，暂时还难以看到。
微信的朋友圈广告，已经将人群画像的基本概念给普及了，只不过暂时更多是性别、城市、使用手机等简单的信息。
其实，百度在谈及人工智能的时候，已经多次提及用户画像的概念，尤其是谈到金融产品的时候。如果基于用户画像都可以给用户推荐复杂的金融产品了，为何不能再推荐用户需要的其他商品或服务呢?
如果借助人工智能，能够对我等搜索用户进行深入的用户画像，然后在广告中能频频给出让我眼前一亮有购买欲望的广告，那么就真的实现了广告的经济利益和用户体验的统一。