-
8个Python爬虫框架,你用过几个?
所属栏目:[优化] 日期:2019-10-10 热度:181
小编收集了一些较为高效的Python爬虫框架。分享给大家。 1.Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的[详细]
-
大规模集群故障处理,能抗住这3个灵魂拷问算你赢
所属栏目:[优化] 日期:2019-10-10 热度:154
我相信每一个集群管理员,在长期管理多个不同体量及应用场景的集群后,都会多少产生情绪。其实这在我看来,是一个很微妙的事,即大家也已经开始人性化的看待每一个集群了。 既然是人性化的管理集群,我总是会思考几个方向的问题: 集群的特别之处在哪儿?[详细]
-
9月份Github上热门的JavaScript开源项目
所属栏目:[优化] 日期:2019-10-10 热度:93
9 月份 GitHub 上最热门的JavaScript开源项目排行已经出炉啦,从前端学习资料到技术面试宝典,从免费开源的前端书籍到算法刷题库....... 1. Web https://github.com/qianguyihao/Web Star 7127 前端入门和进阶学习笔记,超详细的Web前端学习图文教程。从零[详细]
-
只需五步!哈佛学霸教你用Python分析相亲网站数据,在两万异性中找到真爱
所属栏目:[优化] 日期:2019-10-10 热度:97
大数据文摘出品 来源:Wired 编译:啤酒泡泡、张大笔茹、张睿毅、牛婉杨 想脱单?那还不容易! 如果身在美国,就像其余四千万单身男人一样,注册一下Match.com, J-Date和OkCupid等相亲网站,坐等真爱上门不就可以了。 但是相信大多数人和McKinlay一样,尽管[详细]
-
吐血整理!程序员喜爱的13个免费Python课程
所属栏目:[优化] 日期:2019-10-09 热度:102
Python如今无疑是全球最受欢迎的编程语言。它最大的好处,就是让越来越多的人通过它加入了编程的世界。 近年来,Python的使用人数与日俱增,超过了包括JavaScript在内的其他计算机语言许多人学习Python是为了探索它提供的绝佳数据科学和机器学习库。 Pytho[详细]
-
一次跨行取款失败,而引发对分布式事务的思考
所属栏目:[优化] 日期:2019-10-09 热度:89
场景 不知道大家有没有遇到这样的情况,就是去自动取款机取钱的时候,比如说你去取1000块钱,这个时候系统会先帮你把1000块钱扣除,然后自动取款机再把钱吐出来。但是如果取款机出现问题,会发现钱被扣了,但是钱没有取出来。我第一次遇到这个问题的时候很[详细]
-
如何搭建合适的Web框架?
所属栏目:[优化] 日期:2019-10-09 热度:120
之前在Web开发框架推导一文中我们一步步的搭建了一个开发框架。 在当时的情况下,还算满足需求。但是随着项目的逐渐完善,需求变更的频度逐渐变得比新增需求的频度高,原来框架的弊端越来越明显,所以需要对框架进行升级改进。 我们先来看原来框架的问题,[详细]
-
Python里三个高逼格的调试神器
所属栏目:[优化] 日期:2019-10-09 热度:77
调试是开发过程中不可避免的一个环节,在Python中我们使用print、logging、assert等方法进行调试既简单又实用,但毕竟有其局限性。今天这篇文章为大家带来三个工具,其中有Python的内置模块也有第三方库,它们提供了调试代码所需的大部分常用功能,将极大[详细]
-
8 个 Python 实用脚本,收藏备用
所属栏目:[优化] 日期:2019-10-09 热度:177
脚本写的好,下班下得早!程序员的日常工作除了编写程序代码,还不可避免地需要处理相关的测试和验证工作。 例如,访问某个网站一直不通,需要确定此地址是否可访问,服务器返回什么,进而确定问题在于什么。完成这个任务,如果一味希望采用编译型语言来编[详细]
-
老牌运维教你如何快速分析Linux服务器的性能问题
所属栏目:[优化] 日期:2019-09-30 热度:84
作为一名linux系统运维人员,最主要的工作是优化系统配置,使应用在系统上以最优的状态运行,但是由于硬件问题、软件问题、网络环境等的复杂性 和多变性,导致对系统的优化变得异常复杂,如何定位性能问题出在哪个方面,是性能优化的一大难题, 本章从系统[详细]
-
如何设计API接口,实现统一格式返回?
所属栏目:[优化] 日期:2019-09-30 热度:185
前言 在移动互联网,分布式、微服务盛行的今天,现在项目绝大部分都采用的微服务框架,前后端分离方式,(题外话:前后端的工作职责越来越明确,现在的前端都称之为大前端,技术栈以及生态圈都已经非常成熟;以前后端人员瞧不起前端人员,那现在后端人员要[详细]
-
Redis集合类型使用说明
所属栏目:[优化] 日期:2019-09-30 热度:198
今天我们了解一下Redis中的集合类型,也就是set集合。在Redis中set也是可以保存多个字符串的。那么set集合和list链表到底有什么不同呢?下面我们重点介绍一下它们之间的不同。 set中的元素是不可以重复的,而list是可以保存重复元素的。 set中的元素是无序[详细]
-
你对JavaScript掌握多少?项目大牛详细解读JavaScript框架结构
所属栏目:[优化] 日期:2019-09-30 热度:129
对于任何一个程序员来说,最关注的两个问题无非就是:时间复杂度和空间复杂度。第一部分介绍了 V8 为改进 JavaScript 执行时间所做的速度提升和优化,第二部分则将着重介绍内存管理方面的知识。 这篇文章,小编简要概述了编程语言的一般工作机制,并深入探[详细]
-
代码详解:Python正则表达式的优秀使用指南
所属栏目:[优化] 日期:2019-09-30 热度:54
处理文本数据的一个主要任务就是创建许多以文本为基础的特性。 人们可能想要在文本中找出特定格式的内容,比如找出存在于文本中的电子邮件,或者大型文本中的电话号码。 虽然想要实现上述功能听起来很繁琐,但是如果使用Python正则表达式模块,就可以使这[详细]
-
如何通过wrap malloc定位C/C++程序的内存泄漏
所属栏目:[优化] 日期:2019-09-29 热度:185
用C/C++开发的程序执行效率很高,但却经常受到内存泄漏的困扰。本文提供一种通过wrap malloc查找memory leak的思路。 什么是内存泄漏? 动态申请的内存丢失引用,造成没有办法回收它(我知道杠jing要说进程退出前系统会统一回收),这便是内存泄漏。 Java等编[详细]
-
负载均衡层设计方案之负载均衡技术总结篇
所属栏目:[优化] 日期:2019-09-28 热度:88
1、概述 通过前面文章的介绍,并不能覆盖负载均衡层的所有技术,但是可以作为一个引子,告诉各位读者一个学习和使用负载均衡技术的思路。虽然后面我们将转向业务层和业务通信层的介绍,但是对负载均衡层的介绍也不会停止。在后续的时间我们将穿插进行负载[详细]
-
架构师分析 架构的重要性
所属栏目:[优化] 日期:2019-09-28 热度:74
技术需要架构,芯片的架构,软件需要架构,公司需要架构,建筑需要架构,产品需要架构,人也需要架构,聊聊架构的话题。 忘了哪里看的文章有一句话,架构不对,什么都不对。 这是有道理的,架构是我们搭建一栋楼,一个项目,一个公司,一种技术的基础,就[详细]
-
Redis哈希类型使用命令
所属栏目:[优化] 日期:2019-09-28 热度:58
我们知道在Redis中有5种数据类型,之前的文章中我们已经介绍过了String类型,也就是字符串类型,今天我们学习第二种数据类型,哈希类型。大部分语言基本都提供了哈希类型,如Java语言中的Map类型及Python语言中的字典类型等等。虽然语言不同,但它们基本使[详细]
-
低代码虽好,但如何平衡开发质量和速度?
所属栏目:[优化] 日期:2019-09-28 热度:60
在速度成为主要推动力的今天,开发者面临的压力从未如此之大。当今的全天候市场需要一个敏捷的企业,能够在一夜之间开发出新的功能和应用程序,以满足不断增长的需求。开发团队只需要提高开发速度,并尽可能快地将代码推出门外。与此同时,不断增长的客户[详细]
-
写给前端的Docker实战教程
所属栏目:[优化] 日期:2019-09-28 热度:106
本篇文章详细而又简短的介绍了:一名完全不了解 Docker 前端程序员,将全站 Docker 化的过程。内容主要包含: Docker 基本概念 真实站点迁移过程: 静态站点 Nodejs 站点(Express) WordPress(PHP) 一些必备技巧:开机启动、常用Shell 文章会讲解使用 Docke[详细]
-
Kubernetes工具大全,9个集群部署工具
所属栏目:[优化] 日期:2019-09-28 热度:64
在过去的几年中,Kubernetes在容器编排上给它的竞争对手造成了极大冲击,比如Docker Swarm。现在Kubernetes是企业首选的容器解决方案,并得到了迅速普及。今天,就为大家呈现2019年新的Kubernetes工具大全,以飨大家。朋友们喜欢的话,请多多评论转发,给[详细]
-
浅谈10个提升应用程序10倍性能的技巧
所属栏目:[优化] 日期:2019-09-27 热度:188
提高web应用程序性能比以往任何时候都更加重要。在线经济活动的份额正在增长;超过5%的发达国家的经济现在是在互联网上的(参见参考资料中的互联网统计数据)。而我们这个始终在线、高度连接的现代世界意味着用户的期望比以往任何时候都要高。如果您的站点没[详细]
-
Sqlite事务模型、性能优化Tips、常见误区
所属栏目:[优化] 日期:2019-09-27 热度:152
0.前言 本文主要介绍sqlite的事务模型,以及基于事务模型的一些性能优化tips,包括事务封装、WAL+读写分离、分库分表、page size优化等。并基于手淘sqlite的使用现状总结了部分常见问题及误区,主要集中在多线程的设置、多线程下性能优化的误区等。本文先[详细]
-
大势所趋!数据科学家必知的5种图算法
所属栏目:[优化] 日期:2019-09-27 热度:64
在万物相连的世界里,用户并不是独立的个体,彼此之间都有某种联系。构建机器学习模型时,有时也会将这种联系放入模型中。 虽然关系数据库中无法在不同数行(用户)间使用这种关系,但在图数据库里,这样做非常简单。 本文将介绍一些数据科学家必知的重要的[详细]
-
详解Docker容器监控之Cadvisor,值得收藏
所属栏目:[优化] 日期:2019-09-27 热度:107
概述 我们可以使用多种方法监控容器的运行情况,比如EFK等,但是我们仍旧需要一个资源利用率监控系统。这个时候,google开发的cadvisor就可以帮上我们的忙了。 cadvisor是google创建的用于监控icmtfy容器资源使用情况和性能的软件,cadvisor在宿主机上以容[详细]