堕落不振功业废,勤耕不辍日月新

 分类:Python

python中的map/reduce/filter函数

近期公司有项目上使用的代码涉及调用外部API接口进行多页请求,并需要把对应的数据返回后进行处理。开发人员使用了多层for嵌套循环处理,从逻辑上看,确实for循环比较简单也比较容易理解,不过性能上会略差一些。在进行响应时延过高的问题分析时,通过换用map函数代替for可以进行效率...

嵌套json下的pandas操作

在进行json处理的时候,经常会遇到需要提取不同级别的字段内容并合并成表格,见下图所示。本篇就总结下遇到这种情况下如何进行文本内容的提取。在知乎上看到一篇《骚操作!嵌套 JSON 秒变 Dataframe》似乎和我遇到的情况类似,不过在实际处理的时候又有不同。 先看我要处...

高仿youtube的开源项目mediacms,支持HLS

项目源码地址:https://github.com/mediacms-io/mediacms 演示地址:https://demo.mediacms.io/ 项目采用 Python+Django+PgSQL 方案 目前发现的高仿youtube最好的项目,支持预览图,支持清晰度切换,...

使用python判断IP段可用IP及数量

使用python判断IP段可用IP及数量, 很简单.几个命令就可以(本文基于python3). >>> import ipaddress >>> for ip in ipaddress.ip_network('192.168.0.0/28')...

统一任务管理cronsun

一、需求 公司写了很多脚本,分别部署在不同的机器上通过crontab进行管理,这里有一个缺点是,没有一个平台可以查看所有的任务执行情况和进行任务统一管理的平台。为此找了一些开源工具进行测试,测试涉及的产品如下: 国内有的有:jobx、Saturn(唯品会)、elasticj...

python2.7 安装 pip

/usr/local/bin/pip: bad interpreter: /usr/local/opt/pyt […] 转载请注明:我是IT » python2.7 安装 pip...

chrome报错ssl_client_socket_impl.cc报错解决

背景 帮公司的一个爬虫项目安装完成了google chrome headless,其在使用selenium  + chrome爬取内部的一个合作厂家的站点信息时,出现了无法获取内容的情况,同时也没有明显的报错信息。使用内部httpd服务搭建的测试页,可以正...

ElasticSearch DSL聚合查询语句

本来像聚合(aggregation)这种东西, 在Grafana中可以轻易的实现, 但是偶尔会有需求, 需要自己写DSL脚本实现一些功能, 于是, 只好自己动手了. 例子1 查询serverName=”dns-server-1″结果里, 按hostip的数...

python字符串对齐

对于基本的字符串对齐操作,可以使用字符串的 ljust() , rjust() 和 center() 方法。比如: >>> text = 'Hello World' >>> text.ljust(20) 'Hello World ...