毕业季!岂安科技 × 微软加速器Demo Day:厚积先行、梦想之旅

2017 年 6 月 22 日,微软加速器·上海首期校友企业展示日暨 Demo Day 毕业典礼在沪举行,来自微软全国运营商合作伙伴、政府领导、投资机构及媒体共500余人参会,岂安科技(bigsec)作为一期优秀企业亮相。

【艾媒报告】2016-2017中国互联网安全行业研究报告

iiMedia Research(艾媒咨询)日前发布《2016-2017中国互联网安全行业研究报告》。数据显示,2016年全球IT投入稳步增长至45980亿美元,其中,安全投入增长至7356.8亿美元,占IT总投入16.0%。岂安科技以SaaS+本地化模式,成为2016年中国互联网安全企业重点分析案例。

岂安科技诚招安全.产品.销售人才

“我在找能够让人眼前一亮的人”。

微软加速器上海首航,岂安科技入选首批成员

1月22日下午,微软加速器上海首期启航仪式在徐汇区漕河泾开发区举行。14支来自全国各地的创业团队经过层层筛选,最终入选微软加速器上海首期“加速项目”。岂安科技作为国内首家专注业务风险控制的服务提供商,从千余家企业中脱颖而出,有幸成为微软全球第八家创投加速器首期成员。

岂安罗启武出席平安壹钱包技术嘉年华开讲业务逻辑漏洞和风控

由平安壹钱包举办的技术嘉年华活动10日在上海市举行,岂安科技CEO罗启武受邀出席并进行《业务逻辑漏洞和风控》的演讲,与参会人员分享、探讨互联网线上应用业务安全。

岂安科技与嘶吼RoarTalk达成内容战略合作伙伴关系

2017年1月1日,岂安科技与嘶吼RoarTalk正式达成内容战略合作伙伴关系,双方今后将在资源、高质量内容共享等方面展开深度合作。在内容上相互分享,资源上相互补充,平台上相互助力,技术上相互支撑,共同推进互联网安全行业生态良性发展。

互联网安全攻防:业务逻辑漏洞的风险控制

现代社会,网络黑色产业链俨然已经是一个规模庞大的“行业”,识别并处置业务开展中不断升级的安全问题成了国内互联网企业绕不过去的坎。近日,岂安科技风控专家浩源将通过生动的实例向开发和安全人员展示业务逻辑漏洞的危害和如何防范。

岂安科技正式成为中科互联网金融商学院战略合作伙伴

2016年11月23日,上海岂安信息科技有限公司(简称“岂安科技”)正式成为中科互联网金融商学院战略合作伙伴。

厉害了word罗 | SegmentFault 北京开发者大会小罗分享-《互联网业务的风险控制》

SegmentFault 面向全国开发者的技术大会将于 11.19 和 12.10 先后在北京、杭州两城举办。其中,11 月 19 日的北京开发者大会,将以「安全」为主题,岂安科技创始人罗启武亦将于19日上午在主会场分享《互联网业务的风险控制》。

4677家争雄!岂安科技荣获第五届中国创新创业大赛优秀企业奖

10月27日,第五届中国创新创业大赛电子信息行业总决赛半决赛在江苏苏州隆重举行,12强企业和6强团队强势出炉。上海岂安科技以总分91.41从全国4677家参赛企业中脱颖而出,荣获优秀企业奖。

科创城代表赴上海岂安科技洽谈合作

10月25日,科创城副总经理杨永杰带领上海办事处工作人员前往上海岂安信息科技有限公司洽谈合作,双方就各自的资源优势和需求进行深入交流。

岂安科技荣获2016中国国际大数据大会企业创新奖

2016中国国际大数据大会9月在京召开。岂安科技作为国内首家专注业务风险控制的服务供应商受邀出席大会,与超过2000位的大数据产业链行业精英、技术专家把脉产业方向,展示创新应用、分享实践成果,共同发掘大数据创新之美与力量,并被授予2016年度中国大数据领域企业创新奖。

《近匠》专访岂安科技罗启武:互联网风控安全十问

企业安全、云安全和移动安全将是未来的重点,企业将纷纷提升自己的容灾备灾能力。本期CSDN《近匠》采访了岂安科技CEO罗启武,一起聊聊如何帮助互联网企业解决业务发展过程中,跟业务、交易、用户相关的安全问题。

岂安科技:SaaS+本地化模式,为B端企业控制业务风险

岂安科技CEO罗启武认为,“基于业务的风控,最重要的是让客户知道正常情况下的用户数、订单数等,根据企业的业务逻辑调整策略和模型。”联合创始人兼CPO刘明介绍,传统风控模式用数据埋点的方式进行信息采集,而岂安科技从网络流量中还原业务事件,减少接入的工作量,做到数据无埋点。

岂安科技入围“安全创客汇”十强 10亿资金投向安全行业

近日,“安全创客汇”十强企业揭晓,岂安科技等十家初创公司入选十强,并将亮相2016互联网安全大会,现场演示最前沿的安全技术。据主办方介绍,在这十支初创安全公司中,多数厂商以云安全和大数据安全为主。以岂安科技为例,其致力于帮助企业解决互联网领域的业务风险,服务的行业覆盖互联网金融、消费金融、电商、云计算、O2O、商旅、游戏等诸多互联网细分市场。

岂安科技登录上海人广《非常解读》解析网络支付实名制如何实施

随着网络安全信息数据大规模的增长,应用数据分析技术进行网络安全分析成为业界研究热点,小安在这次小讲堂中带大家用Python工具对风险数据作简单分析,主要是分析蜜罐日志数据,来看看一般大家都使用代理ip干了一些啥事。

14日上午守候阿里安全峰会岂安CPO演讲直播

在网络安全挑战日益严峻的今天,安全行业需要携手赋能、高效联防,让客户具备更好的威胁应对与风险控制能力,有限公司联合创始人、首席产品官(Chief Product Officer)刘明,受邀出席由阿里巴巴集团和蚂蚁金服集团共同发起的《“聚力赋能”—阿里安全峰会》,并将于今日上午11时30分进行题为《电商的线上业务安全》演讲,与各位大拿在数据安全、电商安全、云安全、支付安全领域分享理念与技术成果。

岂安科技入选《2016年(上半年)中国网络安全企业50强》初创20强

2016年6月21日,安全牛发布《2016(上半年)中国网络安全企业50强》,上海岂安信息科技有限公司(公众号:bigsec)作为业务风控领域的代表性企业,入选最具有发展潜力的20家初创企业。岂安作为国内首家专注业务风险控制的服务供应商,通过大数据、安全技术、深度学习等手段为客户业务安全保驾护航。

岂安科技受邀出席2016年中国航空-增值收入及商品销售高峰论坛

上海岂安科技有限公司首席产品官(Chief Product Officer)、联合创始人刘明受邀出席本届2016年中国航空-增值收入及商品销售高峰论坛,在帮助航旅业克服互联网化风险,打造健康的创收业务等层面进行演讲。此次高峰论坛岂安科技和与会的业内专家、航空公司、技术供应商,品牌商一起发力,共同破解增值收入难题,并与多家合作方达成合作意向,达到启发创新,促进合作的深层意义。

岂安CEO罗启武:互联网业务的风险控制

2016年5月28日,由经纬创投主办,太库(北京)科技孵化器有限公司协办的《经纬“Chuang享汇”——不能错过的通往技术大牛的光荣之路》分享活动,在北京市海淀区中关村西区鼎好大厦A座3层“太库孵化器”举行。岂安科技CEO罗启武在会上分享了《互联网业务的风险控制》。

我不是虚占座位,我只是黑了你【岂安低调分享】

我们永远不要低估利益的力量,也永远不要忽视风险控制的帮助。5月20日,岂安科技首席产品官刘明将在2016中国航空增值收入及商品零售高峰论坛(地点:上海中航泊悦酒店)上,从互联网环境中的风险障碍现状、“预知”风险的能力、“看见”用户行为的能力、“决策”的能力、“防控”的能力等几个方面,帮助航旅业克服互联网化风险,打造健康的创收业务。

514,当别人在PHP时你在做什么

PHP全球开发者大会是DevLink每年一度的,特别针对PHP开发者的专题活动。每次活动均会请到该领域内的资深开发者、技术专家来分享具体、有针对性、具操作性的内容。每次观众规模约700人,会议时间在2天左右。

岂安科技: 当互联网公司业务安全的看门人

从电商到O2O,互联网金融等行业,为了快速获取用户,大批初创公司投入巨额资金补贴市场,慢慢得催生了一条以低成本获取这些优惠的黑色产业链,我们在淘宝上看到的诸多售价几毛甚至更低的折扣券,代金券就来自于此。这条黑产的从业人员往往通过一些技术手段,伪装成用户获取网站的“羊毛”再进行销赃。长此以往,企业就损失大量营销费用而无法达到预期的效果

岂安核心产品WARDEN获中国酒店科技联盟官方认证

PHP全球开发者大会是DevLink每年一度的,特别针对PHP开发者的专题活动。每次活动均会请到该领域内的资深开发者、技术专家来分享具体、有针对性、具操作性的内容。每次观众规模约700人,会议时间在2天左右。

命中率达95%,岂安用做业务的思维做风控,上线半年获经纬千万天使

风控的本质是什么?罗启武认为,做风控最重要的是做到可视化,并让客户知道正常情况下业务的状态。岂安不是为了做安全而做安全,是为了优化企业的业务线,让企业损失更少。跳出安全看安全,才会有更大的视角。

“岂安科技”获得经纬中国千万级天使轮融资,SaaS不一定适合做业务风险控制

我们这边去分析一个欺诈案例或者网站的业务风险问题,哪怕是网站上面的细微操作例如一次图片加载都能拿来分析。但是SaaS服务的话,只能从基本的行为如:注册、登陆信息等方面去做分析,这可能会有一定的局限。

岂安科技:帮B端商家防止刷单“羊毛党”

岂安科技:帮B端商家防止刷单,羊毛党。有没有想过淘宝上售价几毛钱的、面值十元到几十元不等的折扣券是怎么来的?通常我们熟知的,许多网站推广活动是注册即赠送 10-20 元代金券的活动,或者每邀请一个新用户会获得较大额的补贴

岂安科技:大数据下有反欺诈“大安全”

很多应用的优惠活动一度走红,吸引力大量的用户进行使用。对于高额的优惠返现活动,也引起了一些用户出现刷单行为,也有一部分人是利用黑客手段进行刷单的“刷单工作室”,其中以O2O类项目尤甚。不仅有刷单这样一种欺诈的行为,还可能有垃圾注册等一系列的恶意危害平台的行为,bigsec从服务平台用户入手,做平台的卫士,防止刷单等危害平台的恶意行为

天天投访岂安科技罗启武:岂止于安全,目标是信赖

天天投带来了岂安科技及其创始人罗启武的故事,让我们一起看看这个项目是如何从3184个报名中脱颖而出的。14年底,带着相同的想法,我们3个联合创始人聚在一起,啤酒加炸鸡,岂安就这么诞生了:岂止于安全,目标是信赖。

解密非营利性 APP 赚钱秘籍:Charles 抓包

很多类似地铁 APP 这类小型工具类应用,为个体开发者独立开发和运营,看似没有成熟的盈利模式,实际在广告上的收入很高,其主动获取的用户个人信息数据也可以通过第三方公司整合后卖个好价钱。非营利性 APP 也能赚钱?对,且暴利。秘籍就是 Charles 抓包。

航空公司与爬虫的战争:特价票的真相与内幕

一入票代深似海,从此节操是路人。对于各航空公司,爬虫仅仅是一个风险的开始。岂安实验室的安全专家 James 和 Bogomil 通过调研,得出在航司还存在着信息泄露、短信轰炸、虚假注册、羊毛党、扫号撞库、密码找回等诸多风险问题。

围绕需求设计,月薪5千和月薪5万的PM都在考虑什么

PM ( Product Manager ),产品经理是笔者从毕业起就非常憧憬的一个职业,毕竟在互联网企业 PD 部门中,入门门槛最低,却最有发展潜力的职位了。转眼间从事 PM 职业到了30岁,每每回顾自己的经历的时候,对 PM 这个职位越发充满着敬畏,总结 PM 职业的几个阶段如何做需求落地,希望有益。

适用于初创公司的超轻量级smtp服务配置

smtp 是一种常见的服务,提供了程序自动化邮件外发的可能。不光是用于产品向客户的通知服务;更多的是用在企业内部的信息工具,比如我们就有 sentry / confluence / zulip 等等非常多的开源工具,都需要配置 smtp 来实现内部信息的联动。

项目经理除了催进度还能做什么?

在我是个程序员的时候,听到过很多前辈跟我吐槽:PM 就是一群啥都不知道又喜欢指手画脚的家伙。虽然在很多时候,动手做的人确实比背后指手画脚的人更有发言权,也不否认很多团队真实有这样的 PM 存在;但往往悲剧的是,动手做的人以为自己能够创造新世界,偏偏客户和 PM 要的却只是一堵能挡风的墙而已。

做好了监控报警,创业公司如何搭建强壮的SaaS服务

数据共同指向一点,越来越多的交易行为正从线下转到线上,由传统到互联网化。而当互联网给我们的生活带来便利和高效的同时,又带来了什么呢?那就是业务风控的压力,并不是所有的交易都是安全的,并不是所有的用户都是可靠的。如何在极短的时间内在成千上万笔交易以及成千上万个用户中迅速定位风险、降低损失,我们都知道,亡羊补牢不如未雨绸缪,这正是风控系统需要做的。

Three.js入门:如何使用并绘制基础3D图形

Three.js是一款webGL(3D绘图标准,在此不赘述)引擎,可以运行于所有支持webGL的浏览器。Three.js封装了webGL底层的API,为我们提供了高级的开发接口,可以使用简单的代码去实现3D渲染。

CSO进击之路:初来乍到,业务安全新官上任做点啥

业务安全负责人越来越多的成为互联网企业的标配,主要在于其职能所解决的与传统安全问题有根本的不同,面向帐号安全、反欺诈、反爬虫等类型的业务逻辑缺陷。并且,由于这些问题贴近业务本身,也能够量化出非常直观的收益。

创业型公司如何做好监控报警

本文作为bigsec在过去的大半年中,在监控报警上做的一些工作的总结,事实上,在后面的日子里,还需要进行更多更复杂的工作: 接收其他来源的数据,同时大力完善公司内部的监控体系;完善分布式log机制,方便排障和更细粒度的监控;将报警监控系统和生产的业务发布系统打通,来实现弹性扩容和自动容灾的可能性。

一个人的“安全部”

“你之所以看不见黑暗,是因为有人拼命把它挡在你看不见的地方。”向所有做安全的好同志致敬。

UX 必备:我的 MAC 版图片管理器推荐与使用对比

以下是我常用与对比分析的三个图片管理软件,还有一些图片管理软件都大同小异。如果想要有图片编辑工具来轻松处理数码影像的朋友可以试试 ACD See for MAC ,这个软件目前是最流行的数字图像处理软件。这里不介绍是因为它的功能很多,但是主要是在于对图片的处理功能,不在此次内容的讨论范围之内。如果有更好的图片管理团软件,欢迎留言安利。

如何在Windows下像Mac一样优雅开发

起因:之前一直用Mac开发,换了家公司,只许用Windows下开发,说实话,一开始我是拒绝的,可自从看到了这几个工具以后……

在你上司靠近你座位时,用人脸识别技术及时屏幕切换

这个项目,我结合了从 Web 相机的实时图像采集和面部识别,到使用 Keras 识别我的老板和切换屏幕。 目前,我用 OpenCV 检测面部,但由于 OpenCV 中的面部检测的准确性似乎不太好,我想尝试使用 Dlib 来提高准确性。

一个不会项目管理的项目经理有多可怕

项目管理其实就是一个大环,处理项目中每个问题都可以算一个小环,项目从无到有就是在不断遵循PDCA循环,不断在优化过程、提高质量水平和效率,为实现项目目标而努力。

那些年我们一起守护的“密”

“互联网+”使得各类信息高度数字化,社会生产、人类生活无不与各类信息网络相关,当越来越多的经济利益与数字信息关联后,暗地里便会有“黑手”不惜使用各类方式伸向这些信息,来达到不可告人的目的。加密技术也因此迅猛发展,广泛应用,守护信息安全。本文讨论数字加密技术的基本原理、分类、应用以及一些思考,内容较为朴实,请大牛酌情观看。

为什么机器学习在安全、风控领域频频遇冷?

登高而望,满眼皆是机器学习的颠覆IT行业的燎原之火,但是事实是否真的如此?至少目前看来,在安全、风控领域,机器学习的势能还远达不到颠覆的效果。

CSO进击之路:初来乍到,业务安全新官上任做点啥

业务安全负责人越来越多的成为互联网企业的标配,主要在于其职能所解决的与传统安全问题有根本的不同,并且,由于这些问题贴近业务本身,也能够量化出非常直观的收益。但由于业务安全所需的人才需要了解的知识面非常广泛且难以通过常规方式获取,导致人才非常稀缺,所以如果发现个好苗子,请各位HR一定抱住不要松手,比心。

高级架构师实战:如何用最小的代价完成爬虫需求

在我工作的多家公司,有众多的领域,尽管业务相差很大,但都涉及到爬虫领域。开发爬虫项目多了后,自然而然的会面对一个问题——这些开发的爬虫项目有通用性吗?有没有可能花费较小的代价完成一个新的爬虫需求?在维护运营过程中,是否能够工具化,构建基于配置化的分布式爬虫应用?这就是是我们今天要讨论的话题。

为什么机器学习在安全、风控领域频频遇冷?

1959 年,美国塞缪尔设计了一个下棋程序,这个程序具有学习能力,它可以在不断的对弈中改善自己的棋艺。登高而望,如今满眼皆是机器学习的颠覆 IT 行业的燎原之火,但是事实是否真的如此?至少目前看来,在安全、风控领域,机器学习的势能还远达不到颠覆的效果。

50亿条公民信息泄露 个人信息安全如何谈保障?冷冽的现实是:内鬼的威胁要远大于黑客

我想做这么一个程序,通过这种方式可以得到一份符合自己孩子生辰八字、自己的家谱限制、以及自己喜好的名字列表,并且该列表已经给出了分数用于参考,以此为基准我们可以挨个琢磨找出心仪的名字。当然如果有新的想法,随时可以把新的名字添加到词库里面,进行重新计算。

Python机器学习工具:Scikit-Learn介绍与实践

Machine Learning in Python, 用python来玩机器学习。机器学习关注的是:计算机程序如何随着经验积累自动提高性能。而最大的吸引力在于,不需要写任何与问题相关的特定代码,泛型算法就能告诉你一些关于数据的秘密。

机器学习自主解决安全威胁离我们还有多远?

初创公司如何实现 Ansible 多机房自动部署发布

带着15年从业经验跨界 业务安全领域“新人”的一点感悟

从业人员,我确实是一个安全方面的新人,在传统安全如火如荼发展的时候,我一直在 CDN 和 APM 领域打拼,如今当传统安全产品已经是每一家企业的必备品的时候,我开始进入了一个对我来说全新的领域——业务安全。成千上万的黑产大军每天都在觊觎互联网上的各类业务,如何最少最优最快的制定并执行落地策略?

互金平台沦陷?助贷、骗贷会不会是百万羊毛党的下一个“风口”

在互联网金融贷款火热的当下,如果一个羊毛党掌握了平台的风控规则和漏洞,依靠手里的身份数据和造假技术能以一个假身份没有风险的骗到二十万贷款,他会不会去做?答案几乎是肯定的。当需要用数量去堆积才能获利更多的薅羊毛事业已无法满足他们的胃口时,助贷、骗贷等比薅羊毛更为恶劣的欺诈便是他们的下一个聚集地。

Openresty的开发闭环初探

Nginx作为现在使用最广泛的高性能后端服务器,Openresty为之提供了动态预言的灵活,当性能与灵活走在了一起,无疑对于被之前陷于臃肿架构,苦于提升性能的工程师来说是重大的利好消息,本文就是在这种背景下,将初入这一未知的领域之后的一些经验与大家分享一下。

入口还是危机?微信小程序已存在的撞库风险

发现类似问题的小程序到对应的手机APP和官网上看,其实都已经做了比较完善的风控措施,但因为一个新登录入口的引入而又没有考虑周详,原本坚固的风控体系一下子就变的形同虚设了。

值得推荐的十大交互式可视化的网站

厌倦了静态图表,最近一直在看一些关于可以交互的数据可视化的案例,整理了一些有趣的交互式可视化的网站分享给大家。

知乎热推 6 款在线项目管理工具测评

在这里,对知乎上热推的几款在线项目管理工具进行了简单测评。目的不是为了说明哪个工具是最好的,而是希望看过测评的人能够找到最合适自己团队的项目管理工具。因为不同工具的适用对象都是不一样的,最终能够提高项目效益和团队默契的工具那就是最好的。

一个CPO的心得分享:搭建风控系统道路上踩过的坑04-效果评估与优化

风控系统和大部分的产品项目一样,最终需要对领导层汇报这个项目为公司带来了什么价值,这是评估项目成功与否的要素;另外是哪里做的不够好,如果改善了能带来更多的价值,给出了预期才有后续资源的补充,整个项目才能转起来形成一个良性循环。

创业公司简单粗暴之路:高效利用Sentry追踪日志发现问题

程序运行的日志是一个必不可少的东西,可能是一些系统信息,比如 gc 的情况;可能是一些正常的模块处理信息,比如最近更新的配置;还可能是一些在程序运行中,我们不希望出现的错误所带来的信息。通过日志,可以知道我们的程序是不是在正常地运行,看到错误日志,我们还需要利用日志排查错误。

恶意爬虫这样窥探、爬取、威胁你的网站

根据 Aberdeen Group 在近期发布的以北美几百家公司数据为样本的爬虫调查报告显示,2015 年网站流量中的真人访问仅为总流量的 54.4% ,剩余的流量由 27% 的好爬虫和 18.6% 的恶意爬虫构成。

传统 vs 敏捷 ?第三方业务风控服务企业项目管理分析

软件项目管理的两大主流管理模式分别是传统项目管理和敏捷项目管理。作为行业客户,在大部分的商务场景下客户都会希望通过固定成本合同来实现自己的利益最大化,问题是现在合同双方都很难在项目开始时明确约定需求和最终实现方式。在客户不能接受 Scrum 时,通常会选择外瀑布内敏捷的项目管理模式,满足双方的利益。

用最科学的方法展示最形象的图表——前端数据可视化实践

也许很多人都会觉得奇怪,在岂安这样一个更多以后台数据分析为主的公司,为什么需要一个专注于前端的团队?今天这篇文章就来讲述那些年我们错过的前端数据可视化,以此来解答这个问题。

风险总被无“情”伤——产品GG用绳命在说风控 | 岂安低调分享

我们都没想到“风控”这个词和互联网关系越来越密切。而现在,时代的发展告诉了我们结果。

搭建风控系统道路上踩过的坑03-阻断风险 | 一个CPO的心得分享

分析出来的东西不能光自己看着High,还得去阻拦这些风险才能真正产生业务价值GO√

浅谈如何利用ip数据来辅助风控和安全系统

常见的攻击防范和风险控制都会利用IP来作为用户的身份标识来进行分析和处理,在我们和客户的合作过程中,整理了一些对ip信息在安全防范和风险控制场景下的建议。

简易构建适合风控系统的ip库

ip作为识别和定位用户的手段来说,对互联网企业起着至关重要的作用,特别是在精准营销、反欺诈等业务方面。本文描述如何简单的去构建自己的ip地址库。

为什么 UserAgent 中出现「 iPhone;U; 」的订单都是高危的?

为什么UserAgent中出现「iPhone;U;」的订单都是高危的?回答这个问题之前,需要先回答另外两个问题据悉,。苹果公司在2011年年末发布的 iPhone4s 自带 iOS5 ,所以带「iPhone;U;」字样的设备最高的型号也只是 iPhone4(iPad 2或者过时的iPod Touch 4) 。而今 iOS 已经经历了多个版本的迭代。

搭建风控系统道路上踩过的坑02-风险分析 | 一个CPO的心得分享

上一篇《搭建风控系统道路上踩过的坑01--信息采集》我们介绍了第一点,如何去获取足够多的数据,而接下来的事情就是要创建一个机制去灵活的处理这些信息,为自动分析捕捉风险事件提供基础原料,进而借助规则引擎从中分析出风险事件。

搭建风控系统道路上踩过的坑——一个CPO的心得分享

大多数人做的产品都是目的明确的,风控系统却完全不一样——未来要面对什么问题不可能完全了解,做每个功能都谨小慎微,因为一个不注意走错了方向,可能就会在未来的某个阶段要全盘推翻。所以,把本人踩过的一些坑在这里分享出来,让准备搭建风控的人心里有个数。

十分钟解决爬虫问题!超轻量级反爬虫方案

爬虫和反爬虫日益成为每家公司的标配系统。本文将描述一种尽量简单的反爬虫方案,可以在十几分钟内解决部分简单的爬虫问题,缓解恶意攻击或者是系统超负荷运行的状况。整套方案会尽量简单易懂,不会涉及到专门的程序开发,同时尽量利用现有的组件,避免额外组件的引入。

Zulip聊天机器人Python开发 | 岂安干货分享

就Zulip而言,该公司对消息的处理专注于会话,而不仅仅是基本的“聊天”。因此,消息流中包含主题和线程式回复,每个主题可以包含多个细分主题。Zulip表示,这一功能将帮助用户更好地找到对他们有意义的会话。

网撸黑话+技巧大全 | 岂安低调分享

恶意羊毛党一直以来被认为是互联网企业的一大痼疾,为了更好的打入羊毛党内部了解他们的作案手法,小编注册了羊毛论坛,加入了羊毛社团,从内部开始学习。社团之路漫漫,道行太浅,且行且珍惜。

不作恶的创业就那么难吗?

些策划不到位、未经大脑、一时冲动或意识不良带有诱导性质的营销事例,的确被一次又一次的被广大人民群众挂在嘴边,它们抓住热点、感受漏斗效应冲击的目的是达到了。只是,品牌营销的本质,绝对不是让自己的品牌长久的被挂在目标受众心理的黑榜上。没有任何一个品牌希望成为竞品走向成功之路的反例。

打码平台是如何运作的?再谈验证码安全

2006年开始,中国互联网的游戏和电商开始了高速发展,流量终于可以变现。邮件营销,SEO,IM工具营销等开始火热,打码模式到了新的发展高度,由于打码软件用户的特殊性,也是为了隐藏自己,目前的打码组织都是通过API 来分发,而集成到专有专用的软件中使用(一般使用打码API的软件都是定制开发)。

互联网网站的反爬虫策略浅析

因为搜索引擎的流行,网络爬虫已经成了很普及网络技术,除了专门做搜索的Google,Yahoo,微软,百度以外,几乎每个大型门户网站都有自己的搜索引擎,大大小小叫得出来名字得就几十种,还有各种不知名的几千几万种,对于一个内容型驱动的网站来说,受到网络爬虫的光顾是不可避免的。

从刷单到接码,黑产是如何运作的

东临沂女大学生被骗离世案的几个犯罪分子被抓到了,大家可能觉得,这诈骗犯还是蛮好抓的嘛,几天就抓到了。 其实,这类诈骗背后的黑色产业难以铲除,主要原因在于成本低、收益高,而且无孔不入,所以导致黑产屡禁不止,我们通过几个案例来感受一下:

个人隐私如何被泄露、贩卖,女大学生被骗背后的黑色产业

“在互联网上,没人知道你是一条狗。”这是刊登在1993年7月5日的《纽约客》上的一则漫画。然而,23年过去了,漫画中的话已经不是现实。 现在,在互联网上,别人不仅知道你是人还是狗,还知道你家住哪里,电话号码是多少,孩子是不是马上要出生了,还有。。。是不是马上要上大学了。

运营商的勾当:DNS劫持和HTTP劫持有什么区别

运营商是指那些提供宽带服务的ISP,包括三大运营商中国电信、中国移动、中国联通,还有一些小运营商,比如长城宽带、歌华有线宽带。运营商提供最最基础的网络服务, 掌握着通往用户物理大门的钥匙。 网络运营商为了卖广告或者其他经济利益,有时候会直接劫持用户的访问,目前,运营商比较常见的作恶方式有两种,分别是DNS劫持、HTTP劫持。

互联网广告作弊的危害,以及如何反作弊

互联网的发展改变了人们的生活习惯,人们花在互联网上的时间已经超过看电视的时间。相应的,互联网广告也超越传统媒体,成为影响力最大的广告渠道。

不会编程也能写爬虫?可视化爬虫工具能给我们带来什么

在早期互联网世界,写爬虫是一项技术含量非常高的活,往大的方向说,爬虫技术是搜索引擎的重要组成部分。 随着互联网技术的发展,写爬虫不再是门槛非常高的技术了,一些编程语言甚至直接提供爬虫框架,例如python的Scrapy框架,它们让写爬虫走入“寻常百姓家”。

什么样的爬虫才是好爬虫:Robots协议探究

网站的管理者们通常会有这样一种心态:一方面期待百度、Google这样的搜索引擎来抓取网站的内容,另一方面又很厌恶其他来路不明的网络爬虫抓取自己的信息。正是因为这样,才有“好爬虫”、“坏爬虫”这样的说法。 提到“好爬虫”,就不得不提网络爬虫与web之间的访问授权协议——Robots协议了。

从新版支付宝看企业如何协调业务与风控的关系

企业在发展过程中,常常会遇到业务发展与风险控制冲突的情况,业务发展是公司的核心,如何在保证业务发展的同时还能尽可能控制风险呢?以支付宝为例,描述几种思路。

互联网企业风险处置策略的深度分析【岂安低调分享】

互联网企业在处理业务风险的时候,常常面临发现了风险而束手无策的情况,其根本原因在于缺乏有效的阻断产品。如果不能很好的阻断,风险分析就失去了意义,这也是业务安全的根本所在。

埋点进化论:从埋点到无埋点

在最初的互联网世界中,并没有埋点的概念。大家并不关心流量从哪里来,用户在网站上做了什么事,一切都是野蛮生长。 随着业务的增长,访问网站的人越来越多,用户的需求越来越复杂,运营人员就需要一些关键的数据作为参考。

七夕风险提醒:如何找出酒店的“隐藏摄像头”

又到七夕了!有对象的忙着陪对象,没对象的忙着找对象。 作为一家互联网风控公司,话说今年岂安科技别出心裁地发了风(wei)控(sheng)产品给每个小伙伴。每个风控人,都时刻把安全记在心中!最近很多新闻爆出一些酒店在隐蔽位置安装针孔摄像头的事情。为保护自己的隐私,了解住酒店的一些注意事项以及如何辨别酒店有无隐藏摄像头显得尤为重要!

卡在身边钱被取走?银行卡被盗最常见的三种情况及原理

安安经常收到长辈的电话:又在电视上看见别人银行卡被盗刷,或者支付宝里面的钱被人莫名其妙取走,在外面用钱一定要注意啊云云。 作为一个互联网安全的业内人士,安安对这些黑产的手段非常了解。正所谓“知己知彼,百战不殆”,今天来说一说盗取银行卡的常见方法,帮助大家更好地保护自己的财产安全。

暗流涌动的地下规则:互联网黑色产业链中的黑话

在互联网黑色产业链中,存在着诸多潜规则和黑话,熟悉这些术语有助于我们更好地了解黑产,从而更好地保护自己。

“风险”、“威胁”和“漏洞利用”,其实差别很大

许多安全术语在热门科技新闻中几乎可以相互替换地使用,即使实际上不能替换。不同的安全行话具有独特的的含义,以特定方式来使用,是有原因的。例如,“风险评估”和“威胁评估”是两个完全不同的事情,并且每个都因其自身原因和适用于解决不同的问题而有具有价值。

免费路由的内幕与真相:留后门劫持流量窃取用户隐私

路由器是个人用户在互联网世界中最最底层的入口,或者说是通往用户的物理大门。在相当长一段时间内,路由器都没有得到相应的重视,到了互联网经济爆发的时代,各式各样的入口都被重视起来,路由器也在其中。

当我们在谈论前端加密时,我们在谈些什么【岂安低调分享】

前端安全是Web安全的一部分,常见的安全问题会有XSS、CSRF、SQL注入等,然而这些已经在程师界得到了相当高的重视并且有了很成熟的解决方案。 所以我们今天只谈前端“加密”,一个部分人认为没有意义的工作。当然,有争议的事情总是那么因崔斯汀,就让我们谈谈前端传输中的数据“加密”吧 。

大麦式“撞库”威胁,互联网企业该如何面对

上周末,黑产利用撞库攻击,窃取了大麦网的用户个人信息。并利用窃取到的信息,伪装成大麦网客服成功骗取了147.42万元。据了解,全国各地共有39名用户受骗,单人受骗金额最高达10万元。

黑客必读:蜜罐技术的前世今生

互联网世界的攻击者们,比现实世界的坏人们更善于隐藏自己,他们往往躲在肉鸡、代理的背后,肆无忌惮的攻击我们的站点。对于这样的坏人,我们只能躲在高墙之后被动防御了吗?

Python工具分析风险数据【岂安低调分享】

随着网络安全信息数据大规模的增长,应用数据分析技术进行网络安全分析成为业界研究热点,小安在这次小讲堂中带大家用Python工具对风险数据作简单分析,主要是分析蜜罐日志数据,来看看一般大家都使用代理ip干了一些啥事。

常见的反爬虫和应对方法【岂安低调分享】

面对互联网的复杂性和特殊性,爬虫和反爬虫已经是一个标配。作为一个技术驱动型的公司,岂安科技帮助企业解决互联网领域的业务风险,主要是通过场景的模式,包括真假用户识别,账号欺诈/盗用、业务欺诈、业务风险控制、交易欺诈监控、恶意订单、补贴滥用、盗卡盗刷等,这些场景中,都无可避免的首要面对——爬虫。

爬虫VS反爬虫的蝴蝶效应【岂安低调分享】

“一只南美洲亚马逊河流域热带雨林中的蝴蝶,偶尔扇动几下翅膀,可以在两周以后引起美国德克萨斯州的一场龙卷风。”在互联网的世界中,蝴蝶效应的呈现则更为明显,身为互联网使用者,你的每一次点击,每一个打开,每一个保存与分享都不仅仅只是点击、打开、保存、分享,它们都将汇集成为数据,成为你互联网畅游的路径。

数据可视化的真善美【岂安低调分享】

数据可视化是关于数据视觉表现形式的科学技术研究。这种数据的视觉表现形式被定义为,一种以某种概要形式抽提出来的信息,包括相应信息单位的各种属性和变量,可以从不同的维度观察数据,从而对数据进行更深入的观察和分析。数据可视化就是用一幅图“告诉”用户一个深层次的故事。它将强大又复杂的数据和文字通过图形化的方式清晰、有效的传达给用户正确有用的信息内容。

【视频】岂安CTO告诉你微数据下的互联网安全与风控

大数据下的风控,微数据下的风控模式,微数据风控的采集分析

【视频】经纬“创享汇”——不能错过的通往技术大牛光荣之路

经纬“创享汇”活动邀请了经纬创投兄弟企业以及对经纬系技术分享感兴趣的创始人、CTO、技术团队负责人、架构师,5年以上高级研发人员参与分享。岂安科技CEO罗启武在会上分享了《互联网业务的风险控制》

父亲节礼物:告诉家人5招防范“验证码诈骗”

电信诈骗新花样,验证码诈骗。个人信息在网上通过各种各样的方式去猜测碰撞,最终汇集到一起,形成一个地下的数据库。在这个案例中,从电信运营商、到第三方支付平台、再到正在进军互联网的银行系统,构成了如今我们每个人信息和财产安全的链条。比如你的姓名、家庭住址、手机号、银行卡号、银行的密码,其实都在网络的黑市里面。

为何大量网站不能抓取?爬虫突破封禁的6种常见方法【岂安低调分享】

攻城狮可以通过爬虫来采集互联网数据,但很多网站对爬虫进行了封禁,爬虫突破封锁的常用的方法有哪些?本文假定读者已经了解如何用代码来抓取一个远程的URL,并具备表单如何提交及JavaScript在浏览器如何运行的机制。虽然不太可能建立一个完全“防爬虫”的网站,但我还是希望以下内容可以帮助人们保护自己的网站不被恶意攻击。本文将指出每一种网络数据采集技术的缺点,你可以利用这些缺点保护自己的网站。阅读之前,请牢记:这里演示的许多程序和介绍的技术都不应该在网站上使用。

岂安科技招聘(加入我们岂安大家庭)

我们的团队吸引了来自 PayPal 中国区初期核心研发,携程安全中心资深专家,专注大黑近十年的风控产品经理,核心团队曾经在思科、1 号店、网易、魔兽世界、支付宝等多家公司安全领域就职。作为一支技术驱动型的团队,岂安推崇在开放、高效的环境中学习、激励和成长

babel: 不一样的rpc, 不一样的连接

这几年工作下来,越来越体会到communication的重要性,无论是从技术层面还是工程组织层面。在这方面的投入,对工作效率、产品质量等等方面都会有很好的加强。尤其是我们公司的技术团队从开始就处于人力匮乏的状态,又同时要覆盖SAAS和大数据解决方案两条迥然不同的研发线路,矛盾比较突出,所以从开始的时候就想着去建立一套自己的通讯基础设施,来满足不同业务场景下的各种需求,于是催生了这朵RPC领域的奇葩。冠名以babel,纯属个人在初始阶段的勃勃雄心,希望能尽可能的消弭不同系统组件间的通讯细节,让我们这帮三流的程序员也能做出二流的系统

babel: yet another rpc, but far beyond rpc

岂安公司的技术团队从开始就人力匮乏,又同时要覆盖SAAS和私有化大数据解决方案两条迥然不同的研发线路,于是催生了这朵RPC领域的奇葩,冠名以babel,希望能尽可能的消弭不同系统组件间的通讯细节。本文会先讲讲为啥要造轮子,然后介绍这个简单又独特的RPC的实现部分,以及在岂安科技的实际例子,最后再探讨一下基于技术手段来影响整个工程组织方式。岂安科技是一家面向数据、以技术为核心的公司,Babel就是由笔者十年前读书时某次作业的衍生,利用岂安的机会去验证自己的idea,同时又能催生公司的产品。欢迎更多的有志向的青年加入我们。

手把手教你用Python爬虫煎蛋妹纸海量图片【岂安低调分享】

PHP全球开发者大会是DevLink每年一度的,特别针对PHP开发者的专题活动。每次活动均会请到该领域内的资深开发者、技术专家来分享具体、有针对性、具操作性的内容。每次观众规模约700人,会议时间在2天左右。

如何使用Charles抓包并分析Http报文

如何快速有效的抓取http数据包并进行分析呢?charles是一个图形界面可视化的代理形式(HTTP,SOCKS,SSL/HTTPS)的抓包工具,它提供对HTTP,SSL/HTTPS协议下通过同一个路由器下的设备的数据交流分析,包括各种HTTP请求和响应信息。

创业型公司如何做好监控报警

从大公司投身到创业型的小公司,最深的感受就是“由奢入俭难”这五个字。以前公司里有完善的框架体系,涵盖了分布式log、监控、实时报警、大数据存储等等方面,并且有成熟的团队来运营,使用者大部分时间只要做好集成就行;换到了小公司,以我们岂安科技 (bigsec.com)为例,初始的技术团队只有3人,起步阶段一穷二白,而且要做两个体系的产品,每天业务的压力就很大,做起事来只能用些比较粗糙的手段。

互联网验证码的传奇人生

验证码(CAPTCHA)是“Completely Automated Public Turing test to tell Computers and Humans Apart”(全自动区分计算机和人类的图灵测试)的缩写,它的出现,是为了区分人和机器,同时也是一个反人类的产物

浅谈如何建立互联网风控系统

弹指间,一起创业已有大半年。这大半年间,累与成果并存,痛并快乐着。这篇从我个人的角度对一些风险相关的概念进行通俗化的阐述,希望能讲明我们想要针对的问题是什么,我们的定位在哪里,技术的角度看需要去做什么,为什么要这么做,我们跟巨头的差别在哪里。

浅谈如何建立互联网风控系统

本文将会是岂安科技技术团队的抛砖石,来引出小伙伴的总结分享,更重要的是能得到外界的批评指正,帮我们出谋划策。这一篇将没什么干货,只是从我的角度对一些风险相关的概念进行通俗化的阐述,希望能讲明我们想要针对的问题是什么,我们的定位在哪里,技术的角度看需要去做什么,为什么要这么做,我们跟巨头的差别在哪里

岂安发布国内首款基于IP/手机号码安全风险检测服务

很多安全策略都是基于IP地址的,在其它纬度、技术还不完善的情况下,IP地址是最直接,最有效的判断依据。岂安科技通过技术手段对IP地址的多纬度,多层次,多场景进行分析

互联网计时攻击和登录系统设计

计时攻击是一种通过观测由于某些操作时泄露出来的时间信息来获取更多信息的攻击。由于设计和实现的不同,攻击者能够通过计时得到的信息也会不一样。简而言之,作为安全系统的设计者,必须对可能泄露信息的各种渠道有充分的了解,并针对它们采取因应措施

精通Python爬虫-02-初遇

首先需要说明的是,本系列教程,全部采用Python3.5作为开发环境,因为我不想做一些影响Python3发展的事情,如非必要,请使用Python3。

精通Python爬虫-01-不断前行的蜘蛛

爬虫就是通过模拟人类使用浏览器来访问网页的过程,通过一个起始URL地址不断的从请求到的HTML中寻找新的URL地址,如此循环下去,直到我们的目的达成。

MySQL索引原理与慢查询优化

索引的目的在于提高查询效率,可以类比字典,如果要查“mysql”这个单词,我们肯定需要定位到m字母,然后从下往下找到y字母,再找到剩下的sql。如果没有索引,那么你可能需要把所有单词看一遍才能找到你想要的,如果我想找到m开头的单词呢?或者w开头的单词呢?是不是觉得如果没有索引,这个事情根本无法完成?

40个Java集合面试问题和答案

毕业季,面试潮,你,准备好了吗?

系统日志管理那点事

说起日志,大家都是耳熟能详的,一大堆日志插件映入眼帘,日志收集的方式也历历在目,但是,今天我们的重点不仅仅是收集日志了,今天我们主要说说怎么管理日志。

设计模式 1/23 单例模式

为什么将单例模式排名第一,很简单,面试的时候聊到设计模式,大概率就从单例模式开始入手,循循渐进。

记一次JavaWeb网站技术架构总结

工作也有几多年了,无论是身边遇到的还是耳间闻到的,多多少少也积攒了自己的一些经验和思考,当然,博主并没有太多接触高大上的分布式架构实践,相对比较零碎,随时补充(附带架构装逼词汇)。

Python3调用企业微信用于告警

前段时间利用py爬虫抓取一些网页信息,然后通过wxpy发送到微信群,以用作日常告警,感觉还是很方便。但好景不长,我的小号微信被腾讯封了(很常见咯),显示无法登录网页版微信,至今已经有半个多月了。

Java 多线程

线程是cpu执行的最小单元,一个进程可以有多个线程。一个线程必须有一个父进程。线程可以拥有自己的堆栈,但不拥有系统资源。

一文看懂web服务器、应用服务器、web容器、反向代理服务器区别与联系

我们知道,不同肤色的人外貌差别很大,而双胞胎的辨识很难。有意思的是Web服务器/Web容器/Web应用程序服务器/反向代理有点像四胞胎,在网络上经常一起出现。本文将带读者对这四个相似概念如何区分。

汇编效率优化:指令处理机制

尽管汇编语言不是开发的常用语言,不过它也有很多的应用场景,如系统最底层的开发、程序的反汇编调试等。不过本篇文章主要目的是用汇编语言对程序的运行速度进行优化。文中所用到的汇编语言为IA-32(NASM)。

负载均衡基础知识

互联网早期,业务流量比较小并且业务逻辑比较简单,单台服务器便可以满足基本的需求;但随着互联网的发展,业务流量越来越大并且业务逻辑也越来越复杂,单台机器的性能问题以及单点问题凸显了出来,因此需要多台机器来进行性能的水平扩展以及避免单点故障。但是要如何将不同的用户的流量分发到不同的服务器上面呢?

从 HTTP 到 HTTPS 再到 HSTS

近些年,随着域名劫持、信息泄漏等网络安全事件的频繁发生,网站安全也变得越来越重要,也促成了网络传输协议从 HTTP 到 HTTPS 再到 HSTS 的转变。

PowerShell脚本执行策略

为防止恶意脚本的执行,PowerShell 中设计了一个叫做执行策略(Execution Policy)的东西(我更倾向于把它叫做脚本执行策略)。我们可以在不同的应用场景中设置不同的策略来防止恶意脚本的执行。本文主要是解释这些执行策略,因为笔者在学习的时候发现它们并不是那么清晰易懂。

从零宽断言说起到用python匹配html标签内容

本文主要是讲解零宽断言,所以阅读本文需要有一定的正则表达式基础。

volatile可见性的一些认识和论证

volatile的关键词的使用在JVM内存模型中已是老生常谈了,这篇文章主要结合自己对可见性的一些认识和一些直观的例子来谈谈volatile。文章正文大致分为三部分,首先会介绍一下happen-before,接着讲解volatile的一些使用场景,最后会附上一些例子来论证使用与不使用volatile的区别。

Orleans—一些概念

这个文章聊一聊Orleans的概念.以下文章大部分翻译自官方教程,还有一些结合实际的应用经验,并对以前文章留下的坑进行填平.如果有哪个坑没有填,还请告诉我.

ASP.NET Core 使用Cookie验证身份

ASP.NET Core 1.x提供了通过Cookie 中间件将用户主体序列化为一个加密的Cookie,然后在后续请求中验证Cookie并重新创建主体,并将其分配给HttpContext.User属性。如果您要提供自己的登录界面和用户数据库,可以使用作为独立功能的Cookie中间件。

如何比较优雅地编码

丁酉年夏,鹏镇守武汉。数月,政通人和,百废俱兴,乃重修代码规范,属予作文以记之。予观博客园胜状,驼峰命名,强制注释,迫之芸芸码士,俱迂腐巨细之论,此前人之述备矣。然,求同存异,团队建设,收买人心,论之甚少,此大道也,得之可平天下。

浅析无线Wifi-Honeypot思路

在网络安全里面无论是IPS,IDS都跟蜜罐有着紧密联系,蜜罐可以算是防火墙中的一个重要分支。蜜罐最基本的作用是来捕获攻击者的行为并且进行追踪取证和反入侵,首先你要有一个脆弱点来诱惑攻击者。

用JS写一个连连看小程序

一个简单易上手的小程序

小时到分钟 - 一步步优化巨量关键词的匹配

前些天工作中遇到一个问题:有 60万 条短消息记录日志,每条约 50 字,5万 关键词,长度 2-8 字,绝大部分为中文。要求将这 60万 条记录中包含的关键词全部提取出来并统计各关键词的命中次数。本文完整介绍了我的实现方式,看我如何将需要运行十小时的任务优化到十分钟以内。虽然实现语言是 PHP,但本文介绍的更多的思想,应该能给大家一些帮助。

微信网站应用登录

准备工作:1.认证的微信开发者账号一只; 2.审核通过的网站应用一个;3.授权域名可用

竖排主菜单鼠标滑动角度判断显示子分类

在较多电商类网站中,总会有竖排主类别菜单,鼠标滑动右侧显示分类下的详细类别,但因为是竖排分类,就可能会出现鼠标滑动时,只是想单纯的在露出的详细分类下,点击当前分类下的某个分类,但是因为鼠标滑动经过了其他分类,子分类菜单就被切换走了,只能鼠标平移至右侧,用户体验是极不好的。

程序员之间的 N 层鄙视网

有人的地方就有江湖。程序员,是一个知识、智商、都异于常规行业的群体。自傲,清高,闷骚,也属于这个群体鲜明标签。程序员有时候很自我,这样就给自己一个盲目的优越感。特别在与其他程序员对比的时候,他总能找到在一两个地方优于你的地方,所以,程序员之间的鄙视网络,在程序员这个职位诞生之日起,就慢慢的形成了。

【机器学习笔记】决策树的python实现

决策树:简单地理解,就是根据一些 feature 进行分类,每个节点提一个问题,通过判断,将数据分为几类,再继续提问。这些问题是根据已有数据学习出来的,再投入新数据的时候,就可以根据这棵树上的问题,将数据划分到合适的叶子上。

程序员,软件测试知多少?

作为开发同学,一些基本的测试岗位相关知识还是很有必要了解一下,免的某些同学在工作中和测试同学斗嘴、打架、群殴等以及被测试鄙视...

Jenkins: 配置信息变更历史

像 Jenkins 这样的系统,使用的过程就是配置文件变更的过程。如果能够对配置文件的变更进行跟踪管理,将极大的提高系统的可用性。Job Configuration History 插件就是这么一款实用而精巧的组件。很显然,相对于它的功能而言,它的名字实在是太低调了。因为它不仅能处理 Job Configuration 的变更历史,还能够处理系统级别的配置变更历史。

构建高并发&高可用&安全的IT系统-高并发部分

什么是高并发?狭义来讲就是你的网站/软件同一时间能承受的用户数量有多少

分布式系统中的必备良药——服务治理

什么是高并发?狭义来讲就是你的网站/软件同一时间能承受的用户数量有多少

Python项目实战:福布斯系列之数据采集

本文主要是介绍使用爬虫进行数据采集的思路和步骤。本次采集的福布斯全球上市企业2000强排行榜数据,涉及年份从2007年到2017年,跨越10多年。本次采集的目标网站,是多个网页,但多个网页的分布结构都有所不同,虽然思路和步骤都差不多,但需要分开来编写,分别采集。

Python爬虫番外篇之Cookie和Session

关于cookie和session估计很多程序员面试的时候都会被问到,这两个概念在写web以及爬虫中都会涉及,并且两者可能很多人直接回答也不好说的特别清楚,所以整理这样一篇文章,也帮助自己加深理解

Charts 常见使用类型实例

在我们平时的开发中,当使用到一些统计图表的时候,我们该怎样去做那些柱形的统计图、那些折线统计图、扇形统计图,亦或是你在做金融相关的项目那些股票走势等等的UI我们改怎样做?上面说的这么多全都可以用今天我们说的主角——Charts来解决,这次我们说这个就从它的集成开始,再到对它一些简单的说明,最后用几个Demo来认识一下这个三方,在最后我也会相应的给出下面几个Demo的源码供大家参考。

一锅端掉微信公众号-小程序的用户资料获取

本篇手记,旨在解决微信跨产品链路中的用户资料种种痛点,业务场景解惑与技术实现细节并存,约 4000 字,请耐心阅读。

爬虫——正则表达式re模块

实际上爬虫一共就四个主要步骤:明确目标:需清楚目标网站;爬:将所有的目标网站的内容全部爬下来;取:在爬下来的网站内容中去掉对我们没有用处的数据,只留取我们需要的数据;处理数据:按照我们想要的方式存储和使用留取的数据。我们在前面的案例里实际上都省略了第3步,也就是“取”的步骤。

小时到分钟 - 一步步优化巨量关键词的匹配

本文完整介绍了我的实现方式,看我如何将需要运行十小时的任务优化到十分钟以内。虽然实现语言是 PHP,但本文介绍的更多的思想,应该能给大家一些帮助。

MongoDB安全及身份认证

系统不论设计的多么完善,在实施过程中,总会存在一些漏洞。如果能够把不安全的使用方与MongoDB数据库做物理上的隔离,即通过任何手段都不能连接到数据库,这是最安全的防护。但,通常这是不现实的。一些重要的数据可能会保存下来,放置到物理隔离的机房中。

java压缩与解压

目录进入点是文件在压缩文件中的映射,代表压缩文件。压缩文件时,创建目录进入点,将文件写入该目录进入点。解压时,获取目录进入点,将该目录进入点的内容写入硬盘指定文件。

在Python中实现单例模式

有些时候你的项目中难免需要一些全局唯一的对象,这些对象大多是一些工具性的东西,在Python中实现单例模式并不是什么难事。。

Java虚拟机:JVM内存分代策略

Java虚拟机根据对象存活的周期不同,把堆内存划分为几块,一般分为新生代、老年代和永久代(对HotSpot虚拟机而言),这就是JVM的内存分代策略。

性能优化知多少

性能优化是一个老生常谈的问题了,典型的性能问题如页面响应慢、接口超时,服务器负载高、并发数低,数据库频繁死锁等。而造成性能问题又有很多种,比如磁盘I/O、内存、网络、算法、大数据量等等。我们可以大致把性能问题分为四个层次:代码层次、数据库层次、算法层次、架构层次。

写给后端程序员的HTTP缓存原理介绍

通过Internet获取资源既缓慢,成本又高。为此,Http协议里包含了控制缓存的部分,以使Http客户端可以缓存和重用以前获取的资源,从而优化性能,提升体验。虽然Http中关于缓存控制的部分,随着协议演进,有一些变化。但我觉着,作为后端程序员,在开发Web服务时,只需要关注请求头If-None-Match、响应头ETag、响应头Cache-Control就足够了。

单点登录原理与简单实现

web应用采用browser/server架构,http作为通信协议。http是无状态协议,浏览器的每一次请求,服务器会独立处理,不与之前或之后的请求产生关联,这个过程用下图说明,三次请求/响应对之间没有任何联系。

Spring Boot日志管理

Spring Boot在所有内部日志中使用Commons Logging,但是默认配置也提供了对常用日志的支持,如:Java Util Logging,Log4J, Log4J2和Logback。每种Logger都可以通过配置使用控制台或者文件输出日志内容。

当better-scroll遇见Vue

better-scroll 是一个移动端滚动的解决方案,它是基于 iscroll 的重写,它和 iscroll 的主要区别在这里。better-scroll 也很强大,不仅可以做普通的滚动列表,还可以做轮播图、picker 等等。

XSS和CSRF攻击的一些非常规防御方法

一说到安全,大家总会特别敏感,尤其是有相当部分的前端开发者并不了解安全相关的知识,颇有谈虎色变的感觉。具体到前端安全这个话题呢,又有些说不清道不明,因为大部分的防御方案,总少不了后端的参与,也有开发者慢慢觉得好像安全都应该由后端来关注了。

Python编码错误的本质原因

不论你是有着多年经验的 Python 老司机还是刚入门 Python 不久的新贵,你一定遇到过UnicodeEncodeError、UnicodeDecodeError 错误,每当遇到错误我们就拿着 encode、decode 函数翻来覆去的转换,有时试着试着问题就解决了,有时候怎么试都没辙,只有借用 Google 大神帮忙,但似乎很少去关心问题的本质是什么,下次遇到类似的问题重蹈覆辙,那么你有没有想过一次性彻底把 Python 字符编码给搞懂呢?

JVM类加载机制详解

加载是类加载过程中的一个阶段,这个阶段会在内存中生成一个代表这个类的java.lang.Class对象,作为方法区这个类的各种数据的入口。注意这里不一定非得要从一个Class文件获取,这里既可以从ZIP包中读取(比如从jar包和war包中读取),也可以在运行时计算生成(动态代理),也可以由其它文件生成(比如将JSP文件转换成对应的Class类)。

【算法杂谈1】从一道面试题再看三路快排partition

在这次分享中,我将为大家回顾一下排序算法,同时,详细解析一下LeetCode中第75个问题:Sort Color。这个问题是Facebook,Microsoft和Pocket Gems的面试题。在LeetCode中难度标记为Medium:)

【MyBatis源码分析】环境准备

之前一段时间写了【Spring源码分析】系列的文章,感觉对Spring的原理及使用各方面都掌握了不少,趁热打铁,开始下一个系列的文章【MyBatis源码分析】,在【MyBatis源码分析】文章的基础之上,可以继续分析数据库连接池、Spring整合MyBatis源码、Spring事物管理tx等等。

Python爬虫一步步抓取房产信息

这一篇文章更多是想分享一下我的网页分析方法。玩爬虫也快有一年了,基本代码熟悉之后,我感觉写一个爬虫最有意思的莫过于研究其网页背后的加载过程了,也就是分析过程,对性能没有特殊要求的情况下,编程一般是小事。

用Python爬取百万网易云音乐热门评论

最近在研究文本挖掘相关的内容,所谓巧妇难为无米之炊,要想进行文本分析,首先得到有文本吧。获取文本的方式有很多,比如从网上下载现成的文本文档,或者通过第三方提供的API进行获取数据。但是有的时候我们想要的数据并不能直接获取,因为并不提供直接的下载渠道或者API供我们获取数据。那么这个时候该怎么办呢?有一种比较好的办法是通过网络爬虫,即编写计算机程序伪装成用户去获得想要的数据。利用计算机的高效,我们可以轻松快速地获取数据。

2017上半年重大黑客事件盘点

在过去的2016年,发生了许多大规模和令人震惊的网络攻击事件。正如我们所预料的,2017年我们将面对更严峻的安全挑战!下面让我们共同回顾下截至当前,网络上所发生的重大的安全事件。

用 Python 实现每秒处理 120 万次 HTTP 请求

用 Python 做到每秒处理上百万次 HTTP 请求,可能吗?也许不能,但直到最近,这已成为现实。很多公司都在为了提升程序的执行性能和降低服务器的运营成本,而放弃 Python 去选择其它编程语言,其实这样做并不是必须,因为 Python 完全可以胜任这些任务。

国家网信办相关负责人就《网络安全法》答记者问

6月1日,备受关注的《网络安全法》正式施行。目前,有关部门正在按照法律要求抓紧研究起草相关制度文件,比如,关键信息基础设施保护办法、个人信息和重要数据出境安全评估办法、网络关键设备和网络安全专用产品目录等。

2017程序员招生全国统一卷

1.本试卷所有题目都是单选题,每题5分,满分100分; 2.考试时间为10分钟; 3.全部答案在本文评论区完成; 4.考试结束后将试卷分享到朋友圈,测一测你身边的程序员。

这可能是史上最大规模Google Play恶意程序活动

近期,Check Point的安全研究专家在Google自家的官方App商城Google Play中发现了一种大规模恶意软件活动。这款恶意软件名叫“Judy”,这是一款自动点击型恶意软件,目前已经在Google Play上发现有41款App感染了这种恶意软件。

JavaScript中的函数式编程

函数式编程(functional programming)或称函数程序设计,又称泛函编程,是一种编程范型,比起命令式编程,函数式编程更加强调程序执行的结果而非执行的过程,倡导利用若干简单的执行单元让计算结果不断渐进,逐层推导复杂的运算,而不是设计一个复杂的执行过程。

30元返现,羊毛党互邀每天轻松到手3万元:依靠手机号码进行业务反欺诈靠谱吗?

本文作为bigsec在过去的大半年中,在监控报警上做的一些工作的总结,事实上,在后面的日子里,还需要进行更多更复杂的工作: 接收其他来源的数据,同时大力完善公司内部的监控体系;完善分布式log机制,方便排障和更细粒度的监控;将报警监控系统和生产的业务发布系统打通,来实现弹性扩容和自动容灾的可能性。

真 · 程序员四六级文史综合题(含答案)

0 - 50 果然学渣、51 - 60 初窥门径、61 - 70 渐入佳境、71 - 80 炉火纯青、81 - 90 出类拔萃、91 - 98 凤毛麟角、99 - 100 登峰造极。

浅谈我对DDD领域驱动设计的理解

本文的重点是基于我个人对DDD的一些理解,希望能整理出一些自己总结出来的一些感悟和经验,并分享给大家。我相信很多人已经看过太多DDD书上的东西,我总是感觉书上的东西看似都太”正规“,很多时候我们读了之后很难消化,就算理解了书里的内容,当我们想要运用到实践中时,总是感觉无从下手。本文希望通过通俗易懂的文字,介绍了一部分我对DDD的学习感悟和实践心得,希望能给大家一些启发和帮助。

在微服务中使用领域事件

领域事件主要用于解耦微服务,此时各个微服务之间将形成最终一致性。事件风暴活动有助于我们对微服务进行拆分,并且有助于我们深入了解某个领域。领域事件作为已经发生过的历史数据,在建模时应该将其创建为不可变的特殊值对象。存在多种方式用于发布领域事件,其中“在聚合中临时保存领域事件”的方式是值得推崇的。

Python多线程之threading.Thread实现

在了解了线程以后,我们可能需要在多个线程之间通信。实现这一点,我们可以声明一个全局的存储对象,所有的线程都调用这一个对象来进行数据的存和取,这样就可以做到线程间的通信。 threading.local()创建的对象中的属性,是对于每个线程独立存在的,它们相互之间无法干扰,我们称它为线程本地数据。

Linux用户的3个命令行小技巧

Linux世界充满了乐趣,我们越深入进去,就会发现越多有趣的事物。我们会努力给你提供一些小技巧,让你和其他人有所不同,下面就是我们准备的3个小技巧。

更快学习JavaScript的6个思维技巧

我们在学习JavaScript,或其他任何编码技能的时候,往往是因为这些拦路虎而裹足不前:有些概念可能会造成混淆,尤其当你是从其他语言转过来的时候。找不到时间(有时是动力)学习。很容易忘记已经理解了的东西。工具多又在不断变化,所以不知道从哪里开始。

eclipse常用快捷键整理

在网上搜eclipse快捷键,可以搜出一大堆,大多罗列了n多的快捷键,估计大部分人看了以后都会头大的,我也头大,不过我一一尝试了一遍,整理出了eclipse最常用最有用,写代码必须用到的一些快捷键,大约只有网上快捷键大全的一半,减少大家的记忆量。如果大家把这些快捷键都很好的运用,写代码的效率一定会有提高。

给Java新手的一些建议——Java知识点归纳(Java基础部分)

写这篇文章的目的是想总结一下自己这么多年来使用java的一些心得体会,主要是和一些java基础知识点相关的,所以也希望能分享给刚刚入门的Java程序员和打算入Java开发这个行当的准新手们,希望可以给大家一些经验,能让大家更好学习和使用Java。

Python语言在未来的发展前景

做了JAVA开发十年,也做过大大小小的项目,最近一两年做开发的被一门编程语言,也就是Python给刷屏了,在各个论坛中,关注圈中,Python的关注量一直都是很高,今天小编给大家聊一下学习Python语言可以发展哪些方向以及Python语言在未来的发展。

68道Spring面试题和答案

Spring 是个java企业级应用的开源开发框架。Spring主要用来开发Java应用,但是有些扩展是针对构建J2EE平台的web应用。Spring 框架目标是简化Java企业级应用开发,并通过POJO为基础的编程模型促进良好的编程习惯。

一种用于在Python字节码中嵌入Payload的隐写工具–Stegosaurus

本文将给大家介绍这款名叫Stegosaurus的隐写工具,它允许我们在Python字节码文件(pyc或pyo)中嵌入任意Payload。由于编码密度较低,因此我们嵌入Payload的过程既不会改变源代码的运行行为,也不会改变源文件的文件大小。Payload代码会被分散嵌入到字节码之中,所以类似strings这样的代码工具无法查找到实际的Payload。Python的dis模块会返回源文件的字节码,然后我们就可以使用Stegosaurus来嵌入Payload了。

eclipse使用技巧心得分享

习惯了eclipse开发java程序,公司最近的项目都是idea开发的,同时android studio也是idea原型开发的,在学android开发,所以脱离eclipse转向idea看来是一个趋势了。开发工具的使用就是一个习惯的问题, 习惯了开发效率就高,不习惯工具使用问题,还得去百度。

使用Spring特性实现接口多实现类的动态调用

在实际工作中,我们经常会遇到一个接口及多个实现类的情况,并且在不同的条件下会使用不同的实现类。从使用方式上看,有些类似SPI的用法,但是由于SPI的使用并不是太方便,那么怎么办呢?我们可以借助ApplicationContext的getBeansOfType来实现我们需要的结果。

315,我帮你总结了价值 7999 元的问题

在互联网高速发展的现代,消费安全问题已经与质量安全问题、诚信问题并驾齐驱为消费者头上三座大山。315 不是一天的狂欢,消费安全、业务安全是企业年年月月、时时刻刻需要去面对、去解决的问题。

怎样借助Python爬虫给宝宝起个好名字

我想做这么一个程序,通过这种方式可以得到一份符合自己孩子生辰八字、自己的家谱限制、以及自己喜好的名字列表,并且该列表已经给出了分数用于参考,以此为基准我们可以挨个琢磨找出心仪的名字。当然如果有新的想法,随时可以把新的名字添加到词库里面,进行重新计算。

你猜 2017 年最常用密码还会是“123456”吗?

每年,安全专家等都建议公众为他们的账号设置更安全的密码,然而每年公众也都没有注意到他们的建议。“排名前十五的密码中有七个都只有六位数,这让我们感到非常无奈。

后流量时代如何虎口护食?羊毛党的侦测与防护

洲际酒店大规模数据泄漏 酒店业信息安全难道真的就是无法解决的短板吗

据悉,洲际酒店(InterContinental)集团旗下12家酒店遭遇大规模数据泄露。洲际酒店集团通知客户:凡是在2016年8月至12月期间在这12家酒店的餐厅或者酒吧使用信用卡支付的客户都成为了此次数据泄露的受害人。

85%的企业认为自己有能力抵御网络攻击,可实际情况是……

85%的企业认为他们为可能面临的网络攻击做好了防御准备。但实际情况是,在过去半年内,这些企业中有40%都遭到了攻击。

千万APP用户数据泄露或流入‘黑产’ 国家电网:这个锅我不背

国家电网表示,“按照公司《信息系统业务授权许可使用管理办法》的要求,全网范围内的信息系统无批量导出功能,无渠道可获取批量用户信息”,且“业务人员需签订安全保密协议、定期开展安全自查,并主动向公安部申请安全防护检查”。

个人隐私不复存在?花700元买到同事全部信息,还可以买妻子、买朋友甚至只知道号码的陌生人的……

你所有的隐私信息,包括开房记录、名下资产、乘坐航班,甚至网吧上网记录信息,只要有人付钱,就可以轻易被查到。这是否让你不寒而栗?还有,四大银行存款记录,手机实时定位,手机通话记录,他们也都能查到,而且声称7 天 × 24 小时不间断服务。

如何正确响应安全事件

如何正确响应安全事件

阿里巴巴起诉刷单平台“傻推网” 刷单与反刷单的猫鼠游戏

据新浪科技12月5日消息,阿里巴巴集团2日向法院正式递交起诉书,状告刷单平台“傻推网”涉嫌严重危害市场竞争秩序,索赔216万元人民币。据了解,该案系全国首例电商平台状告刷单团伙案,递交当日已获法院立案。

Dorothy2:一个开源的僵尸网络分析框架2

Dorothy2:一个开源的僵尸网络分析框架

Dorothy2:一个开源的僵尸网络分析框架3

Dorothy2:一个开源的僵尸网络分析框架

linux入门:使用tar命令备份文件

linux入门:使用tar命令备份文件

Dorothy2:一个开源的僵尸网络分析框架1

Dorothy2:一个开源的僵尸网络分析框架

中、小企业如何自建免费的云WAF

中、小企业如何自建免费的云WAF

网络安全之菜鸟必学的dos命令

网络安全之菜鸟必学的dos命令

2016上半年十大APT攻击组织大盘点

2016上半年十大APT攻击组织大盘点

【Java笔试题】水仙花数

【Java笔试题】水仙花数

网络安全不得不防的那些我们一起玩过的后门

网络安全不得不防的那些我们一起玩过的后门

网络安全之菜鸟必学的dos命令

网络安全之菜鸟必学的dos命令

网络安全小技巧如何诊断你的设备是否被黑客入侵

网络安全小技巧如何诊断你的设备是否被黑客入侵

Java高并发程序设计

Java高并发程序设计

GitLab服务器搭建

GitLab服务器搭建

网络安全之菜鸟必学的dos命令

网络安全之菜鸟必学的dos命令

网络安全之菜鸟必学的dos命令

网络安全之菜鸟必学的dos命令

12月起你的银行卡将发生重大变化!反欺诈咨询顾问深度解读新规

2016年12月1日起,央行的一系列新规定将正式开始实施。这其中有几条将对普通持卡人的使用习惯以及银行、第三方支付等金融机构的风险控制产生较大的影响。在此,岂安资深反欺诈咨询顾问针对以上规定的具体内容及相应的影响进行解读。

安全问题拷问着电子支付第三方未来

网络银行作为一种高科技金融工具,在为金融企业的发展带来前所未有的商机的同时,也为众多用户带来实实在在的方便。网络银行的优越性的确很明显,但人们对网络银行安全问题的顾虑也不无道理。银行业务网络与互联网的连接,使得网上银行容易成为非法入侵和恶意攻击的对象,加上目前网络秩序较为混乱,黑客攻击事件层出不穷,也给人们的心理造成了一定影响。

风险控制-防刷

风险控制-防刷。

java的web项目中使用cookie保存用户登陆信息

java的web项目中使用cookie保存用户登陆信息。

什么是用户?估计90%人不知道

什么是用户?估计90%人不知道。

追求极致:从技术细节看美团架构

追求极致:从技术细节看美团架构。

浅谈数据分析和数据建模

浅谈数据分析和数据建模。

互联网系统性能优化方向

互联网系统性能优化方向。

了解一个项目的完整体系

了解一个项目的完整体系。

网络安全常识

随着互联网和移动互联网的持续火热,人们的生活也越来越离不开网络,网络安全,在这个信息化时代显得尤为重要,那么网络攻击和安全,这一攻守之间,主要涵盖哪些要点呢,下面我们就来对此进行抽丝剥茧,逐条解析。

从互金安全到互联网反欺诈,互金何时能解忧

互联网金融在其发展过程中出现了各种各样的诈骗手段,从而使用户的个人信息遭到泄露、财产遭到巨大损失。结合前段时间发生的互联网金融安全问题,笔者总结出了两大类的骗术手段。

历史上最昂贵的8大IT工程失误和教训

历史上最昂贵的8大IT工程失误和教训。

工作之经验之谈3

工作之经验之谈3。

web应用安全防御100技

web应用安全防御100技。

以Facebook为案例剖析科技公司应有的工具文化

以Facebook为案例剖析科技公司应有的工具文化。

互联网业务安全之通用安全风险模型

互联网业务安全之通用安全风险模型

基于用户画像大数据的电商防刷架构

基于用户画像大数据的电商防刷架构。

支付类App,支付功能的测试思路有哪些?

个人认为,不管是支付类App还是其他App,对于上面说的用户体验相关的测试,都是非常重要且不可忽视的,机型不足导致终端适配不全,App每次迭代的反复功能测试等等,都是很让人头疼的问题。交给第三方测试,不失为一个好办法。

如何看待科技、数据和业务?

如何看待科技、数据和业务?

互联网金融与大数据风控相结合的九大维度

互联网金融与大数据风控相结合的九大维度。

大型网站技术架构02网站的高性能架构、网站的可用性架构

大型网站技术架构02网站的高性能架构、网站的可用性架构。

机器学习算法优缺点及其应用领域

机器学习算法优缺点及其应用领域。

Git常用命令

Git常用命令。

业务安全通用解决方案——WAF数据风控

业务安全通用解决方案——WAF数据风控。

大数据时代银行业应对策略

大数据时代银行业应对策略。

剑宗与气宗

剑宗与气宗。

“P2P”问题频发,还能投资吗?

“P2P”问题频发,还能投资吗?

大型网站技术架构03

大型网站技术架构03。

网站架构总结

网站架构总结。

工作之经验之谈2

工作之经验之谈2。

大数据应用开发八大基本原则

大数据应用开发八大基本原则。

互联网企业安全建设(二)如何推动安全策略

互联网企业安全建设(二)如何推动安全策略 。

Python 编码风格指南

Python 编码风格指南

python 一个根据正则判断输入的函数

python 一个根据正则判断输入的函数。

4个小例子告诉你:如何成为一名数据极客

4个小例子告诉你:如何成为一名数据极客。

简述机器学习十大算法的每个算法的核心思想、工作原理、适用情况及优缺点等

简述机器学习十大算法的每个算法的核心思想、工作原理、适用情况及优缺点等。

遇到服务器缓存投毒和域名劫持现象该怎么办

遇到服务器缓存投毒和域名劫持现象该怎么办。

互联网企业安全建设(一)

互联网企业安全建设(一)。

网络安全

网络安全。

数据库优化总结

数据库优化总结。

大型网站技术架构01大型网站架构的演化、大型网站架构模式

大型网站技术架构01大型网站架构的演化、大型网站架构模式。

工作之经验之谈4

工作之经验之谈4。

大数据在银行业的应用与实践

大数据在银行业的应用与实践

工作中的一些好习惯

工作中的一些好习惯。

带你认识“货真价实”的P2P网贷风控

带你认识“货真价实”的P2P网贷风控。

P2P公司是如何进行风险管理的

P2P公司是如何进行风险管理的。

一键秒懂微信公号文章自动生成二维码分享图片到朋友圈

相信今早大家的朋友圈都被带着二维码的黑白图片刷屏了,安安教你,如何一键选择你喜欢的微信公众号文章段落,自动生成二维码分享图片分享到朋友圈。

反反爬虫之见招拆招

反反爬虫之见招拆招。

【爬虫-反爬虫】系列一:基础之模拟请求(2)

在开发爬虫程序前,你应该知道你需要的数据来自哪儿,以及怎么获取。

网络机器人的识别与攻防的经典案例

网络机器人的识别与攻防的经典案例(也即爬虫与反爬虫的经典案例)。

爬虫(Spider),反爬虫(Anti-Spider)

来谈php爬虫抓取信息。

网站如何反爬虫浅析

要想做爬虫,必须要先了解如何反爬虫,知道了这些,我们才能更好的做爬虫!

【爬虫-反爬虫】系列一:-尾篇(7)

写到这里,本专题可以告一段落了,如果你理解了之前的文章且认真实践过,相信绝大多数网站的数据都能爬取下来。

数据抓取之反爬虫规则:CSRF防御处理及异步请求处理

Python爬虫开发:反爬虫措施以及爬虫编写注意事项。

Python爬虫开发:反爬虫措施以及爬虫编写注意事项

Python爬虫开发:反爬虫措施以及爬虫编写注意事项。

网络爬虫之反爬小综述

之前说个数据抓取遇到的一个坎就是验证码,这次来说另外两个。

【爬虫-反爬虫】系列一:反爬虫之签名(6)

本讲介绍的是一种比较麻烦的反爬虫策略:请求签名。

【爬虫-反爬虫】系列一:基础之概述(1)

在了解爬虫前,应该先知道一些最本质的原则,这也是经常被人忽视的。

php爬虫抓取信息及反爬虫相关

来谈php爬虫抓取信息。

分布式爬虫nutch2.0初体验------三大亮点

分布式爬虫nutch2.0初体验------三大亮点。

【爬虫-反爬虫】系列一:反爬虫之session(4)

人们经常把session与cookie放在一起谈论,因为session变量存储在服务器端,而cookie是浏览器端,两者在能力上互补。

数据抓取之反爬虫规则:使用代理和http头信息

之前说个数据抓取遇到的一个坎就是验证码,这次来说另外两个。

自动更改IP地址反爬虫封锁

自动更改IP地址反爬虫封锁。

关于反爬虫和恶意攻击的一些策略和思路

前段时间Guang.com经常受到恶意spider攻击,疯狂抓取网站内容,一系列机器人spam发广告,对网站性能有较大影响。

爬虫入门讲解:基础理论篇

关于爬虫内容的分享,我会分成两篇,六个部分来分享.

反爬虫策略

近期爬虫程序遇到的反爬虫方式小结

【爬虫-反爬虫】系列一:反爬虫之cookie(3)

前面讲过,cookie存储在浏览器端,常用来保存“认证数据”,请求会携带这些数据发送给服务器,这样服务器才能判断当前请求的状态,比如是否自动登录?

Python 爬虫中遇到的反爬虫问题

Python 爬虫中遇到的反爬虫问题。

【爬虫-反爬虫】系列一:反爬虫之验证码(5)

验证码可以说是最让人伤脑筋的事了,最常见的便是图片验证码,花样百出,再加上有意模糊数字,就连人都不一定能识别出来,所以本专题也不会专门讲识别算法等等,而是介绍一种人工打码的方式。

#1024程序员节#如果你和程序员有仇,不妨试试这句……

从2014年起,每年10月24日定义为程序员节。以一个节日的形式,向通过coding改变世界,也以实际行动在浮躁的世界里,固执地坚持自己对于知识、技术和创新追求的程序员们表示致敬。但如果你和程序员有仇,不妨试试这句……

python编码的意义

python编码的意义。

你真的了解一段Java程序的生命史吗

你真的了解一段Java程序的生命史吗。

你需要注意的Java小细节

你需要注意的Java小细节。

Python十分钟入门

Python十分钟入门。

JAVA爬虫 WebCollector

JAVA爬虫 WebCollector。

如何黑一个黑客

如何黑一个黑客。

排名前50的开源Web爬虫用于数据挖掘

排名前50的开源Web爬虫用于数据挖掘。

如何给网站加入优雅的实时反爬虫策略

允许google,baidu等正规爬虫,拒绝那些无节操扒数据的山寨爬虫。本文将探讨如何给网站加入优雅的实时反爬虫策略。

今天,将是支付宝免费提现的最后一天……

☑支付宝的钱转到自己银行卡或他人银行卡,收费;☑用支付宝转账到对方支付宝账户,不用付钱,对方提现,手续费由他掏;☑用支付宝(可选余额、银行卡、余额宝)转账到对方银行卡,手续费你自己出;☑余额宝资金转出到本人银行卡或支付宝余额,继续免费……

如何给网站加入优雅的实时反爬虫策略

允许google,baidu等正规爬虫,拒绝那些无节操扒数据的山寨爬虫。本文将探讨如何给网站加入优雅的实时反爬虫策略。

解决初级爬虫思路和方法

这几天在爬一个网站,网站做了很多反爬虫工作,爬起来有些艰难,花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。

如何制定反反爬虫的策略

反反爬虫策略是依靠定向爬取源的反爬虫策略而定的。一般有一下几种:IP代理、Cookies、限速访问

反爬虫思路与解决办法(综合)

随之大数据的火热,网络上各种网页抓取/爬虫工具蜂拥而来,因而,网页数据成了大家竞争掠夺的资源,但网站运营者却要开始保护自己的数据资源,以避免被竞争对手获取到自己的数据,防止更大的商业损失。下面总结一下反爬虫策略及其应对方法。

互联网网站的反爬虫策略实战解析

赶集网反爬就一招----限速访问。单IP单线程需要保持在小于2.4次/秒的访问速度,超出了之后会弹赶集的反爬页面,传说中的【墙】。

Scrapy: 爬虫返回403错误的解决办法

用Scrapy爬虫时,遇到返回403错误的解决办法。

赶集网反爬虫策略浅析

赶集网反爬就一招----限速访问。单IP单线程需要保持在小于2.4次/秒的访问速度,超出了之后会弹赶集的反爬页面,传说中的【墙】。

四种基本策略,帮你彻底反爬虫

由于要准备测试数据,不得不大量爬取某个网站的内容。为了防止被封,特意将爬虫设计为单线程同步的爬虫。结果在爬了大约3万个页面的时候,对方发回Access Denied。等一段时间后再启动爬虫,结果还是Access Denied。这时才明白这样的想法太天真了,当初就应该找其它方法来避免才对。而本文则记述了这些其它方法。

爬虫与反爬虫的五日战争

爬虫(Spider),反爬虫(Anti-Spider),反反爬虫(Anti-Anti-Spider),展示五天的斗争过程,这之间的斗争恢宏壮阔。

套路不深为何还中招?刷爆朋友圈的“性格测试”惊人内幕竟然是…

从个人的层面来说,姓名生日的缩写、变体等通常被使用于各类登录、开机、卡号密码,朋友圈‘有心人’可能通过这种方式盗取你的密码;另一个方面,你参加测试的公众号属于什么公司,这家公司是做什么的呢?你可能完全不知道。等于说,你的信息泄露给了陌生的微信号、陌生的公司,他会用来做什么,你也完全不知道。

千呼万唤始出来!大白话解读“网络支付新规”

随着基于网络支付的应用场景不断丰富,网络支付已经深入到了人们日常生活的方方面面,但与此同时,支付风险也随之而来。提升网络支付的安全性,需要制度性的监管。7月1日,中国人民银行发布的《非银行支付机构网络支付业务管理办法》正式实施,意味着网络支付实名制也全面启动。大白话解读版,简单明了地扯一下这个新规和咱老百姓有些什么关系。

一个欧洲人眼中的脱欧

We would suggest UK Parliament to use our Warden software to better control the online pools and prevent online frauds like this happening again.

“一个欧洲人眼中的脱欧”跟我们有几毛钱关系

英国退欧公投尘埃落定,脱欧派以52%的投票获胜。留欧派失落无奈,退欧派奔走欢呼……而我朝各路群众绝不只是围观凑热闹,话题当然是和自身利益严重挂钩的。然而,相对于高净值人群严谨的资产配资和投资管理来说,接下来的投资方向和时机把握才是重点。风险=probability+ outcome,居安思危,建立健壮的风控系统保护,或许就是互金公司应对一切外部变化的根本。

对浏览器村IE、火狐、Chrome的第二次采访

记者再次拜访浏览器村,先找到了Chrome 做深度访谈,而且还解决了HTTP中包裹的安全问题,创造了一个新的包裹运输方式: HTTPS 。

数据无埋点适合你的业务类型吗?【岂安低调分享】

业务风险存在于身份验证的各个阶段中,如今企业在面临业务发现问题时,最大的问题就在于对用户行为没有可视性,在无法了解问题全貌的状态下,就难以做出正确的判断。常见使用无埋点的业务领域有互联网金融,航旅,电商等。岂安的无埋点解决方案采用数据旁路内网采集,全量分析,不存在敏感数据外泄风险,保护用户数据隐私,并降低云端稳定性风险。

这些专业饭碗丢得最快,创业者呵呵笑了

在互联网人工智能越来越发达的时代,在不远的将来,哪几种职业,会明显受到机器人的威胁?五年内最佳“钱景”行业有哪些?创业者该如何面对这些问题?

程序员出路在何方,一张图看透

程序员,专业人士也,与瓦工、木匠、发型师、保洁员等类似,不过是社会万千分工之一种,没什么高大上,也没什么矮矬穷,只不过时代大潮中被滚滚洪流裹夹着前进的一群人而已。

IE为什么把火狐和Chrome给打伤了?

2016年6月21日,安全牛发布《2016(上半年)中国网络安全企业50强》,上海岂安信息科技有限公司(公众号:bigsec)作为业务风控领域的代表性企业,入选最具有发展潜力的20家初创企业。岂安作为国内首家专注业务风险控制的服务供应商,通过大数据、安全技术、深度学习等手段为客户业务安全保驾护航。

市面上常见的开源爬虫对比与小型采访【安安课堂笔记】

世界上已经成型的爬虫软件多达上百种,本文对较为知名及常见的开源爬虫软件进行梳理,按开发语言进行汇总。博主认为,对于JAVA开源爬虫,随便找一个用的顺手的就可以。如果业务复杂,拿哪个爬虫来,都是要经过复杂的二次开发,才可以满足需求。另外,文章内附上岂安河马安安对爬虫代表的13问采访,爬虫代表们会告诉大家,如何使用例如岂安这类专业的风控软件或平台可以有效的阻止爬虫的抢滩登陆。

剑桥大学,伦敦有房!跟甘道夫学学B2B公司相亲牌子怎么写

随着网络安全信息数据大规模的增长,应用数据分析技术进行网络安全分析成为业界研究热点,小安在这次小讲堂中带大家用Python工具对风险数据作简单分析,主要是分析蜜罐日志数据,来看看一般大家都使用代理ip干了一些啥事。

剑桥大学,伦敦有房!跟甘道夫学学B2B公司相亲牌子怎么写

随着网络安全信息数据大规模的增长,应用数据分析技术进行网络安全分析成为业界研究热点,小安在这次小讲堂中带大家用Python工具对风险数据作简单分析,主要是分析蜜罐日志数据,来看看一般大家都使用代理ip干了一些啥事。

高考作文上海卷:魔都互联网人这么写

今年高考语文作文题目出炉,想八卦的想吐槽的想摔桌的……咳咳,想观摩学习提高的大家想必已经等不及了。可是,身为魔都互联网人,这份高考上海卷作文该怎么写?

魔兽,一个网红的前世今生【岂安低调分享】

人类圣骑士佛丁所说:“种族并不代表荣耀,我知道有些兽人,他们像最高贵的骑士那样可敬,我还知道有些人类,他们像最残忍的亡灵天灾那样邪恶。”艺术高于生活而源于生活,游戏亦是。你的品行高尚与否和你的种族没有关系。在互联网这个圈子里,几乎每个行业、每家企业,都面临着业务欺诈的风险,这也是绝大多数互联网企业都无法避免却又必须面对和解决的问题。互联网世界也有好人和坏人,有披着羊皮的薅肉羊毛党,亦会有挑剔难搞的真实用户。岂安所做的事情就是要把他们区分开来,让互联网风控更简单。

程序员zhuangbility实用宝典

程序员,专业人士也,与瓦工、木匠、发型师、保洁员等类似,不过是社会万千分工之一种,没什么高大上,也没什么矮矬穷,只不过时代大潮中被滚滚洪流裹夹着前进的一群人而已。如果要你分享一个“程序员装逼”行为,你会……

《美国队长3》的本质,是风控理念谈崩了

超级英雄们在打击犯罪、维护人类安全的同时,又伴随着伤亡的代价,他们一方面是守护者,另一方面又是毁灭者。互联网风控也是一样。岂安科技创始人罗启武认为,做风控最重要的是做到可视化——只有客户知道了正常情况下业务是什么情况,才能知道哪些地方严、哪些地方松,这才是基于业务的风控。风控并不是控得越严越好,需要有一个平衡。而美队和钢铁侠,显然就是因为自由意志VS政府监管的风控谈崩了。

安安小课堂:网络爬虫

爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。”

酒店,你与客户的“婚前五问”保住了吗

风险在几率里始终存在。酒店行业“婚前五问”包含了你重要的商业信息,如果用一些手段就可以轻易获取,将直接导致优质资源与用户快速流失……将恶意爬虫拦在门外,你不能不学会。但与传统金融类风控不同的是,岂安更加关心整个风险事件前端的问题,从最开始用户进入网站的行为进行分析,对于本质上是服务行业主体的酒店来说,更为人性化。

创业公司友谊的小船说翻就翻

程序员:科比,你为何如此成功?科比:你知道洛杉矶每天凌晨四点的样子吗?程序员:知道,那个时候我一般还在和团队讨论产品或制定销售策略?——友谊的小船说翻就翻。

从小飞侠到黑曼巴,科比成王之路不亚于一次伟大的创业

北京时间4月14日10:30,美国斯台普斯中心,湖人对阵爵士,将是科比最后一役。20年NBA生涯,他有太多让人无法忘记的瞬间:全明星扣篮王、率领湖人三连冠、单场12记三分、单场81分…他给很多人的青春留下了难以磨灭的记忆。科比曾被问:如果非要找一种动物来比喻你,你会选择什么动物?科比毫不犹豫地答道:“Black Mamba!”

剑指酒店业的红利猎人,封杀不了的江湖传说

早前新闻报道羊毛党月入几十万,引得许多人唏嘘,其实羊毛党只是一个“古老”群体的分支。身为源头的他们称号更洋气——红利猎人。红利猎人离不开常旅客三体银行、酒店、航空,整个过程不需要任何高深的技术和黑客手段,猎人们靠薅羊毛移民国外,你信吗?本文将展示红利猎人套现实例及防范手段。岂安认为,对于企业而言,重铸对业务风险的认识和重视是非常必要的。

三分钟看懂“刷单”这回事

一般是由买家提供购买费用,帮指定的网店卖家购买商品提高销量和信用度,并填写虚假好评的行为,称之为刷单。刷单跟你和我有什么关系?有。刷单不仅妨害了卖家的利益,对于买家的权益一样产生影响。刷单党是怎么做的?10秒你就清楚了。可以及时防御或提前预防刷单吗?可以!刷单团伙或人的IP地址、手机号的来源无论是地域、号码段、区号都是可以作为判断线索的,但岂安的反欺诈平台做得更为专业。