Day: 8 January 2019

八大系统监控工具 1. top 这是一个被预装在许多 UNIX 系统中的小工具。当你想要查看在系统中运行的进程或线程时：top 是一个很好的工具。你可以对这些进程以不同的方式进行排序，默认是以 CPU 进行排序的。 2. htop[1] htop 实质上是 top 的一个增强版本。它更容易对进程排序。它看起来上更容易理解，并且已经内建了许多通用操作。它也是完全交互式的。 3. atop[2] atop 和 top，htop 非常相似，它也能监控所有进程，但不同于 top 和 htop 的是，它可以按日记录进程的日志供以后分析。它也能显示所有进程的资源消耗。它还会高亮显示已经达到临界负载的资源。 4. apachetop[3] apachetop 会监控 apache 网络服务器的整体性能。它主要是基于 mytop。它会显示当前的读取进程、写入进程的数量以及请求进程的总数。 5. ftptop[4] ftptop 给你提供了当前所有连接到 ftp 服务器的基本信息，如会话总数，正在上传和下载的客户端数量以及客户端是谁。 6. mytop[5] mytop 是一个很简洁的工具，用于监控 mysql 的线程和性能。它能让你实时查看数据库以及正在处理哪些查询。 7. powertop[6] powertop 可以帮助你诊断与电量消耗和电源管理相关的问题。它也可以帮你进行电源管理设置，以实现对你服务器最有效的配置。你可以使用 tab 键切换选项卡。 8. iotop[7] iotop 用于检查 I/O …

Read more “8个Linux监控工具”

WAScan是一款开源工具，该工具采用的是基于黑盒的漏洞挖掘方法，这也就意味着研究人员无需对Web应用程序的源代码进行研究，它可以直接被当作成一种模糊测试工具来使用，并且能够对目标Web应用的页面进行扫描，提取页面链接和表单，执行脚本攻击，发送Payload或寻找错误消息等等。 可跨平台使用 功能介绍 指纹识别 -内容管理系统 (CMS) -> 6 -Web框架 -> 22 -Cookies/Headers -语言 -> 9 -操作系统 (OS) -> 7 -服务器 -> ALL -Web应用程序防火墙 (WAF) -> 50+ 攻击方式 -Bash命令注入 -SQL盲注 -缓冲区溢出 -SQL注入 -XSS跨站脚本 -HTML注入 -LDAP注入 -本地文件包含 -执行操作系统命令 -PHP代码注入 -服务器端注入 -XPath注入 -XML外部实体攻击 代码审计 -Apache状态页面 -开放重定向 -PHPInfo -Robots.txt -XST 暴力破解攻击 -管理员控制面板 -常见后门 -常见备份目录 -常见备份文件 -常见目录 -常见文件 -隐藏参数 数据收集 …

Read more “WAScan基于黑盒的漏洞挖掘方法”

前言 这篇文章基于传智播客的2016年的gitbook资料和视频资料，同时也融合了2018年的视频和课件资料中的一些内容，即以2016年的资料为蓝本，2018年的资料为辅助编写的。 一、Linux介绍 1、操作系统的发展 2、Linux的不同版本 <1>Linux内核版本：内核(kernel)是系统的心脏，是运行程序和管理像磁盘和打印机等硬件设备的核心程序，它提供了一个在裸设备与应用程序间的抽象层。 <2>Linux发行版本：也被叫做 GNU， 通常包含了包括桌面环境、办公套件、媒体播放器、数据库等应用软件。 二、文件和目录 1、Windows和Linux文件系统区别 在 windows 平台下，打开“计算机”，我们看到的是一个个的驱动器盘符： 每个驱动器都有自己的根目录结构，这样形成了多个树并列的情形，如图所示： 在 Linux 下，我们是看不到这些驱动器盘符，我们看到的是文件夹（目录）： 就比如我们用的Ubuntu没有盘符这个概念，只有一个根目录/，所有文件都在它下面： /：根目录，一般根目录下只存放目录，在Linux下有且只有一个根目录。所有的东西都是从这里开始。当你在终端里输入“/home”，你其实是在告诉电脑，先从/（根目录）开始，再进入到home目录。 /bin: /usr/bin: 可执行二进制文件的目录，如常用的命令ls、tar、mv、cat等。 /boot：放置linux系统启动时用到的一些文件，如Linux的内核文件：/boot/vmlinuz，系统引导管理器：/boot/grub。 /dev：存放linux系统下的设备文件，访问该目录下某个文件，相当于访问某个设备，常用的是挂载光驱 mount /dev/cdrom /mnt。 /etc：系统配置文件存放的目录，不建议在此目录下存放可执行文件，重要的配置文件有 /etc/inittab、/etc/fstab、/etc/init.d、/etc/X11、/etc/sysconfig、/etc/xinetd.d。 /home：系统默认的用户家目录，新增用户账号时，用户的家目录都存放在此目录下，表示当前用户的家目录，edu 表示用户 edu 的家目录。 /lib: /usr/lib: /usr/local/lib：系统使用的函数库的目录，程序在执行过程中，需要调用一些额外的参数时需要函数库的协助。 /lost+fount：系统异常产生错误时，会将一些遗失的片段放置于此目录下。 /mnt: /media：光盘默认挂载点，通常光盘挂载于 /mnt/cdrom 下，也不一定，可以选择任意位置进行挂载。 /opt：给主机额外安装软件所摆放的目录。 /proc：此目录的数据都在内存中，如系统核心，外部设备，网络状态，由于数据都存放于内存中，所以不占用磁盘空间，比较重要的目录有 /proc/cpuinfo、/proc/interrupts、/proc/dma、/proc/ioports、/proc/net/* 等。 /root：系统管理员root的家目录。 /sbin: /usr/sbin: /usr/local/sbin：放置系统管理员使用的可执行命令，如fdisk、shutdown、mount 等。与 /bin 不同的是，这几个目录是给系统管理员 root使用的命令，一般用户只能”查看”而不能设置和使用。 /tmp：一般用户或正在执行的程序临时存放文件的目录，任何人都可以访问，重要数据不可放置在此目录下。 …

Read more “Linux基础(Python篇)(转)”

来源：https://www.cnblogs.com/try-better-tomorrow/p/4987620.html#3755259 Mysql分库分表方案 1.为什么要分表： 当一张表的数据达到几千万时，你查询一次所花的时间会变多，如果有联合查询的话，我想有可能会死在那儿了。分表的目的就在于此，减小数据库的负担，缩短查询时间。 mysql中有一种机制是表锁定和行锁定，是为了保证数据的完整性。表锁定表示你们都不能对这张表进行操作，必须等我对表操作完才行。行锁定也一样，别的sql必须等我对这条数据操作完了，才能对这条数据进行操作。 2. mysql proxy：amoeba 做mysql集群,利用amoeba。 从上层的java程序来讲，不需要知道主服务器和从服务器的来源，即主从数据库服务器对于上层来讲是透明的。可以通过amoeba来配置。 3.大数据量并且访问频繁的表，将其分为若干个表。 比如对于某网站平台的数据库表-公司表，数据量很大，这种能预估出来的大数据量表，我们就事先分出个N个表，这个N是多少，根据实际情况而定。 某网站现在的数据量至多是5000万条，可以设计每张表容纳的数据量是500万条，也就是拆分成10张表。 那么如何判断某张表的数据是否容量已满呢？可以在程序段对于要新增数据的表，在插入前先做统计表记录数量的操作，当<500万条数据，就直接插入，当已经到达阀值，可以在程序段新创建数据库表（或者已经事先创建好），再执行插入操作。 4. 利用merge存储引擎来实现分表 如果要把已有的大数据量表分开比较痛苦，最痛苦的事就是改代码，因为程序里面的sql语句已经写好了。用merge存储引擎来实现分表, 这种方法比较适合。 举例子： 数据库架构 1、简单的MySQL主从复制: MySQL的主从复制解决了数据库的读写分离，并很好的提升了读的性能，其图如下： 其主从复制的过程如下图所示： 但是，主从复制也带来其他一系列性能瓶颈问题： 写入无法扩展 写入无法缓存 复制延时 锁表率上升 表变大，缓存率下降 那问题产生总得解决的，这就产生下面的优化方案，一起来看看。 2、MySQL垂直分区 如果把业务切割得足够独立，那把不同业务的数据放到不同的数据库服务器将是一个不错的方案，而且万一其中一个业务崩溃了也不会影响其他业务的正常进行，并且也起到了负载分流的作用，大大提升了数据库的吞吐能力。经过垂直分区后的数据库架构图如下： 然而，尽管业务之间已经足够独立了，但是有些业务之间或多或少总会有点联系，如用户，基本上都会和每个业务相关联，况且这种分区方式，也不能解决单张表数据量暴涨的问题，因此为何不试试水平分割呢？ 3、MySQL水平分片（Sharding） 这是一个非常好的思路，将用户按一定规则（按id哈希）分组，并把该组用户的数据存储到一个数据库分片中，即一个sharding，这样随着用户数量的增加，只要简单地配置一台服务器即可，原理图如下： 如何来确定某个用户所在的shard呢，可以建一张用户和shard对应的数据表，每次请求先从这张表找用户的shard id，再从对应shard中查询相关数据，如下图所示： 单库单表 单库单表是最常见的数据库设计，例如，有一张用户(user)表放在数据库db中，所有的用户都可以在db库中的user表中查到。 单库多表 随着用户数量的增加，user表的数据量会越来越大，当数据量达到一定程度的时候对user表的查询会渐渐的变慢，从而影响整个DB的性能。如果使用mysql, 还有一个更严重的问题是，当需要添加一列的时候，mysql会锁表，期间所有的读写操作只能等待。 可以通过某种方式将user进行水平的切分，产生两个表结构完全一样的user_0000,user_0001等表，user_0000 + user_0001 + …的数据刚好是一份完整的数据。 多库多表 随着数据量增加也许单台DB的存储空间不够，随着查询量的增加单台数据库服务器已经没办法支撑。这个时候可以再对数据库进行水平区分。 分库分表规则 设计表的时候需要确定此表按照什么样的规则进行分库分表。例如，当有新用户时，程序得确定将此用户信息添加到哪个表中；同理，当登录的时候我们得通过用户的账号找到数据库中对应的记录，所有的这些都需要按照某一规则进行。 路由 通过分库分表规则查找到对应的表和库的过程。如分库分表的规则是user_id mod 4的方式，当用户新注册了一个账号，账号id的123,我们可以通过id …

Read more “Mysql分库分表”

开源的深度学习神经网络正步入成熟，而现在有许多框架具备为个性化方案提供先进的机器学习和人工智能的能力。那么如何决定哪个开源框架最适合你呢？本文试图通过对比度学习各大框架的优缺点，从而为各位读者提供一个参考。你最看好哪个深度学习框架呢？ 现在的许多机器学习框架都可以在图像识别、手写识别、视频识别、语音识别、目标识别和自然语言处理等许多领域大展身手，但却并没有一个完美的深度神经网络能解决你的所有业务问题。所以，本文希望下面的图表和讲解能够提供直观方法，帮助读者解决业务问题。 下图总结了在 GitHub 中最受欢迎的开源深度学习框架排名，该排名是基于各大框架在 GitHub 里的收藏数，这个数据由 Mitch De Felice 在 2017 年 5 月初完成。 TensorFlow 地址：https://www.tensorflow.org/ TensorFlow 最开始是由谷歌一个称之为 DistBelief V2 的库发展而来，它是一个公司内部的深度神经网络库，隶属于谷歌大脑项目。有一些人认为 TensorFlow 是由 Theano 彻底重构而来。 谷歌开源 TensorFlow 后，立即吸引了一大批开发爱好者。TensorFlow 可以提供一系列的能力，例如图像识别、手写识别、语音识别、预测以及自然语言处理等。2015 年 11 月 9 号，TensorFlow 在 Apache 2.0 协议下开源发布。 TensorFlow 1.0 版本已于 2017 年 2 月 15 日发布，这个版本是之前 8 个版本的优化改进版，其致力于解决 Tensorflow 之前遇到的一系列问题以及完善一些核心能力。TensorFlow 获得成功的因素有： TensorFlow 提供了如下工具：TensorFlow …

Read more “9个深度学习框架简介(2018)”

折线图和散点图常用且实用，但是并不能满足我们的作图需求。 这次我们会尝试更多常见的统计图形，比如条形图、直方图、饼图等，我们的目标是掌握工作学习过程中使用最频繁的图形技能。 1. 柱状图（条形图） —— bar() / barh() 柱状图又叫条形图，用于绘制定性（分类）数据的分布特征，比如不同国家的GDP、不同年龄段的平均体重等。这次，我们以一组学生的身高来演示它的作图方法。 import matplotlib.pyplot as plt # 生成数据 x = [1, 2, 3, 4, 5, 6, 7, 8] y = [176, 165, 188, 150, 170, 180, 172, 160] # 画柱状图 plt.bar(x, y, align = ‘center’, color = ‘c’, tick_label = [‘q’, ‘a’, ‘c’, ‘e’, ‘r’, ‘j’, ‘b’, ‘p’], …

Read more “Python数据可视化(几个基本方法)”

Redis是一个非常火的非关系型数据库，火到什么程度呢？只要是一个互联网公司都会使用到。Redis相关的问题可以说是面试必问的,下面我从个人当面试官的经验，总结几个必须要掌握的知识点。 介绍：Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库，并提供多种语言的 API的非关系型数据库。 传统数据库遵循 ACID 规则。而 Nosql（Not Only SQL 的缩写，是对不同于传统的关系型数据库的数据库管理系统的统称） 一般为分布式而分布式一般遵循 CAP 定理。 String字符串： 格式: set key value string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象 。 string类型是Redis最基本的数据类型，一个键最大能存储512MB。 Hash（哈希） 格式: hmset name key1 value1 key2 value2 Redis hash 是一个键值(key=>value)对集合。 Redis hash是一个string类型的field和value的映射表，hash特别适合用于存储对象。 List（列表） Redis 列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（右边） 格式: lpush name value 在 key 对应 list 的头部添加字符串元素 格式: rpush …

Read more “Redis原理简介”