1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 3.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： select id from t where num=0 4.应尽量避免在 where 子句中使用 or 来连接条件，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num=10 or num=20 可以这样查询： select id from t where num=10 union all select id from t …
一、概述 1.MongoDB是什么？用一句话总结 MongoDB是一款为web应用程序和互联网基础设施设计的数据库管理系统。没错MongoDB就是数据库，是NoSQL类型的数据库 2.为什么要使用MongoDB？ （1）MongoDB提出的是文档、集合的概念，使用BSON（类JSON）作为其数据模型结构，其结构是面向对象的而不是二维表，存储一个用户在MongoDB中是这样子的。 { username:’123′, password:’123′ } 使用这样的数据模型，使得MongoDB能在生产环境中提供高读写的能力，吞吐量较于mysql等SQL数据库大大增强。 （2）易伸缩，自动故障转移。易伸缩指的是提供了分片能力，能对数据集进行分片，数据的存储压力分摊给多台服务器。自动故障转移是副本集的概念，MongoDB能检测主节点是否存活，当失活时能自动提升从节点为主节点，达到故障转移。 （3）数据模型因为是面向对象的，所以可以表示丰富的、有层级的数据结构，比如博客系统中能把“评论”直接怼到“文章“的文档中，而不必像myqsl一样创建三张表来描述这样的关系。 3.主要特性 （1）文档数据类型 SQL类型的数据库是正规化的，可以通过主键或者外键的约束保证数据的完整性与唯一性，所以SQL类型的数据库常用于对数据完整性较高的系统。MongoDB在这一方面是不如SQL类型的数据库，且MongoDB没有固定的Schema，正因为MongoDB少了一些这样的约束条件，可以让数据的存储数据结构更灵活，存储速度更加快。 （2）即时查询能力 MongoDB保留了关系型数据库即时查询的能力，保留了索引（底层是基于B tree）的能力。这一点汲取了关系型数据库的优点，相比于同类型的NoSQL redis 并没有上述的能力。 （3）复制能力 MongoDB自身提供了副本集能将数据分布在多台机器上实现冗余，目的是可以提供自动故障转移、扩展读能力。 （4）速度与持久性 MongoDB的驱动实现一个写入语义 fire and forget ，即通过驱动调用写入时，可以立即得到返回得到成功的结果（即使是报错），这样让写入的速度更加快，当然会有一定的不安全性，完全依赖网络。 MongoDB提供了Journaling日志的概念，实际上像mysql的bin-log日志，当需要插入的时候会先往日志里面写入记录，再完成实际的数据操作，这样如果出现停电，进程突然中断的情况，可以保障数据不会错误，可以通过修复功能读取Journaling日志进行修复。 （5）数据扩展 MongoDB使用分片技术对数据进行扩展，MongoDB能自动分片、自动转移分片里面的数据块，让每一个服务器里面存储的数据都是一样大小。 4.C/S服务模型 MongoDB核心服务器主要是通过mongod程序启动的，而且在启动时不需对MongoDB使用的内存进行配置，因为其设计哲学是内存管理最好是交给操作系统，缺少内存配置是MongoDB的设计亮点，另外，还可通过mongos路由服务器使用分片功能。 MongoDB的主要客户端是可以交互的js shell 通过mongo启动，使用js shell能使用js直接与MongoDB进行交流，像使用sql语句查询mysql数据一样使用js语法查询MongoDB的数据，另外还提供了各种语言的驱动包，方便各种语言的接入。 5.完善的命令行工具 mongodump和mongorestore,备份和恢复数据库的标准工具。输出BSON格式，迁移数据库。 mongoexport和mongoimport，用来导入导出JSON、CSV和TSV数据，数据需要支持多格式时有用。mongoimport还能用与大数据集的初始导入，但是在导入前顺便还要注意一下，为了能充分利用好mongoDB通常需要对数据模型做一些调整。 mongosniff,网络嗅探工具，用来观察发送到数据库的操作。基本就是把网络上传输的BSON转换为易于人们阅读的shell语句。 因此，可以总结得到，MongoDB结合键值存储和关系数据库的最好特性。因为简单，所以数据极快，而且相对容易伸缩还提供复杂查询机制的数据库。MongoDB需要跑在64位的服务器上面，且最好单独部署，因为是数据库，所以也需要对其进行热备、冷备处理。 二、进入MongoDB shell 因为本篇文章不是API手册，所有这里对shell的使用也是基础的介绍什么功能可以用什么语句，主要是为了展示使用MongoDB shell的方便性，如果需要知道具体的MongoDB shell语法可以查阅官方文档。 1.切换数据库 use dba 创建数据库并不是必须的操作，数据库与集合只有在第一次插入文档时才会被创建，与对数据的动态处理方式是一致的。简化并加速开发过程，而且有利于动态分配命名空间。如果担心数据库或集合被意外创建，可以开启严格模式 2.插入语法 db.users.insert({username:”smith”}) db.users.save({username:”smith”}) 区别 …
运维工程师是从一个呆逼进化为苦逼再成长为牛逼的过程，前提在于你要能忍能干能拼，还要具有敏锐的嗅觉感知前方潮流变化。如：今年大数据，人工智能比较火……(相对表示就是 Python 比较火） 初级篇 linux运维人员常用工具拓扑详见： 1.rsync工具 很多地方经常会用到rsync工具，实施几台服务器的同步效果。我们公司就是使用这个工具完成服务器的游戏的服务端和客户端同步，有几个文章例子： rsync 强化技术（手动修改端口开启防火墙的情况下）并且通过脚本只同步需要的服务器 inotify+rsync+mutt+msmtp 实现linux文件或者目录自动更新并且实现发邮件给管理员 2.网络服务 服务有很多种，每间公司都会用到不同的，但基础的服务肯定要掌握，如FTP、DNS、SAMBA、邮件, 这几个大概学一下就行，LAMP和LNMP是必须要熟练，我所指的不是光会搭建，而是要很熟悉里面的相当配置才行，因为公司最关键的绝对是Web服务器，所以Nginx和Apache要熟悉，特别是Nginx一定要很熟悉才行，至少有些公司还会用Tomcat，这个也最好学一下。 其实网络服务方面不用太担心，一般公司的环境都已经搭建好，就算有新服务器或让你整改，公司会有相应的文档让你参照来弄，不会让你乱来的，但至少相关的配置一定要学熟，而且肯定是编译安装多，那些模块要熟悉一下他的作用，特别是PHP那些模块。 这面2点只是基础，也是必要条件，不能说是工具，以下才是真正的要掌握的工具。 Samba文件共享服务（共享脚本 让你工作更轻松） Linux web服务安装apache 思路 （源码编译，自己定义服务） FTP（持虚拟用户，并且每个虚拟用户可以具有独立的属性配置） linux 下构建DHCP服务器 3.脚本语言 Shell脚本和另一个脚本语言，Shell是运维人员必须具备的，不懂这个连入职都不行，至少也要写出一些系统管理脚本，最简单也得写个监控CPU，内存比率的脚本吧，这是最最最基本了，别以为会写那些猜数字和计算什么数的，这些没什么作用，只作学习意义，写系统脚本才是最有意义，而另一个脚本语言是可选的，一般是3P，即Python、Perl和PHP，PHP就不需要考虑了，除非你要做开发，我个人建议学Python会比较好，难实现自动化运维，Perl是文本处理很强大，反正这两个学一个就行了。 Shell（一） 入门到复杂 自己做的各种脚本实例与解释 Shell（二）入门到复杂 脚本实例（计算器） 4.sed和awk工具 这两个工具必须要掌握，同时还要掌握正则表达式，这个就痛苦了，正则是最难学的表达式，但结合到sed和awk中会很强大，在处理文本内容和过滤Web内容时十分有用，不过在学Shell的同时一般会经常结合用到的，所以学第3点就会顺便学第4点。 sed 简明教程https://coolshell.cn/articles/9104.html 5.文本处理命令 sort 、tr、cut、paste、uniq、tee等必学，也是结合第3点脚本语言时一并学习的。 6.数据库 首选MySQL，别问我为什么不学SQL Server和Oracle，因为Linux用得最多绝对是MySQL，增删改查必学，特别要学熟查，其它方面可能不太需要，因为运维人员使用最多还是查，哪些优化和开发语句不会让你弄的。 MySQL（手动编译详细思路，以及增删改查、授权、备份还原） 7.防火墙 防火墙也算是个难点，说难不难，说易不易，最重要弄懂规则，如果学过CCNA的朋友可能会比较好学，因为iptables也有NAT表，原理是一样的，而FILTER表用得最多，反正不学就肯定不合格。 防火墙（一）主机型防火墙 防火墙（二）SNAT和DNAT 8.监控工具 我个人建议，最好学这3个：Cacti，Nagios，Zabbix，企业用得最多应该是Nagios和 Zabbix，反正都学吧，但Nagios会有点难，因为会涉及到用脚本写自动监控，那个地方很难。 CentOS 6.2+Nginx+Nagios，手机短信和QQ邮箱提醒 服务器集中检测Cacti 9.集群和热备 …
2015 年 6 月，OpenCV 3.0 发布。时隔三年半，OpenCV 4.0 终于发布。至此，OpenCV 已经走过了近 18 个年头。 OpenCV 是英特尔开源的跨平台计算机视觉库。也就是说，它是一套包含从图像预处理到预训练模型调用等大量视觉 API 的库，并可以处理图像识别、目标检测、图像分割和行人再识别等主流视觉任务。OpenCV 最显著的特点是它提供了整套流程的工具，因此我们根本不需要了解各个模型的原理就能一个个 API 构建视觉任务。 OpenCV 使用 BSD 许可证，因此对研究和商业用途均免费。它具备 C++、Python 和 Java 接口，支持 Windows、Linux、Mac OS、iOS 和 Android 系统。OpenCV 旨在提高计算效率，专注于实时应用。它使用优化的 C/C++写成，能够利用多核处理。 此外，在 OpenCL 的加持下，OpenCV 可以利用底层异构计算平台的硬件加速。它的 GitHub 页面中有一个「open_model_zoo」资源库，包含了大量的计算机视觉预训练模型，并提供下载方法，有助于加速开发和产品部署过程。OpenCV 应用广泛，目前在用户社区有 4.7 万用户，下载量约为 1400 万。 可以说 OpenCV 是 CV 领域开发者与研究者的必备工具包，Mask-RCNN 等很多开源项目都依赖于这个工具包。现在距离 3.0 版本的发布已经过去三年多，近日 OpenCV 4.0 final …
一幅来自 TurnOff.us 的漫画 “InSide The Linux Kernel” 。 TurnOff.us 是一个极客漫画网站，作者Daniel Stori 画了一些非常有趣的关于编程语言、Web、云计算、Linux 相关的漫画。 在开始，我们先来看看这幅漫画的全貌！ 这幅漫画是以一个房子的侧方刨面图来绘画的。使用这样的一个房子来代表 Linux 内核。 地基 作为一个房子，最重要的莫过于其地基，在这个图片里，我们也从最下面的地基开始看起： 地基 地基（底层）由一排排的文件柜组成，井然有序，文件柜里放置着“文件”——电脑中的文件。左上角，有一只胸前挂着 421 号牌的小企鹅，它表示着 PID（进程 ID Process ID ） 为 421 的进程，它正在查看文件柜中的文件，这代表系统中正有一个进程在访问文件系统。在右下角有一只小狗，它是看门狗 watchdog ，这代表对文件系统的监控。 一层（地面层） 一层（地面层） 看完了地基，接下来我们来看地基上面的一层，都有哪些东西。 进程表 在这一层，最引人瞩目的莫过于中间的一块垫子，众多小企鹅在围着着桌子坐着。这个垫子的区域代表进程表。 左上角有一个小企鹅，站着，仿佛在说些什么这显然是一位家长式的人物，不过看起来周围坐的那些小企鹅不是很听话——你看有好多走神、自顾自聊天的——“喂喂，说你呢，哇塞娃（171），转过身来”。它代表着 Linux 内核中的初始化（init）进程，也就是我们常说的 PID 为 1 的进程。桌子上坐的小企鹅都在等待状态 wait 中，等待工作任务。 看门狗 瞧瞧，垫子（进程表）两旁有两只小狗，它会监控小企鹅的状态（监控进程），当小企鹅们不听话时，它就会汪汪地叫喊起来。 http 进程 在这层的左侧，有一只号牌为 1341 的小企鹅，守在门口，门上写着 80，说明这个 …
django：一个开放源代码的Web应用框架，由Python写成，采用了MVC的软件设计模式。可以用pip安装。 uWSGI：一个Web服务器，它实现了WSGI协议、uwsgi、http等协议。Nginx中HttpUwsgiModule的作用是与uWSGI服务器进行交换。 nginx：具备优秀的静态内容处理能力，然后将动态内容转发给uWSGI服务器，这样可以达到很好的客户端响应。 环境安装 uWSGI的安装：（强烈建议用pip安装，因为pip带了隔离环境virtualenv） source ../env/bin/activate pip install uwsgi 或者： wget http://projects.unbit.it/downloads/uwsgi-1.4.4.tar.gz tar -zxvf uwsgi-1.4.4.tar.gz cd uwsgi-1.4.4 make cp uwsgi /usr/bin nginx的安装： 一般用源码编译安装Nginx，都需要先安装pcre\zlib等外部支持程序，然后配置安装nginx时候这些外部程序的源码的路径，这样Nginx在每次启动的时候，就会动态地去加载这些东西了。后面是否对这些外部程序单独编译，自己决定，不编译影响不大。 安装PCRE外部程序 cd /root/install wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.30.tar.gz tar -zxvf pcre-8.30.tar.gz cd pcre-8.30 ./configure –prefix=/usr/local/pcre8.30 make && make install 安装OPENSSL外部程序 cd /root/install wget http://www.openssl.org/source/openssl-1.0.0a.tar.gz tar -zxvf openssl-1.0.0a.tar.gz cd openssl-1.0.0a ./config –prefix=/usr/local/openssl1.0.0 make …