Day: 8 April 2019

NumPy的主要特点： ndarray，快速，节省空间的多维数组，提供数组化的算术运算和高级的广播功能。 使用标准数学函数对整个数组的数据进行快速运算，而不需要编写循环。 读取/写入磁盘上的阵列数据和操作存储器映像文件的工具。 线性代数，随机数生成，以及傅里叶变换的能力。 集成C、C++、Fortran代码的工具。 在使用 NumPy 之前，需要先导入该模块： import numpy as np 01 生成ndarray的几种方式 NumPy封装了一个新的数据类型ndarray，一个多维数组对象，该对象封装了许多常用的数学运算函数，方便我们进行数据处理以及数据分析，那么如何生成ndarray呢？这里我们介绍生成ndarray的几种方式，如从已有数据中创建；利用random创建；创建特殊多维数组；使用arange函数等。 1. 从已有数据中创建 直接对python的基础数据类型（如列表、元组等）进行转换来生成ndarray。 （1）将列表转换成ndarray import numpy as nplist1 = [3.14,2.17,0,1,2]nd1 = np.array(list1)print(nd1)print(type(nd1)) 打印结果： [ 3.14 2.17 0. 1. 2. ]<class ‘numpy.ndarray’> （2）嵌套列表可以转换成多维ndarray import numpy as nplist2 = [[3.14,2.17,0,1,2],[1,2,3,4,5]]nd2 = np.array(list2)print(nd2)print(type(nd2)) 打印结果： [[ 3.14 2.17 0. 1. 2. ] [ …

Read more “numpy的一些操作”

本文介绍了在使用阿里云 Redis 的开发规范，从键值设计、命令使用、客户端使用、相关工具等方面进行说明，通过本文的介绍可以减少使用 Redis 过程带来的问题。 一、键值设计 1. key 名设计 (1)【建议】: 可读性和可管理性 以业务名 (或数据库名) 为前缀 (防止 key 冲突)，用冒号分隔，比如业务名: 表名:id ugc:video:1 (2)【建议】：简洁性 保证语义的前提下，控制 key 的长度，当 key 较多时，内存占用也不容忽视，例如： user:{uid}:friends:messages:{mid}简化为 u:{uid}:fr:m:{mid}。 (3)【强制】：不要包含特殊字符 反例：包含空格、换行、单双引号以及其他转义字符 详细解析 2. value 设计 (1)【强制】：拒绝 bigkey(防止网卡流量、慢查询) string 类型控制在 10KB 以内，hash、list、set、zset 元素个数不要超过 5000。 反例：一个包含 200 万个元素的 list。 非字符串的 bigkey，不要使用 del 删除，使用 hscan、sscan、zscan 方式渐进式删除，同时要注意防止 bigkey 过期时间自动删除问题 (例如一个 200 …

Read more “Redis 开发规范”

本文来自著名的计算机视觉教学网站「pyimagesearch」，文章作者为 Adrian Rosebrock。在本文中，Adrian 将就「如何鉴别图像/视频中的真实人脸和伪造人脸」这一问题进行深入的分析，并介绍使用基于 OpenCV 的模型进行活体检测的具体方法。雷锋网 AI 科技评论编译如下。雷锋网 本教程将教授你如何使用 OpenCV 进行活性检测。通过学习，你将能够在人脸识别系统中创建一个可以发现伪造人脸并执行反人脸欺骗的活体检测器。 在过去一年中，本文作者已经写过了多篇人脸识别教程，包括： 基于 OpenCV 的人脸识别（阅读地址：https://www.pyimagesearch.com/2018/09/24/opencv-face-recognition/） 使用 dlib、Python 和深度学习进行人脸识别（阅读地址：https://www.pyimagesearch.com/2018/06/18/face-recognition-with-opencv-python-and-deep-learning/） 基于树莓派的人脸识别（阅读地址：https://www.pyimagesearch.com/2018/06/25/raspberry-pi-face-recognition/） 然而，在我收到的一些邮件以及这些关于人脸识别的博文的评论中，我经常被问到的一个问题是： 我如何才能区分真人脸和伪造人脸？ 试想一下，如果一个居心叵测的用户有目的地试图骗过你的人脸识别系统，会发生什么？ 他们可能会尝试向执行人脸识别的摄像头展示一张照片或一段视频（例如在本文顶部的图像）。而这张照片和视频中的人并不是这些用户本人。 在这种情况下，人脸识别系统完全有可能把展示到它们面前的图片识别为正确的人脸，这最终会导致未授权的用户躲过人脸识别系统！ 如何才能区分出这些「伪造的」与「真实的/合法的」人脸呢？ 如何才能将反人脸欺骗算法应用到你的人脸识别应用中呢？ 答案是使用 OpenCV 进行活体检测，这正是本文要讨论的内容。 那么，如何将基于 OpenCV 的活体检测功能结合到你自己的人脸识别系统中呢？本文接下来将给出答案。 基于 OpenCV 的活体检测 在本教程的第一部分，我们将对活体检测进行讨论，包括「活体检测是什么？」以及「为什么我们需要活体检测来改进人脸识别系统？」 在这里，我们首先回顾一下接下来将用来进行活体检测的数据集，内容包括： 如何构建用于活体检测的数据集 我们的真假人脸的图像示例 我们还将回顾针对活体检测器项目的项目结构。 我们将训练一个能够区分真人脸和伪造人脸的深度神经网络，来创建活体检测器。 因此，我们需要： 1. 构建图像数据集 2. 实现一个能够进行活体检测的卷积神经网络（我们称之为「LivenessNet」） 3. 训练活体检测网络 4. 创建一个能够使用我们训练好的活体检测模型并将其应用于实时视频的 Python+OpenCV 的脚本 接下来，让我们进入正题吧！ 什么是活体检测， 我们为什么需要它？ …

Read more “OpenCV 活体检测”

在很多时候，我们的数据来源形式是多种多样的，有时候数据（或表格）也会呈现在图片中。那么，我们如何来获取图片中的有用数据呢？当一张图片中含有表格数据的时候，我们可以用OpenCV识别表格中的直线，然后再用OCR技术识别其中的文字。 本文仅作为如何识别图片中的表格的一个例子，希望能给读者一些启示。笔者用到的工具如下： opencv pyteressact numpy 我们用opencv来识别表格中的直线，用pyteressact来识别单元格文字，用numpy做数值处理。我们要识别的示例图片（AI.png）如下： 示例图片 AI.png 我们分以下几步进行识别： 识别表格中的横线，即分割记录（每一行）的横线； 识别表格中的竖线，即每个列的分割线； 找到数据所在的单元格； 利用pyteressact识别单元格的文字。 识别表格中的横线 识别横线之前，我们先创建一个图片表格识别类（ImageTableOCR），如下： # -*- coding: utf-8 -*-import cv2import pytesseractimport numpy as npclass ImageTableOCR(object): # 初始化 def __init__(self, ImagePath): # 读取图片 self.image = cv2.imread(ImagePath, 1) # 把图片转换为灰度模式 self.gray = cv2.cvtColor(self.image, cv2.COLOR_BGR2GRAY) 其中self.image为RGB模块的图片，self.gray为灰度模式的图片。 接下来，我们识别图片中的分割两条记录的横线。注意到，相邻两条记录之间的颜色是不一致的，因此，我们利用图片灰度化后，每一行像素的平均值的差的绝对值来作为相邻两条记录的分割线，这样就能检测出分割两条记录的横线了。具体的识别横线的函数的Python代码如下：（接以上代码） # 横向直线检测 def HorizontalLineDetect(self): # 图像二值化 ret, thresh1 = cv2.threshold(self.gray, …

Read more “OpenCV&OCR简单识别图片表格数据”

有时需要测试一下某个功能的并发性能，又不要想借助于其他工具，索性就自己的开发语言，来一个并发请求就最方便了。 java中模拟并发请求，自然是很方便的，只要多开几个线程，发起请求就好了。但是，这种请求，一般会存在启动的先后顺序了，算不得真正的同时并发！怎么样才能做到真正的同时并发呢？是本文想说的点，java中提供了闭锁 CountDownLatch, 刚好就用来做这种事就最合适了。 只需要： 开启n个线程，加一个闭锁，开启所有线程； 待所有线程都准备好后，按下开启按钮，就可以真正的发起并发请求了。 package com.test;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.io.OutputStream;import java.net.HttpURLConnection;import java.net.MalformedURLException;import java.net.URL;import java.util.concurrent.CountDownLatch;public class LatchTest { public static void main(String[] args) throws InterruptedException { Runnable taskTemp = new Runnable() {　　　　　　　// 注意，此处是非线程安全的，留坑 private int iCounter; @Override public void run() { for(int i = 0; i < 10; i++) { // 发起请求// …

Read more “Java 模拟同时并发请求”