Pinned Repositories
-RFID-beta2
项目总结报告-基于RFID图书馆室内导航beta2
AATOM
AATOM - An Agent-based Airport Terminal Operations Simulator
Anatomize
This repository is an open source python implement for Anatomy. I implement this algorithm in python for further study.
aol_query_log_analysis
This project aims to analyze different aspects of the AOL query log
Apriori_based_Anonymization
This repository is an python implement of Apriori_based_Anonymization for set-valued dataset anonymization.
arx
ARX is a comprehensive open source data anonymization tool that has been designed from the ground up to provide high scalability and ease of use. It supports risk-based anonymization, methods for analyzing data quality and re-identification risks, as well as privacy models, such as k-anonymity, l-diversity, t-closeness and differential privacy
Basic_Mondrian
The raw mondrian is designed for numerical attributes. When comes to categorical attributes, Mondrian needs to transform categorical attributes to numerical ones. This transformations is not good for some applications. In 2006, LeFevre proposed basic Mondrian, which support both categorical and numerical attributes. This repository is an implementation for basic Mondrian.
DifferentialPrivacy
Project investigating adding noise to large data sets to achieve differential privacy
loggrove
Loggrove是对本地、远程日志文件进行 分页阅读、实时阅读、关键词匹配、统计、监控、钉钉告警、Highcharts图表展示 的 Web 平台服务,并包含 用户认证、LDAP认证、操作审计 等基础服务。
Mondrian_L_Diversity
Mondrian for L-diveristy. It's not available now.
myd1's Repositories
myd1/AATOM
AATOM - An Agent-based Airport Terminal Operations Simulator
myd1/loggrove
Loggrove是对本地、远程日志文件进行 分页阅读、实时阅读、关键词匹配、统计、监控、钉钉告警、Highcharts图表展示 的 Web 平台服务,并包含 用户认证、LDAP认证、操作审计 等基础服务。
myd1/-Python-
在生活中,日志文件无处不在,但是在实际工作中出了采用NOTEPAD++进行日志查找以外,还有一种更加简单的方法就是之间将需要的关键字日志进行提取的功能。该代码暂时实现功能点
myd1/AntSpider
1000万豆瓣电影/评论/名人/评分数据采集源码分享(内含千万电影数据集,可下载)
myd1/Background_manage_system
Background_manage_system
myd1/bbs
巡云轻论坛系统采用JAVA+MYSQL架构,自适应手机端和电脑端,界面简洁,性能高效。后台数据库备份/还原、全站指定目录打包、一键自动升级等功能使维护简单方便。系统拥有强大的模板管理功能,布局版块支持设置输出条件,让前端页面展示方便快捷。
myd1/Climate_Modeling_prediction
Climate_Modeling_prediction
myd1/CppStudy
C/C++学习笔记
myd1/Data-analysis-algorithms
myd1/Data-Analysis-and-Machine-Learning-Projects
Repository of teaching materials, code, and data for my data analysis and machine learning projects.
myd1/funNLP
中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇情感值、停用词、反动词表、暴恐词表、繁简体转换、英文模拟中文发音、汪峰歌词生成器、职业名称词库、同义词库、反义词库、否定词库、汽车品牌词库、汽车零件词库、连续英文切割、各种中文词向量、公司名字大全、古诗词库、IT词库、财经词库、成语词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库、中文聊天语料、中文谣言数据、百度中文问答数据集、句子相似度匹配算法集合、bert资源、文本生成&摘要相关工具、cocoNLP信息抽取工具、国内电话号码正则匹配、清华大学XLORE:中英文跨语言百科知识图谱、清华大学人工智能技术系列报告、自然语言生成、NLU太难了系列、自动对联数据及机器人、用户名黑名单列表、罪名法务名词及分类模型、微信公众号语料、cs224n深度学习自然语言处理课程、中文手写汉字识别、中文自然语言处理 语料/数据集、变量命名神器、分词语料库+代码、任务型对话英文数据集、ASR 语音数据集 + 基于深度学习的中文语音识别系统、笑声检测器、Microsoft多语言数字/单位/如日期时间识别包、中华新华字典数据库及api(包括常用歇后语、成语、词语和汉字)、文档图谱自动生成、SpaCy 中文模型、Common Voice语音识别数据集新版、神经网络关系抽取、基于bert的命名实体识别、关键词(Keyphrase)抽取包pke、基于医疗领域知识图谱的问答系统、基于依存句法与语义角色标注的事件三元组抽取、依存句法分析4万句高质量标注数据、cnocr:用来做中文OCR的Python3包、中文人物关系知识图谱项目、中文nlp竞赛项目及代码汇总、中文字符数据、speech-aligner: 从“人声语音”及其“语言文本”产生音素级别时间对齐标注的工具、AmpliGraph: 知识图谱表示学习(Python)库:知识图谱概念链接预测、Scattertext 文本可视化(python)、语言/知识表示工具:BERT & ERNIE、中文对比英文自然语言处理NLP的区别综述、Synonyms中文近义词工具包、HarvestText领域自适应文本挖掘工具(新词发现-情感分析-实体链接等)、word2word:(Python)方便易用的多语言词-词对集:62种语言/3,564个多语言对、语音识别语料生成工具:从具有音频/字幕的在线视频创建自动语音识别(ASR)语料库、构建医疗实体识别的模型(包含词典和语料标注)、单文档非监督的关键词抽取、Kashgari中使用gpt-2语言模型、开源的金融投资数据提取工具、文本自动摘要库TextTeaser: 仅支持英文、人民日报语料处理工具集、一些关于自然语言的基本模型、基于14W歌曲知识库的问答尝试--功能包括歌词接龙and已知歌词找歌曲以及歌曲歌手歌词三角关系的问答、基于Siamese bilstm模型的相似句子判定模型并提供训练数据集和测试数据集、用Transformer编解码模型实现的根据Hacker News文章标题自动生成评论、用BERT进行序列标记和文本分类的模板代码、LitBank:NLP数据集——支持自然语言处理和计算人文学科任务的100部带标记英文小说语料、百度开源的基准信息抽取系统、虚假新闻数据集、Facebook: LAMA语言模型分析,提供Transformer-XL/BERT/ELMo/GPT预训练语言模型的统一访问接口、CommonsenseQA:面向常识的英文QA挑战、中文知识图谱资料、数据及工具、各大公司内部里大牛分享的技术文档 PDF 或者 PPT、自然语言生成SQL语句(英文)、中文NLP数据增强(EDA)工具、英文NLP数据增强工具 、基于医药知识图谱的智能问答系统、京东商品知识图谱、基于mongodb存储的军事领域知识图谱问答项目、基于远监督的中文关系抽取、语音情感分析、中文ULMFiT-情感分析-文本分类-语料及模型、一个拍照做题程序、世界各国大规模人名库、一个利用有趣中文语料库 qingyun 训练出来的中文聊天机器人、中文聊天机器人seqGAN、省市区镇行政区划数据带拼音标注、教育行业新闻语料库包含自动文摘功能、开放了对话机器人-知识图谱-语义理解-自然语言处理工具及数据、中文知识图谱:基于百度百科中文页面-抽取三元组信息-构建中文知识图谱、masr: 中文语音识别-提供预训练模型-高识别率、Python音频数据增广库、中文全词覆盖BERT及两份阅读理解数据、ConvLab:开源多域端到端对话系统平台、中文自然语言处理数据集、基于最新版本rasa搭建的对话系统、基于TensorFlow和BERT的管道式实体及关系抽取、一个小型的证券知识图谱/知识库、复盘所有NLP比赛的TOP方案、OpenCLaP:多领域开源中文预训练语言模型仓库、中文自然语言处理向量合集、基于金融-司法领域(兼有闲聊性质)的聊天机器人、g2pC:基于上下文的汉语读音自动标记模块、Zincbase 知识图谱构建工具包、诗歌质量评价/细粒度情感诗歌语料库。
myd1/Java
27天成为Java大神
myd1/loglizer
A log analysis toolkit for automated anomaly detection
myd1/OB-WSPES
A Uniform Evaluation System for Obfuscation-based Web Search Privacy
myd1/opentracing-python
OpenTracing API for Python
myd1/pattern
Web mining module for Python, with tools for scraping, natural language processing, machine learning, network analysis and visualization.
myd1/Project-management
项目管理的复习资料
myd1/Python_Apply_GaoDeAPI
python调用高德API返回城市的经纬度数据
myd1/qsuits-exec-go
qsuits 工具 go 语言代理执行工具
myd1/SaPlat
社会稳定风险评估系统
myd1/SGX-hardware
This is a list of hardware which is supports Intel SGX - Software Guard Extensions.
myd1/software-testing-interview-question
这是一个关于软件测试面试题目的列表,收集了关于测试理论,自动化测试,性能测试以及其他一些软件测试相关的面试题目。
myd1/SoftwareEngineerExam
软考资料, 收集于网络。目前包括:系统架构师、项目管理师、软件设计师备考资料
myd1/Spyder_code_python
This project is about Spyder by using python.include tieba wechat,QQ,email,phone
myd1/SystemIntegrationProjectManagementEngineer
我的系统集成项目管理工程师 - 思维导图及相关复习资料
myd1/text_clustering
文本聚类
myd1/TOP250movie_douban
TOP250豆瓣电影短评:Scrapy 爬虫+数据清理/分析+构建中文文本情感分析模型
myd1/TopicCluster
A simple documentary topic analysis implement based on traditional K-means and LDA which can achieve a not-bad result. 基于Kmeans与Lda模型的多文档主题聚类,输入多篇文档,输出每个主题的关键词与相应文本,可用于主题发现与热点分析等应用,如历时话题建模,评论画像等。
myd1/TrackMeNot
An artware browser add-on to protect privacy in web-search. By issuing randomized queries to common search-engines, TrackMeNot obfuscates your search profile(s) and registers your discontent with surreptitious tracking.
myd1/UItestframework
UItestframework项目目前具有以下功能: 1,对webdriver进行了第二次的简单封装,使用更加方便public / common / pyselenium.py (ps:这个是在虫师的pyse基础加了打印日志功能,参考:https ://github.com/defnngj/pyse) 2,可以对excel表进行数据读取,完成数据驱动:public / common / datainfo.py 3,具有打印日志的功能,打印在控制台和文件中:public /common/log.py,日志保存在report / log /目录下 4,读取配置文件(.ini文件):public / common / readconfig.py 5,具有发邮件的功能:public / common / sendmail.py 6,生成测试报告:html测试报告的路径:report / testreport /目录下 7,使用了PageObject模式来编写测试脚本 整个项目的目录结构: ├─config配置文件的目录 ││config.ini存放配置文件 │ │globalparam.py重要的全局参数,如日志,报告路径的配置等 展示│展示│的__init__.py 展示│展示│ 展示│ ├─data数据测试 展示│├─formaldata#环境正式数据测试 展示│└ TESTDATA#测试环境的数据 │searKey.xlsx │ ├─public的公共库文件 ││的__init__.py ││ │├─common的封装公共方法 │││basepage.py │││datainfo.py │││log.py │││mytest的。 PY │││publicfunction.py │││pyselenium.py │││pyselenium20161107.py │││readconfig.py │││sendmail.py │││的__init__.py │││ ││ │├─pages使用pageobject模式编写测试脚本,存放页目录的 展示│展示│展示│baiduIndexPage.py 展示│展示│展示│的__init__.py 展示│ ├─report报告扩展测试 展示│├─image目录应用说明教学 展示│├─log目录日志 展示│展示│2016-11-07.log 展示│展示│ 展示│└ ─testreporthtml测试报告目录 │TestResult2016-11-07_16_15_51.html │ └─testcase测试用例存放 │test_baidu.py 使用说明: 安装响应的库:画中画安装xlrd,硒,configparser 1,在的config.ini中配置项目路径:project_path 2,测试数据放在数据目录下面 3,使用pageobject,写页页面,在测试用例里面调用放在公共/页目录下 4,在测试用例目录下面,编写测试用例,可以分模块编写,建相应的目录 5,执行运行的.py,就可以执行所有的测试用例 6,在报告/日志里面查看日志 7,在报告/ testreport里面查看HTML报告扩展测试 关于pyselenium的使用: 该PY文件是根据虫师的pyse改的,加了一个日志,自己根据需要的加了几个函数 可以参考虫师的pyse,github上地址:HTTPS://github.com/defnngj/pyse 虫师的博客园地址:HTTPS://github.com/defnngj/pyse 导入PySlenium文件 导入PySelenium 1,启动浏览器: 启动谷歌浏览器 dr = PySelenium.PySelenium('chrom') 启动远程浏览器比如使用网格施行分布式执行 dr = PySelenium.PySelenium(RChrome','127.0.0.1:8080')2 ,在地址栏输入网址: dr.open('http://www.baidu.com “) 3,窗口最大化 dr.max_window() 4,设置浏览器的窗口的大小 dr.set_window(800500) 如图5所示,不清除文本框的内容直接输入值(比如说:进行文件上传时,上传文件的路径,如果清除就会报错): dr.type('id-> su','小石头测试仪') 6,先清除文本框的内容,然后再输入值(用得很多): dr.clear_type(' name-> su','虫师') 7,直接点击元素 dr.click('css - > #kw ')8,右键点击元素: dr.right_click('id-> kw') 9,将鼠标移动到一个元素上 dr.move_to_element('clas-> btn1.btn-green.btn-search') 10,双击元素 dr.double_click(“id-> kw”) 11,将一个元素拖拽到另外一个元素上 dr.drag_and_drop(”ID-> KW1' , 'ID - > KW2') 12,根据连接的文字来点击(<a href="http://www.baidu.com">百度</a>) dr.click_text('百度') 13,关闭窗口,驱动程序 dr.quit() 14,执行js 脚本dr.js('script') 15,获取元素的属性 dr.get_attribute(“id-> su”,“href”) 16,获取元素的文本信息文本 dr.get_text('id-> su') 17,返回当前页面的标题 dr.get_title() 18,返回当前页面的url dr.get_url() 20,进入帧 dr.switch_to_frame('id-> kw') 21,退出帧 dr.switch_to_frame_out( ) 22,判断元素是否存在 dr.element_exist( 'ID->千瓦') 23,截图 dr.take_screenshot( 'FILE_PATH') 24,进入最新的表 dr.into_new_window() 25,输入内容并且回车 博士。type_and_enter('id-> kw') 26,使用js来点击某个元素 dr.js_click('id-> kw') 27,返回原生的webdriver,进行个性化需求 dr.origin_driver()