1. 程式人生 > >DevOps之服務手冊

DevOps之服務手冊

流量 graylog gate ejs 分布式文件系 druid 存儲 流量監測 eclipse

嘮叨話

關於德語噢屁事的知識點,僅提供精華匯總,具體知識點細節,參考教程網址,如需幫助,請留言

《DevOps服務手冊(Manual)》

《IT運維自動化》
IT管理系統(ITMS):人員,流程,技術,資源。
IT知識層次(ITKS):了解,理解,熟悉,掌握,精通。

《IT資源目標化》
1、設施和設備
2、系統和虛擬化
3、存儲和數據庫
4、容器和中間件
5、網絡和安全

《IT管理流程化》
1、規劃、設計(Planning、Design)
2、開發、部署、管理(Development、Deployment、Management)
3、運維(Operation and Maintenance)
4、監控、日誌(Monitoring、Log)
5、培訓、手冊(Training、Manual)

綜合性技術資料網站:http://www.websoft9.com/support/docs

《IT資源目標化》

《設備(Device)》
PC(筆記本Laptop、臺式機Desktop)、平板Tablet、移動機MOB、掌上機PDA、FC(一體機AIO、工控機IPC)、TV影視機。
負載均衡器Load Balancer、防火墻Firewall、路由器Router、交換機Switch、網關Gateway、網橋Bridge、集線器Hub、適配器Adapter。
服務端Server(服務器Server、服務群ServerCluster)、客戶端Client(工作機Worker、工作站WorkStation)。

《系統(System)》
主機Host(Instance)、磁盤Disk(Volume)、鏡像Mirror(Image)

《存儲(Storage)》
文件系統(File System,FS)
HDFS(Hadoop),GFS(Google),Lustre,FastDFS(Alibaba),TFS(Taobao);MogileFS,MooseFS;Ceph,FreeNAS,NFS,pNFS,AFS(AndrewFS),OpenAFS;
分布式文件系統(Distributed File System,DFS)
Lustre,Ceph,HadoopFS,GoogleFS,TaobaoFS,FastDFS,MogileFS,MooseFS,GlusterFS,GridFS(MongoDB);

存儲系統(Storage System,SS)
Block塊:DAS(Direct Attached Storage,直連式存儲)、SAN(Storage Area Network,存儲區域網絡)
File文件:NFS(Network File System,網絡文件系統)、NAS(Network Attached Storage,網絡附屬存儲)
Object對象:KV(Cache,緩存)
分布式存儲系統(Distributed Storage System,DSS)
Redis,Memcache,Couchbase;Memcachedb(Sina),Tera(Baidu),Tair(Taobao),LevelDB,ForestDB,SequoiaDB,LiteDB;

《數據庫(Database)》
SQL:Oracle,MySql,SQLServer,PostgreSql,DB2,SQLite,Access,Sybase,Teradata;
NoSQL:Mongodb,Couchdb(Apache);Cassandra,HBase,Riak;Neo4j;MemSQL,eXtremeDB;
數據管理服務:Data Management Service,DMS。
數據傳輸服務:Data Transmission Service,DTS。
時序數據庫:InfluxDB、RRDtool、Graphite、OpenTsdb(Hbase)、Kairosdb(Cassandra)、TimeScaleDB(PostgreSQL)、Beringei(Facebook)。

《容器(Container)》
容器引擎:Docker、Rocket/RKT、OpenVZ/Odin、LXC(軟件容器)、LXD(系統容器)、Solaris Containers。
容器服務商:Amazon、Google、Azure、Stackdock、Tutum、Joyent、Jelastic、GiantSwarm。
容器編制編排:Docker Swarm、Google Kubernetes、Mesos(Marathon、Chronos)、CoreOS Fleet、RancherOS Rancher。
容器操作系統:CoreOS、RancherOS、Project Atomic、Project Photon。
容器鏡像:Docker Registry、CoreOS Enterprise Registry、VMware Habor Registry。
容器監控:Docker Stats、cAdvisor、DataDog、Scout、Sensu、Sysdig。

容器集群網絡:Weave(WeaveNet、WeaveRun、WeaveScope)、Kubernetes、Flannel、Pipework、SocketPlane。
容器存儲器:單機VPS、多機(塊存儲SAN、文件存儲NAS、對象存儲OSS)
容器存儲方案:Portworx(PX-Enterprise)、ClusterHQ(Flocker(Swarm-Kubernets-Mesosphere))

《中間件(Middleware)》
DNS:Bind、DNSPod、PowerDNS、MyDNS。
Proxy:Nginx、Squid、Varnish、Privoxy、Tinyproxy。
Web:IIS、Apache、Lighttpd、Nginx。
Java:Jetty|Tomcat(WebServer+Servlet)、JBoss(Servlet+EJB)、Resin(Caucho)、GlassFish(J2EE)、Weblogic(Oracle)、Websphere(IBM)。
Python:Python WSGI Server (Meinheld + Gunicorn + Flask)。
FTP:FileZilla、Serv-U、VsFtpd、Cyberduck。
Mail:Postfix、Dovecot、DBMail。
Media:Red5、Live555、EasyDarwin。

集群:Hadoop。分布式Distributed、集中式Centralized。
緩存:Redis、Memcache。單機、雙機、多機。瀏覽器、網關、代理、頁面、內存、硬盤、數據庫。
日誌:Splunk、Sumo Logic、LogStash、GrayLog、Loggly、PaperTrails、Fluentd。
隊列:JMS、MsMQ、Kafka、RabbitMQ、ZeroMQ、ActiveMQ、RocketMQ、DotNetMQ。

資源管理框架:Yanr(Apache),Borg(Google),Corona(Facebook),Mesos(Twitter),Disconf(Baidu),Diamond(Alibaba);
數據計算:MapReduce(離線-磁盤),Spark(離線-內存),Storm(實時-非流式)。
數據查詢:Hive,Shark(Spark),Impala(Google Dremel、Apache Drill),Stinger(Hortonworks Tez、Google Pregel),Presto(FaceBook)。
數據庫中間件:Sharding-JDBC、Atlas、MyCAT、Druid、ProxySQL。
數據日誌:ELK、EFK、Flume、Scribe。

搜索分詞:Lucene、Solr、Elasticsearch;Sphinx;Jcseg、IKAnalyzer、Paoding、PanGu、MMSeg4j、LibMMSeg;LuceneNet、HubbleDotNet。
日誌分析:Splunk:Index、Search、Alert、Report、Share、Secure。

《網絡(Network)》
SDN、VPC、VPN、NET、CDN。

《IT管理流程化》

《DevOps Automatic》
DevOps(Development、QA、Operations)

運維(Operation and Maintenance)

《運維環境(Environment)》
System、Virtualization、Mirror、Container、Application、Middleware。
Java、Net、PHP、Python、Ruby、Go、NodeJS。

《運維腳本(Scripting)》
Scripting:Batch|Shell、Perl、Python|Jython、Ruby|JRuby、Lua、PHP、JavaScript。
Windows:Batch(Dos-Cmd)
Linux|Unix:Shell(Sed,Awk;Grep;)

《運維自動化(Automatic)》
安裝部署(Puppet、Chef、Ansible、SaltStack)
虛擬管理(Open vSwitch2.3.0)
項目管理(Jira、Redmine3.2.1、Ruby2.2.5、Rails4.2)
代碼托管(Git 2.7.4、Subversion 1.9.4)
代碼質量(SonarQube)
瑕疵管理(BugFree3.0.4)
知識管理(PMBok)
持續管理(Jenkins1.595)
監控平臺(設備監控Zabbix,系統監控WAF,網絡監控Smokeping,業務監控API)

《系統安裝》
PXE(preboot execute environment,預啟動執行環境)
Windows:WDS(Windows Deployment Services)
Linux:Cobbler、Spacewalk、OpenQRM(Qlusters Company)、FAI(Debian+PXE)、Kickstart(PXE+DHCP+TFTP)

《部署配置》
Linux:Python(SaltStack、Ansible)
Windows:Ruby(Puppet、Chef)
Juju(Ubuntu)、Func(Fedora)、ControlTier、CFEngine
Go(Docker、Rocket/RKT)、OpenVZ/Odin、LXC(軟件容器)、LXD(系統容器)、Solaris Containers

《虛擬機》
Open vSwitch(OVS虛擬交換機)
OpenFlow網絡由OpenFlowswitch、FlowVisor、Controller組成,實現SDN(Software Defined Network,軟件自定義網絡)。

《項目工具》
版本控制(例如:分布式GIT、集中式SVN、分布式HG、集中式TFS。)
本地式:SCCS(1972)、 PVCS(1985)
客戶機-服務器式:CVS(1986), IBM-ClearCase(1992), Microsoft-VSS(1994), Perforce(1995), SVN(2000)
分布式:Git(2005), Mercurial(2005)

代碼托管(例如:GitHub、Bitbucket、GitLab、Coding。)
Git(Windows)GitHub.Com
Mercurial(Hg)(Windows、Linux、Mac)Bitbucket.Org
Darcs (Darcs AdvancedRevision Control System)
Team Foundation Server (Tfs)
Bazaar (Bzr)

《持續工具》
持續集成(Continuous Integration,CI)、持續交付(Continuous Delivery,CD)、持續部署Continuous Deployment。
Jenkins(MIT)、Buildbot(GPL)、Eclipse Hudson(MIT)、ThoughtWorks Go|GoCD(Apache)、Strider(BSD)。
CircleCI、TravisCI、Buildkite、Jetbrains Teamcity、Atlassian Bamboo、Fabric8、Codeship。

《監控工具》
Nagios(中大規模 網絡監視工具) Nagios + Cacti
Zabbix(中小規模 Web界面網絡監視工具) Zabbix + Puppet或Saltstack
Cacti(網絡流量監測工具)、Smokeping(網絡性能監測工具)、Piwik(流量分析工具)
Ganglia(集群監控工具)、OpenNMS(網絡管理工具)、Hyperic HQ(網絡管理工具)、Zenoss Core(網絡管理工具)

采集數據(Telegraf或Collectd)-> 存儲數據(InfluxDB) -> 顯示數據(Grafana)
Grafana + InfluxDB + [Cadvisor|Heapster|Jmeter|JMXtrans|Metrics]
TICK技術棧(Telegraf數據采集,InfluxDB數據存儲,Chronograf數據顯示,Kapacitor數據處理)

監控(Monitoring):New Relic、Nagios、Icinga、Ganglia、Cacti、Pingdom。
警告(Alerting):PagerDuty。
趨勢(Trending):Graphite。

《構建工具》
CMake(自動化構建工具)如:Unix 的 Makefile 或 Windows Visual C++ 的 projects/workspaces。
Fastlane(iOS和Android 自動化構建工具)
JavaJVM構建工具:過去(Make、GnuMake),現在(Ant、Maven、Gradle)。
JavasCript構建工具:過去(Grunt),現在(Gulp)。
基於Lua構建工具:XMake(http://xmake.io/#/zh/)
基於Python構建工具:Buildout。

DRBD(Distributed Replicated Block Device,分布式復制塊設備)
DRBD + MySQL + Corosync
CMDB(Configuration Management Database,配置管理數據庫)
CMDBuild、Kettle、MySQL Workbench、Mongodb Studio、Redis Studio

《編制編排工具》
編制(Orchestration):Web服務編制(WSO),為業務流程而進行Web服務合成。
編排(Choreography):Web服務編排(WSC),為業務協作而進行Web服務合成。

《集群資源調度架構》
http://geek.csdn.net/news/detail/74234
中央式(Monolithic)
Google Borg、Google Kubernetes、Docker Swarm。
Aliyun Fuxi、BaiduCloud Matrix、TencentCloud Torca。
雙層式(Two-level)
Apache Mesos、Apache Hadoop Yarn。
共享狀態式(Shared-state)
Google Omega、Microsoft Apollo、Hashicorp Nomad。

《Docker集群工具》
簇群(Cluster)節點(Node)容器(Container)服務(Service=Proxy+Pod)
鏡像(Mirror)倉庫(Repository)
推(Push)拉(Pull)

《團隊協作(Team Coordination)》
文檔:Google Docs、Office 365、Quip、Shimo、Evernote
項目:Teambition、Worktile、Tower、Trello、Asana、Jira
溝通:Slack、Hipchat、Bearychat、零信
辦公:Yammer、Eteams、Tita、釘釘、明道、企明島、今目標

《運維框架(Framework)》
瀏覽器(餅幹Cookie、會話Session)
DNS(HTTP-DNS)、ISP(地域互聯、寬帶網絡、流量調度)、CDN(GCDN)
交換機Switch、路由器Router、防火墻Firewall、負載均衡器Load Balancer
反向代理緩存、系統運行環境、業務模塊(API)、通信協議(RPC、Restful)
MSA微服務架構、SOA面向服務架構、分布式服務架構

DevOps之服務手冊