黑暗世界的搜索引擎 https://fofa.so/ https://www.shodan.io https://www.zoomeye.org 查找設備漏洞
from:http://www.freebuf.com/sectool/121339.html
什麽是 Shodan?
首先,Shodan 是一個搜索引擎,但它與 Google 這種搜索網址的搜索引擎不同,Shodan 是用來搜索網絡空間中在線設備的,你可以通過 Shodan 搜索指定的設備,或者搜索特定類型的設備,其中 Shodan 上最受歡迎的搜索內容是:webcam,linksys,cisco,netgear,SCADA等等。
那麽 Shodan 是怎麽工作的呢?Shodan 通過掃描全網設備並抓取解析各個設備返回的 banner 信息,通過了解這些信息 Shodan 就能得知網絡中哪一種 Web 服務器是最受歡迎的,或是網絡中到底存在多少可匿名登錄的 FTP 服務器。(現在也可以看到shodan也加入了新工具)
基本用法
這裏就像是用 Google 一樣,在主頁的搜索框中輸入想要搜索的內容即可,例如下面我搜索 “SSH”:
上圖的搜索結果包含兩個部分,左側是大量的匯總數據包括:
- Results map – 搜索結果展示地圖
- Top services (Ports) – 使用最多的服務/端口
- Top organizations (ISPs) – 使用最多的組織/ISP
- Top operating systems – 使用最多的操作系統
- Top products (Software name) – 使用最多的產品/軟件名稱
隨後,在中間的主頁面我們可以看到包含如下的搜索結果:
- IP 地址
- 主機名
- ISP
- 該條目的收錄收錄時間
- 該主機位於的國家
- Banner 信息
想要了解每個條目的具體信息,只需要點擊每個條目下方的 details 按鈕即可。此時,URL 會變成這種格式 https://www.shodan.io/host/[IP]
,所以我們也可以通過直接訪問指定的 IP 來查看詳細信息。
上圖中我們可以從頂部在地圖中看到主機的物理地址,從左側了解到主機的相關信息,右側則包含目標主機的端口列表及其詳細信息。
使用搜索過濾
如果像前面單純只使用關鍵字直接進行搜索,搜索結果可能不盡人意,那麽此時我們就需要使用一些特定的命令對搜索結果進行過濾,常見用的過濾命令如下所示:
hostname
:搜索指定的主機或域名,例如hostname:"google"
port
:搜索指定的端口或服務,例如port:"21"
country
:搜索指定的國家,例如country:"CN"
city
:搜索指定的城市,例如city:"Hefei"
org
:搜索指定的組織或公司,例如org:"google"
isp
:搜索指定的ISP供應商,例如isp:"China Telecom"
product
:搜索指定的操作系統/軟件/平臺,例如product:"Apache httpd"
version
:搜索指定的軟件版本,例如version:"1.6.2"
geo
:搜索指定的地理位置,參數為經緯度,例如geo:"31.8639, 117.2808"
before/after
:搜索指定收錄時間前後的數據,格式為dd-mm-yy,例如before:"11-11-15"
net
:搜索指定的IP地址或子網,例如net:"210.45.240.0/24"
搜索實例
查找位於合肥的 Apache 服務器:
apache city:"Hefei"
查找位於國內的 Nginx 服務器:
nginx country:"CN"
查找 GWS(Google Web Server) 服務器:
"Server: gws" hostname:"google"
查找指定網段的華為設備:
huawei net:"61.191.146.0/24"
如上通過在基本關鍵字後增加指定的過濾關鍵字,能快速的幫助發現我們感興趣的內容。當然,還有更快速更有意思的方法,那就是點擊 Shodan 搜索欄右側的 “Explore” 按鈕,就會得到很多別人分享的搜索語法,你問我別人分享的語法有什麽好玩的?那咱們就隨便來看看吧:
咱們隨便選取一個名為“NetSureveillance Web”的用戶分享語法,從下面的描述信息我們基本就能得知這就是一個弱密碼的漏洞,為了方便測試讓我們把語法在增加一個國家的過濾信息,最終語法如下:
Server: uc-httpd 1.0.0 200 OK Country:"CN"
現在讓我們隨便選取一個頁面進去輸入,使用admin賬號和空密碼就能順利進入了:)
其他功能
Shodan 不僅可以查找網絡設備,它還具有其他相當不錯的功能。
Exploits:每次查詢完後,點擊頁面上的 “Exploits” 按鈕,Shodan 就會幫我們查找針對不同平臺、不同類型可利用的 exploits。當然也可以通過直接訪問網址來自行搜索:https://exploits.shodan.io/welcome;
地圖:每次查詢完後,點擊頁面上的 “Maps” 按鈕,Shodan 會將查詢結果可視化的展示在地圖當中;
報表:每次查詢完後,點擊頁面上的 “Create Report” 按鈕,Shodan 就會幫我們生成一份精美的報表,這是天天要寫文檔兄弟的一大好幫手啊;
命令行下使用 Shodan
Shodan
是由官方提供的 Python 庫的,項目位於:https://github.com/achillean/shodan-python
安裝
pip install shodan
或者
git clone https://github.com/achillean/shodan-python.git && cd shodan-python
python setup.py install
安裝完後我們先看下幫助信息:
? ~ shodan -h
Usage: shodan [OPTIONS] COMMAND [ARGS]...
Options:
-h, --help Show this message and exit.
Commands:
alert Manage the network alerts for your account # 管理賬戶的網絡提示
convert Convert the given input data file into a... # 轉換輸入文件
count Returns the number of results for a search # 返回查詢結果數量
download Download search results and save them in a... # 下載查詢結果到文件
honeyscore Check whether the IP is a honeypot or not. # 檢查 IP 是否為蜜罐
host View all available information for an IP... # 顯示一個 IP 所有可用的詳細信息
info Shows general information about your account # 顯示賬戶的一般信息
init Initialize the Shodan command-line # 初始化命令行
myip Print your external IP address # 輸出用戶當前公網IP
parse Extract information out of compressed JSON... # 解析提取壓縮的JSON信息,即使用download下載的數據
scan Scan an IP/ netblock using Shodan. # 使用 Shodan 掃描一個IP或者網段
search Search the Shodan database # 查詢 Shodan 數據庫
stats Provide summary information about a search... # 提供搜索結果的概要信息
stream Stream data in real-time. # 實時顯示流數據
常用示例
init
初始化命令行工具。
? ~ shodan init [API_Key]
Successfully initialized
count
返回查詢的結果數量。
? ~ shodan count microsoft iis 6.0
575862
download
將搜索結果下載到一個文件中,文件中的每一行都是 JSON 格式存儲的目標 banner 信息。默認情況下,該命令只會下載1000條結果,如果想下載更多結果需要增加 --limit
參數。
parse
我們可以使用 parse 來解析之前下載數據,它可以幫助我們過濾出自己感興趣的內容,也可以用來將下載的數據格式從 JSON 轉換成 CSV 等等其他格式,當然更可以用作傳遞給其他處理腳本的管道。例如,我們想將上面下載的數據以CSV格式輸出IP地址、端口號和組織名稱:
? ~ shodan parse --fields ip_str,port,org --separator , microsoft-data.json.gz
host
查看指定主機的相關信息,如地理位置信息,開放端口,甚至是否存在某些漏洞等信息。
search
直接將查詢結果展示在命令行中,默認情況下只顯示IP、端口號、主機名和HTTP數據。當然我們也可以通過使用 –fields 來自定義顯示內容,例如,我們只顯示IP、端口號、組織名稱和主機名:
? ~ shodan search --fields ip_str,port,org,hostnames microsoft iis 6.0
代碼中使用 Shodan 庫
還是使用上一節講到的 shodan
庫,安裝方式這裏不在闡述了。同樣的,在使用 shodan
庫之前需要初始化連接 API,代碼如下:
import shodan
SHODAN_API_KEY = "API_Key"
api = shodan.Shodan(SHODAN_API_KEY)
隨後,我們就可以搜索數據了,示例代碼片如下:
try:
# 搜索 Shodan
results = api.search(‘apache‘)
# 顯示結果
print ‘Results found: %s‘ % results[‘total‘]
for result in results[‘matches‘]:
print result[‘ip_str‘]
except shodan.APIError, e:
print ‘Error: %s‘ % e
這裏 Shodan.search()
會返回類似如下格式的 JSON 數據:
{
‘total‘: 8669969,
‘matches‘: [
{
‘data‘: ‘HTTP/1.0 200 OK\r\nDate: Mon, 08 Nov 2010 05:09:59 GMT\r\nSer...‘,
‘hostnames‘: [‘pl4t1n.de‘],
‘ip‘: 3579573318,
‘ip_str‘: ‘89.110.147.239‘,
‘os‘: ‘FreeBSD 4.4‘,
‘port‘: 80,
‘timestamp‘: ‘2014-01-15T05:49:56.283713‘
},
...
]
}
常用 Shodan 庫函數
shodan.Shodan(key)
:初始化連接APIShodan.count(query, facets=None)
:返回查詢結果數量Shodan.host(ip, history=False)
:返回一個IP的詳細信息Shodan.ports()
:返回Shodan可查詢的端口號Shodan.protocols()
:返回Shodan可查詢的協議Shodan.services()
:返回Shodan可查詢的服務Shodan.queries(page=1, sort=‘timestamp‘, order=‘desc‘)
:查詢其他用戶分享的查詢規則Shodan.scan(ips, force=False)
:使用Shodan進行掃描,ips可以為字符或字典類型Shodan.search(query, page=1, limit=None, offset=None, facets=None, minify=True)
:查詢Shodan數據
至此,本文基本告於段落,買了 Shodan Membership 的各位朋友們可以好好的去 Happy 啦。
zoomeye的簡單使用(很恐怖的搜索引擎)
2017-03-27 11:23Zoomeye:知道創宇的一個搜索引擎
ZoomEye 支持公網設備指紋檢索和 Web 指紋檢索
網站指紋包括應用名、版本、前端框架、後端框架、服務端語言、服務器操作系統、網站容器、內容管理系統和數據庫等。設備指紋包括應用名、版本、開放端口、操作系統、服務名、地理位置等
我們可以利用某一個指紋特點挖掘網絡空間中具有同種類型的網站或者是設備
如我們要尋找關於php的網站我們可以直接輸入php
我們可以看到在右邊還會有webapp,這裏會列出php腳本寫的一些web應用,我們搜索php,同時可以通過點擊左邊的webapp裏面的項來進行搜索,比如搜索phpmyadmin的程序點擊,就可以看到
點開一個可以看到:
我們也可以在左邊搜索設備:比如批量攝像頭比如海康威視的http-baner為DVRDVS-Webs, 直接搜索就可以找出海康威視的攝像頭web管理界面
如果結合弱口令的話很可能進去。恐怖,隱私泄露同時zoomeye也支持一些語法,可以讓我們更精確的探索網絡空間常見的有:App組件名 ver版本port端口os操作系統還可以有類似googl的語法形式,如搜索某網站的子域名可以:site:xx.com更多語法可以去看zoomeye用戶手冊Zoomeye也有自己的api,我們可以調用api來達到自動化的挖漏洞。下邊在來幾個實例:php appedeCMS ver:5.7.48 比如某天某個版本的cms出現了漏洞,你需要去刷一波,這時候你用這個命令就可以找出來這個版本的cms的網站如圖
同理其他的cms也是一樣的方法其他的搜索的話,自己構造好搜索的語法即可,總之一句話灰常強大,刷洞的時候很是需要啊!
三分鐘內找出全網所有“弱雞”設備?這不是魔法而是FOFA
去年年底,南方不少地區出現了 H7N9(禽流感)的疫情,搞得許多地方人心惶惶,連吃個雞顧慮半天。
如果這時有人問我:“有沒有什麽辦法,能快速定位全球所有 H7N9 病毒感染者和易感人群?” 我一定覺得他瘋了 —— 如果真有這樣的辦法,病情可能早就控制住了。
可如果換個問題:“在網絡世界,一個高危危漏洞爆發,就像現實生活中的疾病那樣迅速蔓延,影響成千上萬的設備和網站,有沒有辦法找到這些脆弱的網站和設備,以快速控制危害?”
我會回答:有,而且方法很簡單。
三分鐘找到全球所有“弱雞”設備
2017年1月,一場網絡瘟疫席卷全球互聯網,廣泛使用的 Elastic Search 被曝出安全隱患,攻擊者利用該隱患可以直接遠程刪除受害者的數據。短短一個月,全球至少上萬臺設備遭遇勒索—— 不給錢?先刪庫,後跑路。
然而,在勒索風波剛開始不久,小編()編輯就收到了白帽匯發來的一份《威脅情報預警:Elasticsearch 勒索事件報告》,上面竟清晰展示了受勒索事件影響的設備在全球的分布情況:
- 全球中受影響最多的為美國4380臺,其次是中國第二944臺。法國787臺,愛爾蘭462臺,新加坡418臺。
- 其中,中國受害的有944臺。其中,浙江省受影響最嚴中,有498臺,其次是北京,186臺,上海52臺,湖南43臺,上海42臺。
甚至,連每一波勒索者留下的勒索信息以及被勒索設備的一些詳細情況都一一說明,報告的末尾還附帶了相應的防禦策略。
但更令人驚訝的是,小編得知,這樣一份全球範圍調查、內容詳實的安全報告,三分鐘就能做出來。
一場網絡世界的瘟疫爆發,幾分鐘之內找到全球範圍了可能“感染”的設備,生成一份安全報告進行預警。這究竟是如何做到的?白帽匯COO劉宇告訴小編,這全都得益於他們的“佛法”—— FOFA系統。
FOFA 是什麽?
FOFA,按照官方說明,它是個搜索引擎,但並不是一個普通搜索引擎,起碼不是普通人能用的搜索引擎。
當我們使用谷歌、百度這類常規搜索引擎時,只需要說人話 —— 輸入文字就行,但在 FOFA 搜索引擎裏你卻“不能說人話”,而必須用程序化的語言,否則 FOFA 可能拒絕和你溝通。
【不說“人話”的FOFA搜索引擎】
當然,為了初次見面更愉快, FOFA 搜索引擎配備了長長的語法說明:
【FOFA系統的查詢語法】
當然,FOFA 搜索引擎檢索到的內容並不是平常的文字、照片等內容,而是:
- 服務器
- 數據庫
- 某個網站管理後臺
- 路由器
- 交換機
- 公共ip的打印機
- 網絡攝像頭
- 門禁系統
- Web服務
- ……
正因如此,FOFA 這類搜索引擎又有另一個名字:網絡空間測繪系統。—— 它們就像是現實生活中的衛星地圖那樣,一點點勾勒出公共網絡空間的樣子,每一個網站、每一臺公共環境下的服務器……當一個高危漏洞爆發,FOFA系統便能向衛星定位地址一樣,通過特征迅速找到全網的脆弱設備。
【圖片來自谷歌地球衛星圖】
“支離破碎”的網絡空間
在完美主義者羅永浩的眼中,這是個支離破碎的世界;在FOFA的眼中,網絡空間也是支離破碎的世界。當安全人員需要用FOFA系統尋找某些設備時,他需要用“支離破碎”的語言來檢索。
比如要找“北京所有教育網站可遠程連接的數據庫”,你需要在FOFA引擎中輸入:
- City=Beijing(城市為北京)
- Host=edu.cn(教育網站)
- Port=3306 (MySQL數據庫常用的遠程端口)
對於普通人來說,FOFA搜索引擎的查詢語法或許難以上手,但劉宇卻告訴小編,這正是FOFA系統的一大特點。
劉宇說,所有搜索引擎都會利用非惡意爬蟲來采集服務器和網站的公開數據,FOFA也是如此。當它爬取到的設備和網站信息後,會將數據打散成一個個非常細小的特征,讓使用者可以像拼積木一樣自由組合這些特征,從而有了更大的發揮余地。
【基於特征檢索-亂入的表情包】
劉宇打了個比方,當人們去買電腦,不了解電腦配置的人一般傾向於買整機,而極客、發燒友則傾向於單獨買來處理器、主板、顯卡……然後自己攢機。FOFA就是這樣,它將采集到的所有信息用非常細粒度的形式呈現給使用者,讓他們自己來自定義檢索規則。——極客們都喜歡自己動手、愛折騰,而FOFA就是給極客們用的。
“撒旦”和“佛法”
其實這類“黑客專用”的搜索引擎並非 FOFA 首創,早在 2009 年的世界黑客大會 DEFCON 上,一個名為“Shodan”的網絡空間搜索引擎一經公布就掀起了軒然大波。當時人們驚奇地發現,透過一塊小小的電腦屏幕,竟能瞬間找到世界另一端的脆弱設備、攝像頭、打印機……
於是,一種全新的黑客攻擊手法誕生了:
原本攻擊者需要利用漏洞掃描器對一個個服務器、網站進行掃描,如今只需要利用 Shodan 搜索引擎,瞬間就能找到成千上萬存在同樣漏洞的設備,然後在極短的時間內拿下他們。
步槍變成了機關槍,單體攻擊變成了AOE(群體傷害),世界範圍的地圖炮。
很快,Shodan 在輿論導向之下成了邪惡的代名詞,媒體驚呼它為“世界上最可怕的搜索引擎”、“黑暗搜索引擎”,甚至連中文名都被譯作“撒旦”。
FOFA系統的創造者,白帽匯CEO趙武告訴小編:
Shodan出現之後,許多攻擊者不再挨個掃網站漏洞,那樣效率太低,他們更喜歡“打時間差”—— 當國外曝出一個高危漏洞後,他們迅速利用 Shodan 找到大量存在漏洞的服務,然後在企業反應過來之前就完成滲透。
在趙武看來,既然攻擊者利用網絡空間搜索引擎來發現脆弱設備,那麽防禦者同樣能利用它來發現脆弱設備並及時修補,這便促成了FOFA系統的誕生。就像古代行軍打仗,地圖就在那裏,哪一方能運用得當,哪一方就在更容易取得優勢。在網絡世界裏,白帽匯的趙武希望FOFA能成為幫助人們避開網絡攻擊的那張“地圖”。
“ 目前現實情況有些糟糕。”趙武說,“對於許多稍大一些的企業,他們可能有數以千計的設備、服務。具體哪裏有臺什麽樣的服務器,裝了哪些服務,開了什麽端口,這些網絡空間資產通常很難梳理清楚。有時一個大企業修補一個漏洞就花好幾天,就是因為對自己的網絡空間資產梳理不清楚導致的。”
世界總是趨於混亂,就像我們電腦裏的文件系統一樣,當文件夾層級越來越多,即使文件結構再清晰,也會經常找不到想要的文件。這時就該換個思路,需要通過做標簽,搜索的方式來查找。而 FOFA 就可以充當這麽一個資產檢索和梳理的角色。
當一個漏洞爆發時,在一個企業中,如果防禦者能最短的時間內檢索到自己的脆弱設備並保護起來,就能最大限度地讓自己免遭攻擊;在全網範圍內,如果能盡快找到這些脆弱設備並聯合國家相關安全機構作出預警,就能最快地控制住“網絡疫情”,這便是趙武希望完成的事情。
如今每次出現大的漏洞情況,白帽匯總會第一時間出具相關的漏洞情況報道,提醒企業進行安全防範。而他們也告訴小編編輯,FOFA企業版已經積累了數千條規則,幫助不少公司提高了安全防範能力。
在趙武看來,Shodan 之所以被稱之為“最可怕的搜索引擎”,一部分原因在於太多人缺乏網絡安全意識,讓許多私有的服務器、數據庫、攝像頭被毫不設防地暴露在四通八達的互聯網中。
一個搜索引擎本不具有任何破壞力,它的意義在於為網絡世界建立了新的連接方式,讓原本混沌的網絡世界更透明、陽光,這種陽光、透明最初坑讓沒準備好的人感到不適,但最終它將推動整個行業的正向發展。
黑暗世界的搜索引擎 https://fofa.so/ https://www.shodan.io https://www.zoomeye.org 查找設備漏洞