Nhận tập tài liệu mẫu siêng nghiệp, rất có thể mở rộng và tin cậy để đào tạo các ứng dụng Chatbot, AI đối thoại và chăm lo sức khỏe để đào tạo quy mô ML của bạn
Chúng tôi giải quyết tất cả những loại trao giấy phép dữ liệu hoàn toàn có thể là văn bản, âm thanh, clip hoặc hình ảnh. Các tập tài liệu mẫu sống trên bao hàm các cuộc chat chit giữa con bạn với bot, tập dữ liệu huấn luyện và giảng dạy Chatbot, tập tài liệu AI hội thoại, tập dữ liệu miêu tả của chưng sĩ, ghi chú lâm sàng của chưng sĩ, tập tài liệu hội thoại y khoa,Bộ dữ liệu phiên âm y tế, Bộ tài liệu hội thoại bác bỏ sĩ-bệnh nhân, v.v.
Bạn đang xem: Bộ dữ liệu chatbot tiếng việt
Không thể tra cứu thấy phần đa gì bạn đang tìm kiếm? Tập tài liệu mới có sẵn sẽ được tích lũy trên toàn bộ các các loại dữ liệu, ví dụ như văn bản, âm thanh, hình hình ảnh và video. Tương tác với cửa hàng chúng tôi hôm nay.
lựa chọn Quốc Gia
Afghanistan
ARGENTINAÚcÁo
Bahamas
Bahrain
BANGLADESHBelarus
Nước Bỉ
Bhutan
Bolivia
Botswana
Brazil
Vương quốc Bru-nây
Bulgaria
Campuchia
Canada
Chile
Trung Quốc
Colombia
Congo, cùng hòa Dân chủ
Croatia
Cộng Hòa Séc
Đan mạch
Cộng hòa Dominica
Ai Cập
Estonia
Ethiopia
Phần Lan
Nước pháp
Georgia
Germany
Ghana
Hy lạp
Hồng Kông
Hungary
IcelandẤn Độ
Indonesia
Iran
Iraq
Ireland
Israel
Italy
Jamaica
Nhật Bản
Jordan
Kenya
Kuwait
Lebanon
Lesotho
Liberia
Libya
Madagascar
Malawi
Malaysia
Maldives
Mauritius
Mexico
Mông Cổ
Morocco
Mozambique
Myanmar
Nepal
Nước Hà Lan
New Zealand
Nigeria
Bắc Triều Tiên
Na Uy
Oman
Pakistan
Paraguay
Phi-líp-pin
Ba Lan
Bồ Đào Nha
Qatar
Romania
NgaẢ Rập Saudi
Singapore
Slovakia
Somalia
Nam Phi
Hàn Quốc
Tây Ban Nha
Sri Lanka Thụy Điển
Thụy sĩ
Đài Loan
Tanzania
Thái Lan
Thổ Nhĩ Kỳuganda
Ukrainacác Tiểu vương quốc Ả Rập Thống Nhất
Vương quốc Anh
Mỹ
Venezuela
Việt Nam
Yemen
Zambiazimbabwe
Nhiều loại Khác quốc gia
Các vụ việc cần giải quyết
Thiết kế hệ thống
Bây giờ họ sẽ từng bước tiến hành hệ thống của chính bản thân mình nhé. Có lẽ bước trước tiên chúng ta cần phải làm đó là thiết kế khối hệ thống tổng quan để rất có thể hiểu được flow của ứng dụng. Quy mô chung của khối hệ thống như trong hình sau:
Tiếp theo họ sẽ tiến hành xây dựng từng yếu tắc một nhé.
Crawler thông tin dịch bệnh
Như đang nói sinh sống phía trên họ cần phải đã đạt được dữ liệu update một cách nhanh lẹ nhất. Điều này được tiến hành bằng cách tự động hóa lấy dữ liệu mới nhất được cập nhật trên github. Dữ liệu được sử dụng update trong vòng 12h đề xuất mình sẽ áp dụng cache để cache lại những dữ liệu trong tầm 1h trước đó. Mục đích là để đỡ mất công phát hành DB lưu trữ và cập nhật ý mà. Chúng ta xử lý vấn đề này bằng demo viện cachetools cụ thể như sau:
import requestsimport csvfrom cachetools import cached, TTLCache"""Base URL for fetching data."""base_url = "https://raw.githubusercontent.com/CSSEGISand
Data/2019-n
Co
V/master/csse_covid_19_data/csse_covid_19_time_series/time_series_19-covid-%s.csv";
cached(cache=TTLCache(maxsize=1024, ttl=3600))def get_data(category): """ Retrieves the data for the provided type. """ # Adhere to lớn category naming standard. Category = category.lower().capitalize(); # Request the data request = requests.get(base_url % category) text = request.text # Parse the CSV. Data = list(csv.Dict
Reader(text.splitlines()))Decorator cached sử dụng để lưu lại đầu ra output của hàm đó trong một khoảng thời gian nhất đinh. Ở đây hướng đẫn là 1h. Thay đổi data trong khúc code trên chứa tổng thể dữ liệu mà họ cần. Có thể xem xét thấy bọn họ có 3 một số loại category bên trên trang github chứa data biểu thị số số lượng người confirm, con số người bị tiêu diệt và con số đã chữa trị khỏi. Chúng ta cũng có thể chế thêm một loại category nữa thể hiện thông tin tổng hợp của cả ba các loại trên
Phân tích những kết quả
Sau khi tiến hành xong họ cần thực hiện phân tích các tác dụng để đưa ra những con số thống kê như con số tại thời điểm này và thời gian cập nhật của dữ liệu. Bọn chúng ta địa chỉ cửa hàng thêm vào hàm bên trên những thông tin sau
for thành quả in data: # Filter out all the dates. History = dict(filter(lambda element: date_util.is_date(element<0>), item.items())) # Normalize the item and append khổng lồ locations. Locations.append( # General info. "country": item<"Country/Region">, "province": item<"Province/State">, # Coordinates. "coordinates": "lat": item<"Lat">, "long": item<"Long">, , # History. "history": history, # Latest statistic. "latest": int(list(history.values())<-1>), # Latest datetime. "latest_date": date_util.to_date(list(history.keys())<-1>).strftime("%d/%m/%Y"), ) # Latest total. Latest = sum(map(lambda location: location<"latest">, locations)) vn_latest = sum(Xây dựng chatbot
Đối với vấn đề xây dựng chatbot bởi RASA đã gồm khá nhiều bài viết trên emcanbaove.edu.vn reviews về vụ việc này. Các bạn có thể xem thêm chi tiết từ các bài viết trên đó. Ở trên đây mình chỉ xem xét một số điểm như sau:
Config cho tư vấn tiếng Việt
SAu khi khởi chế tạo ra rasa bởi câu lệnh
rasa init --no-promptcác bạn sẽ thu được một tập hợp các file như sau:
Các file này đều có ý nghĩa của nó tuy nhiên để thực hiện RASA mang lại tiếng Việt một cách đúng đắn nhất thì họ cần để ý đến file config
# Configuration for Rasa NLU.# https://rasa.com/docs/rasa/nlu/components/language: vipipeline: supervised_embeddings
Do mục tiêu của mình chỉ việc detect intent phải mình thấy sử dụng pipeline supervised_embeddings tương đối ổn đối với những data được làm cẩn thận. Các bạn có thể thử nghiệm những pipeline khác theo docs chuẩn chỉnh của rasa tại đây
Xây dựng model
Việc xây dựng mã sản phẩm trong RASA khá solo giản, chúng ta chỉ bắt buộc định nghĩa sẵn những intent theo ý muốn của bản thân sao cho gần khớp với ngôn ngữ tự nhiên nhất. Ở phía trên mình không thực hiện RASA core để thống trị hội thoại mà chỉ thực hiện NLU thôi. Bài toán xử lý hội thoại sẽ tiến hành xử lý bởi phần backend sẽ trình diễn sau. Ở đây mình gồm 4 một số loại intent khác biệt đó là:
ask_all - hỏi thông tin thực trạng chung của dịchask_resolve - hỏi về thông tin những ca đã trị khỏiask_death - hỏi về thông tin những ca vẫn tử vongask_confirm - hỏi về thông tin các ca sẽ mắc bệnhĐây là một vài ví dụ về dữ liệu của RASA NLU. Các bạn truy cập thử folder data/nlu.md nhé.
## intent:ask_death- bao tín đồ chết rồi - gồm bao nhiêu tín đồ chết - có tương đối nhiều người chết chưa - bao fan tử vong rồi - có rất nhiều người tử vong chưa - bao bạn thiệt mạng rồi - tất cả bao nhiêu bạn thiệt mạng- hiện tất cả bao nhiêu bạn thiệt mạng rồi - có khá nhiều người chầu trời chưa- hiện có bao nhiêu bạn tèo rồi - tất cả bao nhiêu tín đồ bệnh bị chết ## intent:ask_confirm- bao fan nhiễm rồi - có bao nhiêu tín đồ nhiễm - con số người lây lan là từng nào - hiện gồm bao nhiêu fan nhiễm rồi - có nhiều người nhiễm chưa - bao người lây lan bệnh tật rồi - tất cả bao nhiêu tín đồ bị mắc bệnh dịch - con số người mắc dịch là bao nhiêu - hiện có bao nhiêu người mắc bệnh dịch rồi - có tương đối nhiều người mắc bệnh dịch chưa## intent:ask_resolve- bao tín đồ khỏi căn bệnh rồi - tất cả bao nhiêu bạn khỏi căn bệnh - số lượng người khỏi dịch là từng nào - hiện có bao nhiêu tín đồ khỏi dịch rồi - có khá nhiều người khỏi bệnh dịch chưa - số trường hợp khỏi căn bệnh là bao nhiêu - nhiều người được chữa khỏi chưa## intent:ask_all- tình hình dịch căn bệnh thế nào - bệnh dịch lây lan tiến triển nắm nào - coi thống kê bệnh dịch lây lan - xem chi tiết dịch bệnh- dịch bệnh lây lan thế như thế nào rồi - dịch bệnh như thế nào rồi Các chúng ta cũng có thể thêm những mẫu câu khác cho tự nhiên và thoải mái để mã sản phẩm có unique tốt hơn
Training model
Rất 1-1 giản các bạn chỉ phải chạy lệnh
rasa train
Đánh giá model
Để thí nghiệm model chúng ta cần chạy thử thử trải qua API. Đầu tiên các bạn chạy vps RASA nhằm expose APIrasa run --enable-api
Sau đó sử dụng Postman hoặc c
URL để test. Ví dụ như sau:
curl -X POST http://localhost:5005/model/parse -H "cache-control: no-cache" -H "content-type: application/json" -H "postman-token: a2d8b805-addc-514a-afeb-952cc06fecf7" -d ""text": "hiện gồm bao nhiêu tín đồ được chữa trị khỏi rồi""Tùy thuộc vào response thu được bọn họ sẽ tiến hành làm dữ liệu để có được một model giỏi nhất.
Xây dựng backend
Chúng ta đã cần một số class để cách xử lý phần backend với framework Dajngo. Rõ ràng đối với RASA thì bọn họ cần bao gồm class cách xử lý handle mesage gửi lên.
import requestsimport jsonfrom backend.settings import RASA_DOMAIN, RASA_NLU_POST_URL, RASA_MIN_CONFIDENCEclass Rasa
Helpers(): def __init__(self): self.headers = "Content-Type": "application/json", "Host": RASA_DOMAIN, self.url = RASA_NLU_POST_URL def detect_intent(self, response): if response<"intent">: if response<"intent"><"confidence"> > RASA_MIN_CONFIDENCE: return response<"intent"><"name"> return "fallback" def post_nlu(self, message): payload = "text": message response = requests.request("POST", self.url, data=json.dumps(payload), headers=self.headers) return json.loads(response.text) def handle_message(self, message): response = self.post_nlu(message) intent = self.detect_intent(response) # logic here trong những số đó hàm post_nlu thực hiện để giao tiếp với hệ thống RASA với hàm detect_intent nhằm tìm ra intent của câu xử lý. Hàm handle_message áp dụng để xử lý đầu ra output của NLU, sau khoản thời gian detect được intent của mesage. Phần này mình ko đi thừa sâu. Các chúng ta có thể tham khảo trên source code mình chia sẻ trên github ở link phía bên dưới nhé.
Xem thêm: Xử lý số liệu thống kê bằng excel 2010, cách tạo bảng thống kê mô tả số liệu trong excel
Kết nối cùng với Chatwork
Phần này mình cũng đã hướng dẫn hơi kĩ trong bài Xây dựng chatbot tự động hóa chat bên trên Chatwork với Chatterbot và Django đều người hoàn toàn có thể tham khảo và đọc thêm trong code nhé. Đây là một trong class cơ bản để xử lý các tác vụ liên quan đến Chatwork
import requestsimport jsonfrom backend.settings import CHATWORK_API_TOKENclass Chatwork(): # Token Header key TOKEN_HEADER_KEY = "X-Chat
Work
Token" def __init__(self): self.api
Token = CHATWORK_API_TOKEN self.req
Header = Chatwork.TOKEN_HEADER_KEY: self.api
Token def send_message(self, room_id, message): uri = "https://api.chatwork.com/v2/rooms/" + str(room_id) + "/messages" data = "body": message req = requests.post(uri, headers=self.req
Header, data=data) return json.loads(req.text) def reply_message(self, account_id, room_id, message_id, message): return "
Thử một vài kịch bản demo như hình bên dưới hoặc kết chúng ta với bé bot để đề xuất nhé. Trường hợp thấy mã sản phẩm chưa tốt bạn có thể bổ sung thêm dữ liệu cho nó xuất sắc hơn nhé
Các chúng ta cũng có thể kết bạn với bé bot như hình dưới nhé
Chatbot này được cách tân và phát triển cho nền tàng Chatwork tuy nhiên bọn họ hoàn toán hoàn toàn có thể extend thêm để rất có thể support các nền tàng khác ví như Facebook, Telegram tốt nhúng cùng một website ... Hơn nữa ứng dụng này hoàn toàn có thể update thêm các nguồn tin tức mới nữa như crawler và phân tích tin tức từ các báo mạng, lắng nghe tin tức từ các mạng xã hội .... Hi vọng là bao gồm đủ thời hạn để update tiếp những tính năng cho ứng dụng này cùng một điều hi vọng rất lớn nữa đấy là dịch bệnh lây lan sẽ sớm qua nhưng mà không nhằm lại các hậu quả nghiêm trọng. Chúc các bạn luôn mạnh mẽ và cảm ơn các bạn đã đọc bài viết này.