forked from berserker/microblog
commit
692963d43b
26 changed files with 601 additions and 567 deletions
@ -1,101 +0,0 @@ |
|||||||
# frozen_string_literal: true |
|
||||||
|
|
||||||
class LanguageDetector |
|
||||||
include Singleton |
|
||||||
|
|
||||||
WORDS_THRESHOLD = 4 |
|
||||||
RELIABLE_CHARACTERS_RE = /[\p{Hebrew}\p{Arabic}\p{Syriac}\p{Thaana}\p{Nko}\p{Han}\p{Katakana}\p{Hiragana}\p{Hangul}\p{Thai}]+/m |
|
||||||
|
|
||||||
def initialize |
|
||||||
@identifier = CLD3::NNetLanguageIdentifier.new(1, 2048) |
|
||||||
end |
|
||||||
|
|
||||||
def detect(text, account) |
|
||||||
input_text = prepare_text(text) |
|
||||||
|
|
||||||
return if input_text.blank? |
|
||||||
|
|
||||||
detect_language_code(input_text) || default_locale(account) |
|
||||||
end |
|
||||||
|
|
||||||
def language_names |
|
||||||
@language_names = CLD3::TaskContextParams::LANGUAGE_NAMES.map { |name| iso6391(name.to_s).to_sym }.uniq |
|
||||||
end |
|
||||||
|
|
||||||
private |
|
||||||
|
|
||||||
def prepare_text(text) |
|
||||||
simplify_text(text).strip |
|
||||||
end |
|
||||||
|
|
||||||
def unreliable_input?(text) |
|
||||||
!reliable_input?(text) |
|
||||||
end |
|
||||||
|
|
||||||
def reliable_input?(text) |
|
||||||
sufficient_text_length?(text) || language_specific_character_set?(text) |
|
||||||
end |
|
||||||
|
|
||||||
def sufficient_text_length?(text) |
|
||||||
text.split(/\s+/).size >= WORDS_THRESHOLD |
|
||||||
end |
|
||||||
|
|
||||||
def language_specific_character_set?(text) |
|
||||||
words = text.scan(RELIABLE_CHARACTERS_RE) |
|
||||||
|
|
||||||
if words.present? |
|
||||||
words.reduce(0) { |acc, elem| acc + elem.size }.to_f / text.size > 0.3 |
|
||||||
else |
|
||||||
false |
|
||||||
end |
|
||||||
end |
|
||||||
|
|
||||||
def detect_language_code(text) |
|
||||||
return if unreliable_input?(text) |
|
||||||
|
|
||||||
result = @identifier.find_language(text) |
|
||||||
|
|
||||||
iso6391(result.language.to_s).to_sym if result&.reliable? |
|
||||||
end |
|
||||||
|
|
||||||
def iso6391(bcp47) |
|
||||||
iso639 = bcp47.split('-').first |
|
||||||
|
|
||||||
# CLD3 returns grandfathered language code for Hebrew |
|
||||||
return 'he' if iso639 == 'iw' |
|
||||||
|
|
||||||
ISO_639.find(iso639).alpha2 |
|
||||||
end |
|
||||||
|
|
||||||
def simplify_text(text) |
|
||||||
new_text = remove_html(text) |
|
||||||
new_text.gsub!(FetchLinkCardService::URL_PATTERN, '\1') |
|
||||||
new_text.gsub!(Account::MENTION_RE, '') |
|
||||||
new_text.gsub!(Tag::HASHTAG_RE) { |string| string.gsub(/[#_]/, '#' => '', '_' => ' ').gsub(/[a-z][A-Z]|[a-zA-Z][\d]/) { |s| s.insert(1, ' ') }.downcase } |
|
||||||
new_text.gsub!(/:#{CustomEmoji::SHORTCODE_RE_FRAGMENT}:/, '') |
|
||||||
new_text.gsub!(/\s+/, ' ') |
|
||||||
new_text |
|
||||||
end |
|
||||||
|
|
||||||
def new_scrubber |
|
||||||
scrubber = Rails::Html::PermitScrubber.new |
|
||||||
scrubber.tags = %w(br p) |
|
||||||
scrubber |
|
||||||
end |
|
||||||
|
|
||||||
def scrubber |
|
||||||
@scrubber ||= new_scrubber |
|
||||||
end |
|
||||||
|
|
||||||
def remove_html(text) |
|
||||||
text = Loofah.fragment(text).scrub!(scrubber).to_s |
|
||||||
text.gsub!('<br>', "\n") |
|
||||||
text.gsub!('</p><p>', "\n\n") |
|
||||||
text.gsub!(/(^<p>|<\/p>$)/, '') |
|
||||||
text |
|
||||||
end |
|
||||||
|
|
||||||
def default_locale(account) |
|
||||||
account.user_locale&.to_sym || I18n.default_locale if account.local? |
|
||||||
end |
|
||||||
end |
|
@ -1,134 +0,0 @@ |
|||||||
# frozen_string_literal: true |
|
||||||
|
|
||||||
require 'rails_helper' |
|
||||||
|
|
||||||
describe LanguageDetector do |
|
||||||
describe 'prepare_text' do |
|
||||||
it 'returns unmodified string without special cases' do |
|
||||||
string = 'just a regular string' |
|
||||||
result = described_class.instance.send(:prepare_text, string) |
|
||||||
|
|
||||||
expect(result).to eq string |
|
||||||
end |
|
||||||
|
|
||||||
it 'collapses spacing in strings' do |
|
||||||
string = 'The formatting in this is very odd' |
|
||||||
|
|
||||||
result = described_class.instance.send(:prepare_text, string) |
|
||||||
expect(result).to eq 'The formatting in this is very odd' |
|
||||||
end |
|
||||||
|
|
||||||
it 'strips usernames from strings before detection' do |
|
||||||
string = '@username Yeah, very surreal...! also @friend' |
|
||||||
|
|
||||||
result = described_class.instance.send(:prepare_text, string) |
|
||||||
expect(result).to eq 'Yeah, very surreal...! also' |
|
||||||
end |
|
||||||
|
|
||||||
it 'strips URLs from strings before detection' do |
|
||||||
string = 'Our website is https://example.com and also http://localhost.dev' |
|
||||||
|
|
||||||
result = described_class.instance.send(:prepare_text, string) |
|
||||||
expect(result).to eq 'Our website is and also' |
|
||||||
end |
|
||||||
|
|
||||||
it 'converts #hashtags back to normal text before detection' do |
|
||||||
string = 'Hey look at all the #animals and #FishAndChips' |
|
||||||
|
|
||||||
result = described_class.instance.send(:prepare_text, string) |
|
||||||
expect(result).to eq 'Hey look at all the animals and fish and chips' |
|
||||||
end |
|
||||||
end |
|
||||||
|
|
||||||
describe 'detect' do |
|
||||||
let(:account_without_user_locale) { Fabricate(:user, locale: nil).account } |
|
||||||
let(:account_remote) { Fabricate(:account, domain: 'joinmastodon.org') } |
|
||||||
|
|
||||||
it 'detects english language for basic strings' do |
|
||||||
strings = [ |
|
||||||
"Hello and welcome to mastodon how are you today?", |
|
||||||
"I'd rather not!", |
|
||||||
"a lot of people just want to feel righteous all the time and that's all that matters", |
|
||||||
] |
|
||||||
strings.each do |string| |
|
||||||
result = described_class.instance.detect(string, account_without_user_locale) |
|
||||||
|
|
||||||
expect(result).to eq(:en), string |
|
||||||
end |
|
||||||
end |
|
||||||
|
|
||||||
it 'detects spanish language' do |
|
||||||
string = 'Obtener un Hola y bienvenidos a Mastodon. Obtener un Hola y bienvenidos a Mastodon. Obtener un Hola y bienvenidos a Mastodon. Obtener un Hola y bienvenidos a Mastodon' |
|
||||||
result = described_class.instance.detect(string, account_without_user_locale) |
|
||||||
|
|
||||||
expect(result).to eq :es |
|
||||||
end |
|
||||||
|
|
||||||
describe 'when language can\'t be detected' do |
|
||||||
it 'uses nil when sent an empty document' do |
|
||||||
result = described_class.instance.detect('', account_without_user_locale) |
|
||||||
expect(result).to eq nil |
|
||||||
end |
|
||||||
|
|
||||||
describe 'because of a URL' do |
|
||||||
it 'uses nil when sent just a URL' do |
|
||||||
string = 'http://example.com/media/2kFTgOJLXhQf0g2nKB4' |
|
||||||
cld_result = CLD3::NNetLanguageIdentifier.new(0, 2048).find_language(string) |
|
||||||
expect(cld_result).not_to eq :en |
|
||||||
|
|
||||||
result = described_class.instance.detect(string, account_without_user_locale) |
|
||||||
|
|
||||||
expect(result).to eq nil |
|
||||||
end |
|
||||||
end |
|
||||||
|
|
||||||
describe 'with an account' do |
|
||||||
it 'uses the account locale when present' do |
|
||||||
account = double(user_locale: 'fr') |
|
||||||
result = described_class.instance.detect('', account) |
|
||||||
|
|
||||||
expect(result).to eq nil |
|
||||||
end |
|
||||||
|
|
||||||
it 'uses nil when account is present but has no locale' do |
|
||||||
result = described_class.instance.detect('', account_without_user_locale) |
|
||||||
|
|
||||||
expect(result).to eq nil |
|
||||||
end |
|
||||||
end |
|
||||||
|
|
||||||
describe 'with an `en` default locale' do |
|
||||||
it 'uses nil for undetectable string' do |
|
||||||
result = described_class.instance.detect('', account_without_user_locale) |
|
||||||
|
|
||||||
expect(result).to eq nil |
|
||||||
end |
|
||||||
end |
|
||||||
|
|
||||||
describe 'remote user' do |
|
||||||
it 'detects Korean language' do |
|
||||||
string = '안녕하세요' |
|
||||||
result = described_class.instance.detect(string, account_remote) |
|
||||||
|
|
||||||
expect(result).to eq :ko |
|
||||||
end |
|
||||||
end |
|
||||||
|
|
||||||
describe 'with a non-`en` default locale' do |
|
||||||
around(:each) do |example| |
|
||||||
before = I18n.default_locale |
|
||||||
I18n.default_locale = :ja |
|
||||||
example.run |
|
||||||
I18n.default_locale = before |
|
||||||
end |
|
||||||
|
|
||||||
it 'uses nil for undetectable string' do |
|
||||||
string = '' |
|
||||||
result = described_class.instance.detect(string, account_without_user_locale) |
|
||||||
|
|
||||||
expect(result).to eq nil |
|
||||||
end |
|
||||||
end |
|
||||||
end |
|
||||||
end |
|
||||||
end |
|
Loading…
Reference in new issue