Фильтр по языку трека

[Chimildic]

Включено в основную версию.

Описание

Наряду с задачей фильтрации по местоположению появился запрос на фильтр по языку. Сначала я подумал, что это невозможно. Потому что первым на ум приходит звук, волны, анализ. Одним словом дебри... Но ведь есть текст! С этим уже можно работать.

В качестве источника текстов выбрал musixmatch. Дает бесплатное API на 2 тысячи запросов в день с доступом к 30% текста от песни. Платная версия даже язык показывает. Но это не наш случай.

Как идентифицировать язык? Нужен переводчик. Он даже есть в Apps Script. Но не дает функции для получения языка, только перевод. Напрямую идти к API переводчика нельзя, потому что так или иначе придем к оплате. Есть интересный сервис DetectLanguage. Однако уже на первой тройке треков стало понятно, что качество идентификации очень низкое даже с английским языком. Локальные библиотеки тоже не подходят.

Apps Script не перестает меня удивлять. В Google Таблицах есть встроенная функция DETECTLANGUAGE, а Apps Script дает API для таблиц. Пазл сошелся.

Суммируем

• Крупный источник текстов с лимитов 2 тысячи запросов в день
• Нативная идентификация языка без дополнительных лимитов
• Однако текст явно будет не у всех, имейте ввиду

Установка

1. Зайдите на сайт developer.musixmatch.com, чтобы зарегистрироваться и получить ключ. Телефон и адрес заполните произвольно (123 и World, к примеру). Почта реальная, попросит подтвердить.
2. После подтверждения почты зайдите в дэшборд приложений. Тут ключ, который понадобится дальше.

3. Скопируйте следующий код к себе в проект. Например, в файл addons. И подставьте ключ в константу MUSIXMATCH_API_KEY вместо 123.

function matchLanguage(tracks, params) {
  const MUSIXMATCH_API_KEY = '123';
  const FOLDER_NAME = 'Goofy Data';
  const rootFolder = getRootFolder(FOLDER_NAME);

  let isError = getLyrics();
  if (!isError) {
    detectLanguage();
    match();
  }

  function match() {
    Combiner.replace(tracks, tracks.filter(track => {
      if (![undefined, 'und', '#ERROR!'].includes(track.lyrics.lang)) {
        return RangeTracks.isBelongGenres([track.lyrics.lang], params.include)
          && !RangeTracks.isBelongBanGenres([track.lyrics.lang], params.exclude)
      }
      return !params.isRemoveUnknown;
    }));
  }

  function getLyrics() {
    const url = 'https://api.musixmatch.com/ws/1.1/matcher.lyrics.get?';
    let unknownLyrics = tracks.filter(t => !t.lyrics || !t.lyrics.lang);
    let urls = unknownLyrics.reduce((urls, track) => {
      let queryObj = {
        q_track: track.name.formatName(),
        q_artist: track.artists[0].name.formatName(),
        apikey: MUSIXMATCH_API_KEY,
      }
      urls.push(url + CustomUrlFetchApp.parseQuery(queryObj));
      return urls;
    }, []);

    return CustomUrlFetchApp.fetchAll(urls).some((r, i) => {
      let json = parseJSON(r);
      let text = json.message.body.lyrics
        ? json.message.body.lyrics.lyrics_body.split(' ').slice(10, 25).join(' ')
        : '';
      unknownLyrics[i].lyrics = {
        text: text.formatName().replace(/["']/g, '').replace(/\n/g, ' ')
      }

      if (json.message.header.status_code == 404) {
        console.log('Не найден текст для', `${unknownLyrics[i].artists[0].name} - ${unknownLyrics[i].name}`);
        unknownLyrics[i].lyrics.lang = 'und';
      } else if (json.message.header.status_code != 200) {
        console.error('Ошибка при получении текста',
          'Возможно превышен лимит от musixmatch.',
          'Код:', json.message.header.status_code);
        return true;
      }
    });
  }

  function detectLanguage() {
    const FILENAME = 'DetectLanguage';
    let unknownLang = tracks.filter(t => !t.lyrics.lang);
    let row = unknownLang.map(t => `=DETECTLANGUAGE("${t.lyrics.text}")`);
    if (!row || row.length == 0) {
      console.log('Ноль треков для распознования языка среди', tracks.length, 'треков');
      return;
    }

    let spreadsheet;
    let files = rootFolder.getFilesByName(FILENAME);
    if (files.hasNext()) {
      spreadsheet = SpreadsheetApp.open(files.next());
    } else {
      spreadsheet = SpreadsheetApp.create(FILENAME);
      let file = DriveApp.getFileById(spreadsheet.getId());
      file.moveTo(rootFolder);
    }

    let sheet = spreadsheet.getActiveSheet();
    sheet.clear();
    sheet.appendRow(row);
    SpreadsheetApp.flush();
    sheet.getDataRange().getValues()[0].forEach((c, i) => {
      if (c == '#ERROR!') {
        console.log('Ошибка при попытки идентификации языка:', unknownLang[i].lyrics.text);
      }
      unknownLang[i].lyrics.lang = c;
    });
  }

  function parseJSON(response) {
    let content = response.getContentText();
    return content.length > 0 ? tryParseJSON(content) : { msg: 'Пустое тело ответа', status: response.getResponseCode() };
  }

  function tryParseJSON(content) {
    try {
      return JSON.parse(content);
    } catch (e) {
      console.error('Не удалось перевести строку JSON в объект. ', e, e.stack, content);
      return [];
    }
  }

  function getRootFolder() {
    let folders = DriveApp.getFoldersByName(FOLDER_NAME);
    if (folders.hasNext()) {
      return folders.next();
    }
    return DriveApp.createFolder(FOLDER_NAME);
  }
}

Использование

Функция matchLanguage - оставляет только треки с указанным языком. Стандартная рекомендация: используйте последним в списке фильтров, чтобы сократить количество запросов.

Аргументы

• (массив) tracks - перечень треков.
• (объект) params - параметры фильтрации.
  • (бул) isRemoveUnknown - при false оставляет треки с неизвестным языком, при true удаляет. Трек без языка - когда нет в базе musixmatch или он полностью танцевальный.
  • (массив) include - перечень языков, которые нужно оставлять.
  • (массив) exclude - перечень языков, которые нужно удалять.

Принимаются двухбуквенные обозначения языка в нижнем регистре. Список доступен здесь.

Пример 1 - Берем топ Германии и оставляем только немецкий.

let tracks = Source.getPlaylistTracks('', '37i9dQZEVXbJiZcmkrIHGU');
matchLanguage(tracks, {
  isRemoveUnknown: true,
  include: ['de'],
});

При тестах столкнулся с такой ситуацией. Автоперевод от Яндекса определял язык как немецкий. Тогда как Google реализация говорила люксембургский. Исполнитель был не столь популярным, чтобы найти истину. Просто имейте ввиду.

Пример 2 - Схожая ситуация, исключаем русский.

let tracks = Source.getPlaylistTracks('', '37i9dQZEVXbL8l7ra5vVdB');
matchLanguage(tracks, {
  isRemoveUnknown: true,
  exclude: ['ru'],
});

Пример 3 - Узнать какие языки есть в массиве.

let tracks = Source.getPlaylistTracks('', '37i9dQZEVXbL8l7ra5vVdB');
matchLanguage(tracks, { isRemoveUnknown: true });
console.log(Array.from(new Set(tracks.map(t => t.lyrics.lang))).join('\n'));

Для набора треков на разных языках подойдет функция поиска mineTracks.