Слияние данных каталога и классификатора

Форум для обсуждения нашего сайта, форума и Каталога перевалов

Модератор: Модераторы

Слияние данных каталога и классификатора

Сообщение Сергей Титов » 23 дек 2018 (Вс), 21:27

Сегодня я нажал на кнопочку и влил в каталог правки из официального классификатора по целому району.
Повезло Китайскому Памиру.
В результате в каталоге добавилось полтора десятка перевалов, поправлены данные еще у 20 или 30, найдена пара неточностей в классификаторе (отправлены составителям).

Район выбран такой, потому что в нем немного перевалов -- можно быстро разобраться и не очень популярный -- можно было безопасно "потренироваться".
Но это -- лишь первая ласточка. Дальше, надеюсь, будут и другие, более популярные районы.

Все приглашаюся посмотреть -- вдруг я где ошибся? а также помочь в слиянии данных по другим районам.
Есть заготовки по небольшим Аладаглару и Кичик-Алаю, и важнейший, но совершенно неподъемный в одиночку Тянь-Шань с Терскеем.

Такие дела :)

P.S. Инструмент для слияния: http://westra.ru/passes/merge/index.html (можно смотреть и смело крутить, все чувствительные операции защищены правами)
Официальные классификаторы: http://www.tssr.ru/mountain/pereval/
Сергей Титов
Завсегдатай
 
Сообщения: 1995
Зарегистрирован: 1 дек 2004 (Ср), 18:32

Re: Слияние данных каталога и классификатора

Сообщение Сергей Титов » 26 дек 2018 (Ср), 02:20

Еще раз нажал на кнопочку, и в каталог добавилось ~40 перевалов (десяток уже был) из неизвестного у нас, но достаточно популярного на украине района -- Понтийских гор, хребет Качкар (Турция).
Район в каталоге: http://westra.ru/passes/Places/466
Исходные данные: https://www.mountain.net.ua/perevali-ma ... rechchina/

За исходную информацию спасибо Максиму Горпенюку и Вадиму Кодышу.
Сергей Титов
Завсегдатай
 
Сообщения: 1995
Зарегистрирован: 1 дек 2004 (Ср), 18:32

Re: Слияние данных каталога и классификатора

Сообщение RADIST » 26 дек 2018 (Ср), 20:40

Я всегда знал, что ты крут!

Спасибо)
Аватара пользователя
RADIST
Завсегдатай
 
Сообщения: 1230
Зарегистрирован: 17 янв 2008 (Чт), 07:03
Откуда: "Вестра", БТП-2008

Re: Слияние данных каталога и классификатора

Сообщение Григорий Варгафтик » 28 дек 2018 (Пт), 09:53

Как устроена процедура слияния?
Если в официальном Перечне отсутствуют координаты, то останутся координаты из Каталога или они будут затёрты?
Что будет с отсутствующими в Перечне объектами?
В общем, дело-то хорошее, но ИМХО в некоторых случаях Каталог полнее и лучше Перечня, даже обновленного. Яркие примеры сходу привести не могу :) но чувствую, что прав :)

upd: судя по Китайскому Памиру, отсутствующие в Перечне, но присутствовавшие в Каталоге объекты сохраняются.
Григорий Варгафтик
Заглядывает
 
Сообщения: 29
Зарегистрирован: 16 апр 2008 (Ср), 14:25
Откуда: турклуб МГУ

Re: Слияние данных каталога и классификатора

Сообщение Сергей Титов » 28 дек 2018 (Пт), 15:54

Григорий Варгафтик писал(а):Как устроена процедура слияния?

Я беру все лучшее, что есть :)

Сопоставляю 2 списка, связываю записи, описывающие один перевал (что-то угадывает машина, остальное приходится руками; в целом это самая простая часть).
Дальше просматриваю все записи из классификатора, не привязанные ни к чему в каталоге -- если там действительно нет ничего разумного, то помечаю их "на добавление". Это тоже не очень сложно.

А по остальным я сопоставляю информацию из каталога и классификатора.
Если у нас данные есть, а в классификаторе нет -- я ее оставляю.
Если у нас информации нет, или разногласия несущественны (пол категории, метров 20 высоты, или 10 положения и т.п.) -- то я вливаю информацию из классификатора.
Если существенны, то начинаю разбираться: иногда это просто опечатки, и я их смело правлю (однажды в классификаторе перевал уехал на 100 км -- опечатка на 1 градус, а на днях в каталоге нашлась ошибка в 8 градусов широты -- 900 км вообще-то!), иногда это принципиально разные мнения, и тогда я оставляю оба, иногда мнение каталога подкрепляется отчетом (картой, гуглом и т.п.), а про классификатор непонятно -- тут я связываюсь с Кодышем или Цветковым и слушаю их аргументацию -- и дальше бывает по-разному: и каталог правится, и классификатор, и все, и никто.

Понятно, что это самая затратная часть работы.

А потом "жму кнопочку" :)

Григорий Варгафтик писал(а):Если в официальном Перечне отсутствуют координаты, то останутся координаты из Каталога или они будут затёрты?

Конечно останутся.
У ЦМКК настолько драконовские требования к координатам (только снятые на местности), что если им следовать, то в каталоге останется процентов 20 данных. Все сколотое с карт и гугла исчезнет, никакая экспертная работа невозможна (я просмотрел 10 отчетов, карты, снимки, и решил, что перевал находится тут).
Для каталога это неприемлемо.

P.S. Можно посмотреть Тянь-Шань или Кичик-Алай. Зеленые квадратики -- это решение "кто прав". http://westra.ru/passes/merge/index.html
Сергей Титов
Завсегдатай
 
Сообщения: 1995
Зарегистрирован: 1 дек 2004 (Ср), 18:32

Re: Слияние данных каталога и классификатора

Сообщение Сергей Титов » 28 дек 2018 (Пт), 16:10

Позавчера еще немного понажимал кнопочку.

Слил часть Борколдоя (многие перевалы сместились метров на 50-60 -- в исходных отчетах они были в Пулково, а трактовались как WGS-84) и часть Кокшаал-Тау (в основном косметические правки названий).
Плюс несколько микрорайонов на 2-3 перевала.
Сергей Титов
Завсегдатай
 
Сообщения: 1995
Зарегистрирован: 1 дек 2004 (Ср), 18:32

Re: Слияние данных каталога и классификатора

Сообщение Сергей Титов » 2 янв 2019 (Ср), 16:50

Неделю назад помедитировал над свежезалитыми перевалами Качкара и заметил, что несколько перевалов съехали метров на 400-500. Кто-то в середину цирка, кто-то на очевидные сбросы.
Написал украинцам -- и о чудо! -- почти все уже исправлено!
И даже один перевал переименовали.
Сергей Титов
Завсегдатай
 
Сообщения: 1995
Зарегистрирован: 1 дек 2004 (Ср), 18:32

Re: Слияние данных каталога и классификатора

Сообщение Сергей Титов » 2 янв 2019 (Ср), 18:36

Еще раз нажал кнопочку...

В Аладагларе добавилось 29 перевалов, в т.ч. пройденные лет 10 назад Тильманом и Гладилиным -- позор!
Еще штук у 20 дозаполнились разные поля, поправились высоты / описания "что соединяет".
По 6 остались неразрешенные вопросы с координатами, в т.ч. пара существенных.
Сергей Титов
Завсегдатай
 
Сообщения: 1995
Зарегистрирован: 1 дек 2004 (Ср), 18:32

Re: Слияние данных каталога и классификатора

Сообщение Tsvetik » 11 янв 2019 (Пт), 14:26

Можно сделать, чтобы при слиянии у перевала появлялся комментарий, что то-то и то-то приведено в соответствие с офперечнем?
Схема Джунгарии и Тянь-Шаня
http://pereval.g-utka.ru/
Tsvetik
Завсегдатай
 
Сообщения: 569
Зарегистрирован: 28 апр 2007 (Сб), 12:06
Откуда: т/к "Гадкий Утенок"

Re: Слияние данных каталога и классификатора

Сообщение Сергей Титов » 11 янв 2019 (Пт), 15:52

Так есть же: http://westra.ru/passes/Passes/8465
http://westra.ru/passes/Passes/13026

Правда, когда изменения косметические (точка / пробел, лед-ледн, высота метров на 20, координаты метров на 10), то я стараюсь не спамить.
Сергей Титов
Завсегдатай
 
Сообщения: 1995
Зарегистрирован: 1 дек 2004 (Ср), 18:32

Re: Слияние данных каталога и классификатора

Сообщение Сергей Титов » 14 мар 2020 (Сб), 23:40

В последние недели еще немного понажимал кнопочку...

В Кичик-Алае добавилось больше 70 перевалов, большинство низкокатегорийных, половина -- из восточной части.
Все -- с координатами, даже если их не было в классификаторе.

В официальный классификатор принято около 10 правок, в т.ч. по перевалам, которые только появятся в ближайшей редакции.

Большое спасибо Гале Политовой, которая разобралась в куче сложных расхождений между нами и классификатором!
Без нее Кичик-Алай лежал бы полуподготовленным еще год, а может и больше.
Сергей Титов
Завсегдатай
 
Сообщения: 1995
Зарегистрирован: 1 дек 2004 (Ср), 18:32

Re: Слияние данных каталога и классификатора

Сообщение cornet » 16 мар 2020 (Пн), 20:36

Сергей Титов писал(а):Конечно останутся.
У ЦМКК настолько драконовские требования к координатам (только снятые на местности), что если им следовать, то в каталоге останется процентов 20 данных. Все сколотое с карт и гугла исчезнет, никакая экспертная работа невозможна (я просмотрел 10 отчетов, карты, снимки, и решил, что перевал находится тут).
Для каталога это неприемлемо.


Для среднегорья в рамках пешеходной комиссии я убедил сделать колонку со статусом координат. Либо GPS либо приблизительный (тот самый экспертный). Пример готового региона в этой парадигме тут http://www.tssr.ru/pesh/pereval/kolskiy/
Для высокогорья предлагаю делать так же благо почин вот он есть.
Власенко Олег
Волгушинские мужики настолько суровы, что даже зимой форсируют реку вброд!
Аватара пользователя
cornet
Завсегдатай
 
Сообщения: 437
Зарегистрирован: 19 сен 2014 (Пт), 13:48
Откуда: с Волгуши

Re: Слияние данных каталога и классификатора

Сообщение Tsvetik » 16 мар 2020 (Пн), 20:45

А кого пришлось убеждать? В горном классификаторе убеждать придется Костина
Схема Джунгарии и Тянь-Шаня
http://pereval.g-utka.ru/
Tsvetik
Завсегдатай
 
Сообщения: 569
Зарегистрирован: 28 апр 2007 (Сб), 12:06
Откуда: т/к "Гадкий Утенок"

Re: Слияние данных каталога и классификатора

Сообщение cornet » 16 мар 2020 (Пн), 21:06

Сергей Титов писал(а):В последние недели еще немного понажимал кнопочку...


Для Алтая понажимать бы? А то много не бьётся с перечнем по координатам и высотам. Я точечно что вижу руками правлю, но если есть возможность автоматом втянуть - было бы здорово.
Власенко Олег
Волгушинские мужики настолько суровы, что даже зимой форсируют реку вброд!
Аватара пользователя
cornet
Завсегдатай
 
Сообщения: 437
Зарегистрирован: 19 сен 2014 (Пт), 13:48
Откуда: с Волгуши

Re: Слияние данных каталога и классификатора

Сообщение Сергей Титов » 16 мар 2020 (Пн), 21:40

Здорово!
Следующий шаг, который, я верю, когда-нибудь будет сделан -- колонка "источники" с краткой информацией, откуда взялись данные. Типа расположение -- Петров-78, высота-координаты -- Иванов-2012.
Чтобы при сомнениях можно было и через 10 лет нормально разбираться, откуда же составители взяли такую ересь.

Ты не поверишь, но 2 недели назад по просьбе Гали я загрузил в сливалку Северо-Чуйский. http://westra.ru/passes/merge/index.html
Но там работы -- тьма.
И даже первый шаг -- поиск соответствий -- не сделан.

Хочешь -- можешь присоединиться. Возможно, у тебя даже есть права.
Сергей Титов
Завсегдатай
 
Сообщения: 1995
Зарегистрирован: 1 дек 2004 (Ср), 18:32

След.

Вернуться в Сайт, форум и Каталог перевалов

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1