Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!
900 ₽

Настройка mysql 5.7.21 для стабильной работы с большими таблтцами

project complete


Нужна помошь в настройке mysql сервера

В таблицы данные загружаються из нескольких *.csv файлов припомоши комады LOAD DATA INFILE ( размер *.csv файлов от 1Мb до 50Мb. но размер файла может быть и больше). Полсе загрузки данных делается индексация по трем столбцам. Бывают ситуаци когда поступают новые *.cs файлы которые нужно загрузить в таблицу в которой уже проведена индексация, и проверять на дубликацию по PRIMARY_KEY. В этом случае:

  1. удалаеться индексация таблицы,
  2. загружаються новые данные
  3. проводиться переиндексация

Количество строк в каждой таблице привышают 10 млн приэтом размер файла таблицы table1.idb достигае 2.7Gb


Проблема сосоит в том что в настояшие время mysql server уходит на перезагрузку во время загрузки большого количества данных через *.csv или во время индексации. Если перезагрузка mysql server произошла во время индексаций таблицы консоль возврашает сдедуюшию ошибку ERROR 2013 (HY000): Lost connection to MySQL server during query. Даже если загрузка данных и индексация прошла успешно то иногда, после перезагрузки mysql serverа, индексация таблицы изчезает и при попытка взаимодействовать с такой таблицай конслоь возврашает ERROR 2013 (HY000): Lost connection to MySQL server during query.

Версия Mysql  5.7.21

ОС:  FreeBSD mfsbsd 11.1-STABLE

RAM: 6Gb

SWAP: 4Gb

Client's feedback about the contractor Alex Nikitin

Quality
Professionalism
Price
Availability
Terms

На все вопросы косательно mysql исполнитель отвечал быостро. Ответы всегда были короткими но понятными, дополнительно приклеплял полезные ссылки косательно вопрос

Alex B. Alex Bycha | Safe Safe

Freelancer's feedback about the client Alex Bycha

Payment
Task formulation
Requirements
Availability

Работать с технически грамотным заказчиком всегда приятно и очень эффективно.
Такая работа приносит удовольствие.
Спасибо! С радостью помогу в будущем!

Alex N. Alex Nikitin | Safe Safe



  1. proposal concealed by freelancer
  2. 2 daysconcealed
    Владимир Витковский
     882  verified   13   0

    Добрый день. Могу посмотреть. Попутный вопрос - какое максимально число одновременно запущеных запросов у вас наблюдалось. Какое количество одновременных запросов в среднем.

    Ukraine Kyiv | 30 March at 20:52 |
  • Сам сервер уходит в перезагрузку? Или демон mysql? Попробуйте в самой ОС покопиорвать большие файлы в несколько потоков. Если резултат будет такой же то нужно перебрать весь сервер. От диска, ядра ... и до настроек mysql

  • Alex Bycha — project author
    Complain | 30 March at 16:14 |

    Пару раз сервер перезагружался. Но в основном перезагружаеться сам демон

  • Забыл спросить. Это физический сервер или VPS?

  • Alex Bycha — project author
    Complain | 30 March at 16:27 |

    Физический

  • Alex Bycha — project author
    Complain | 30 March at 16:35 |

    Вот текуши my.cnf может вам он поможет понять что не так настроено

    # $FreeBSD: branches/2017Q3/databases/mysql57-server/files/my.cnf.sample.in 414707 2016-05-06 14:39:59Z riggs $

    [client]
    port                            = 3306
    socket                          = /tmp/mysql.sock

    [mysql]
    prompt                          = \[email protected]\h [\d]>\_
    no_auto_rehash

    [mysqld]
    #innodb_force_recovery          = 1
    #innodb_log_checksums           = 0
    #innodb_checksums               = OFF
    log_error                       = /data/db/mysql/mysql_error.log
    user                            = mysql
    port                            = 3306
    socket                          = /tmp/mysql.sock
    bind-address                    = 127.0.0.1
    basedir                         = /usr/local
    datadir                         = /data/db/mysql
    tmpdir                          = /var/db/mysql_tmpdir
    slave-load-tmpdir               = /var/db/mysql_tmpdir
    slave-skip-errors               = 1062
    secure-file-priv                = /data/db/formatted
    #log-bin                         = NO
    log-output                      = TABLE
    master-info-repository          = TABLE
    relay-log-info-repository       = TABLE
    relay-log-recovery              = 1
    slow-query-log                  = 1
    server-id                       = 1
    sync_binlog                     = 1
    sync_relay_log                  = 1
    binlog_cache_size               = 16M
    expire_logs_days                = 30
    default_password_lifetime       = 0
    enforce-gtid-consistency        = 1
    gtid-mode                       = ON
    safe-user-create                = 1
    lower_case_table_names          = 1
    explicit-defaults-for-timestamp = 1
    myisam-recover-options          = BACKUP,FORCE
    open_files_limit                = 40000
    table_open_cache                = 32384
    table_definition_cache          = 8192
    net_retry_count                 = 16384
    key_buffer_size                 = 512M
    max_allowed_packet              = 256M
    query_cache_type                = 0
    query_cache_size                = 0
    long_query_time                 = 1
    innodb_buffer_pool_size         = 3G
    innodb_buffer_pool_load_at_startup = OFF
    innodb_data_home_dir            = /data/db/mysql
    innodb_log_group_home_dir       = /data/db/mysql
    innodb_tmpdir                   = /data/db/mysql_tmp
    innodb_data_file_path           = ibdata2:512M:autoextend
    innodb_temp_data_file_path      = ibtmp2:512M:autoextend
    innodb_flush_method             = O_DIRECT
    innodb_log_file_size            = 256M
    innodb_log_buffer_size          = 16M
    innodb_write_io_threads         = 8
    innodb_read_io_threads          = 8
    innodb_autoinc_lock_mode        = 2
    skip-symbolic-links
    collation-server                = utf8_unicode_ci
    init-connect                    = 'SET NAMES utf8'
    character-set-server            = utf8

    [mysqldump]
    max_allowed_packet              = 512M
    quote_names
    quick


  • Add

Client
Alex Bycha
Kazakhstan Almaty (Alma-Ata)  1   0
Project published
30 March at 11:37
30 views